Phi Beta Sigma Fraternity, Inc. (Sigma) perustettiin Howardin yliopiston kampuksella Washingtonissa 14. tammikuuta 1914 kolmen korkeakouluopiskelijan, A. Langston Taylorin, Lenard F. Morsen ja Charles I. Brownin toimesta veljeyden, oppineisuuden ja palvelun periaatteilla. Perustajat halusivat järjestön olevan pikemminkin ”osa” kuin ”erillään” yhteisöstä. He halusivat myös luoda osallistavan järjestön, joka ei syrjisi rodullisen taustan, perhetaustan tai sosiaalisen aseman perusteella.
Kesään 1914 mennessä Phi Beta Sigma oli kasvanut kolmesta perustajasta yli 14-jäseniseksi Howardin yliopistossa toimivassa Alpha Chapterissa. Veljeskunta, joka pyrki laajentamaan vetovoimaansa muihinkin kuin perustutkinto-opiskelijoihin, perusti myös useita nousevia tiedemiehiä mustasta yhteisöstä, kuten tohtori Edward P. Davis, tohtori Thomas W. Turner ja tohtori Alain Leroy Locke, vuonna 1907 Harvardin yliopistosta valmistunut tohtori, joka vuonna 1908 siirtyi Oxfordin yliopistoon Englantiin ensimmäisenä afroamerikkalaisena Rhodes-apurahansaajana.
Veljeskunta laajeni nopeasti eri puolilla maata ja sillä oli jaostoja Marylandin osavaltiosta Teksasin osavaltioon vuoteen 1920 mennessä. Samaan aikaan Phi Beta Sigman jäsenet Charles R. Taylor ja A. Langston Taylor auttoivat perustamaan ensimmäisen mustan veljeskunnan ”sisarjärjestön”, Zeta Phi Beta Sororityn Howardin yliopiston kampukselle. Sigma ja Zeta ovat ainoa perustuslaillisesti sidottu sisar-veljestö mustien kreikkalaiskirjeisten ryhmien joukossa.
Veljeskunta uskoi perustamisestaan lähtien, että sen tulisi toimia välineenä, jonka avulla se voi tarjota palveluja afroamerikkalaiselle yhteisölle. Perustajat esittelivät tätä ajatusta veljeskunnan tunnuslauseella ”Kulttuuri palvelua ja ihmiskunnan palvelemista varten”. Yksi sen varhaisimmista ohjelmista, Bigger and Better Negro Business -aloite, alkoi Sigman kansallisessa kokouksessa Philadelphiassa vuonna 1924. Veljeskunta antoi yli viidellekymmenelle mustalle yritykselle mahdollisuuden osallistua näyttelyyn kongressissa auttaakseen niitä luomaan tuotteilleen kansalliset markkinat. Nykyään aloitetta edistetään Project S.E.E.D.:n (Sigma Economic Empowerment Development) kautta, joka edelleen puolustaa afroamerikkalaista yritystoimintaa, mutta tarjoaa myös talouslukutaitokursseja ja edistää kodinomistusta.
Sigman koulutusohjelma tarjoaa palveluita ja apua valmistuneille ja perustutkinto-opiskelijoille, kerää varoja apurahoja varten ja sponsoroi luentoja, korkeakoulumessuja ja mentorointiohjelmia eri puolilla maata. Sigma Wellness Program keskittyy terveellisiin elämäntapoihin koulutuksen avulla. Project Vote jatkaa äänestäjien rekisteröintiä, ja Phi Beta Sigma Capitol Hill Summit antaa veljeskunnan jäsenille mahdollisuuden keskustella tärkeistä asioista Yhdysvaltain kongressiedustajien kanssa. Vuonna 2001 veljeskunta avasi Sigma History Museum -museon, kiertävän näyttelyn, joka keskittyy Sigman historiaan ja sen vaikutukseen kansakuntaan.
Merkittäviin Sigmoihin lukeutuvat muun muassa Kwame Nkrumah, Ghanan ensimmäinen pääministeri, Nnamdi Azikiwe, Nigerian ensimmäinen presidentti, tiedemies George Washington Carver, James Weldon Johnson, kansalaisoikeuksia ajava johtaja ja säveltäjä, joka sävelsi kappaleen ”Lift Every Voice and Sing” (mustien kansallishymni), dr. Rod Paige, George W. Bushin hallinnon entinen opetusministeri, Yhdysvaltain kongressiedustaja John Lewis, Black Panther Party -puolueen perustaja Huey P. Newton ja National Football League -tähdet Jerry Rice ja Emmett Smith.