Phi Beta Sigma Fraternity, Inc. (Sigma) bylo založeno na půdě Howardovy univerzity ve Washingtonu, D.C., 14. ledna 1914 třemi vysokoškolskými studenty, A. Langstonem Taylorem, Lenardem F. Morsem a Charlesem I. Brownem, na principech Bratrství, Učenosti a Služby. Zakladatelé chtěli, aby organizace byla spíše „součástí“ než „mimo“ komunitu. Chtěli také vytvořit inkluzivní organizaci, která by nerozlišovala podle rasového původu, rodinného zázemí nebo sociálního postavení.
Do léta 1914 se Phi Beta Sigma rozrostla ze tří zakladatelů na více než 14 členů v Alpha Chapter na Howardově univerzitě. Bratrstvo, které se snažilo rozšířit svou působnost i mimo rámec vysokoškolských studentů, také iniciovalo řadu vycházejících vědců z černošské komunity, včetně Dr. Edwarda P. Davise, Dr. Thomase W. Turnera a Dr. Alaina Leroye Locka, absolventa Harvardovy univerzity z roku 1907, který v roce 1908 nastoupil na Oxfordskou univerzitu v Anglii jako první afroamerický Rhodesův stipendista.
Bratrstvo se rychle rozrůstalo po celé zemi a do roku 1920 mělo pobočky od Marylandu po Texas. K tomuto datu také členové Phi Beta Sigma Charles R. Taylor a A. Langston Taylor pomohli založit první „sesterský“ spolek černošského bratrstva, Zeta Phi Beta Sorority v kampusu Howardovy univerzity. Sigma a Zeta jsou jedinou ústavně vázanou sestersko-bratrskou organizací mezi černošskými řeckými spolky.
Od svého založení bratrstvo věřilo, že by mělo být prostředkem pro poskytování služeb afroamerické komunitě. Zakladatelé tuto myšlenku prezentovali mottem bratrstva „Kultura pro službu a služba lidstvu“. Jeden z jeho prvních programů, iniciativa Bigger and Better Negro Business (Větší a lepší černošské podnikání), byl zahájen na národním sjezdu Sigmy ve Filadelfii v roce 1924. Bratrstvo umožnilo více než padesáti černošským podnikům vystavovat na sjezdu, aby jim pomohlo vytvořit národní trh pro jejich výrobky. Dnes je tato iniciativa podporována prostřednictvím projektu S.E.E.D. (Sigma Economic Empowerment Development), který pokračuje v podpoře afroamerického podnikání, ale který také poskytuje kurzy finanční gramotnosti a podporuje vlastnictví domů.
Vzdělávací program Sigma poskytuje služby a pomoc absolventům a vysokoškolským studentům, získává prostředky na stipendia a sponzoruje přednášky, veletrhy vysokých škol a mentorské programy po celé zemi. Program Sigma Wellness se zaměřuje na zdravý životní styl prostřednictvím vzdělávání. Projekt Vote pokračuje v registraci voličů, zatímco Phi Beta Sigma Capitol Hill Summit umožňuje členům bratrstva diskutovat o zásadních otázkách s americkými kongresmany. V roce 2001 bratrstvo otevřelo Muzeum historie Sigmy, putovní výstavu, která se zaměřuje na historii Sigmy a její vliv na národ.
Mezi významné členy Sigmy patří Kwame Nkrumah, první premiér Ghany, Nnamdi Azikiwe, první prezident Nigérie, vědec George Washington Carver, James Weldon Johnson, vůdce za občanská práva a skladatel písně „Lift Every Voice and Sing“ (Black National Anthem), dr. Rod Paige, bývalý ministr školství ve vládě George W. Bushe, John Lewis, americký kongresman, zakladatel Strany černých panterů Huey P. Newton a hvězdy Národní fotbalové ligy Jerry Rice a Emmett Smith.