Southern Comfort tillverkades för första gången av bartendern Martin Wilkes Heron (1850-1920), son till en båtbyggare, år 1874 på McCauley’s Tavern i Lower Garden District, två mil norr om de franska kvarteren i New Orleans, Louisiana. Enligt New Orleans Convention & Visitors Bureau låg McCauley’s Tavern ”just off Bourbon Street”, och den ursprungliga formen av drycken kallades Cuffs and Buttons.
Heron flyttade till Memphis, Tennessee 1889, patenterade sin skapelse och började sälja den i förseglade flaskor med slogan ”None Genuine But Mine” och ”Two per customer”. Ingen gentleman skulle be om mer”. Southern Comfort vann guldmedalj vid världsutställningen 1904 i St Louis, Missouri.
I ett avsnitt av The Thirsty Traveler med titeln ”A River of Whiskey” beskriver sprithistorikern Chris Morris det ursprungliga receptet på Southern Comfort. Heron började med bourbon av god kvalitet och skulle lägga till:
En tum vaniljsås, ungefär en fjärdedel av en citron, en halv kanelstång, fyra kryddnejlikor, några körsbär och en apelsinbit eller två. Han skulle låta detta ligga i blöt i flera dagar. Och precis när han var färdig skulle han tillsätta sitt sötningsmedel: han gillade att använda honung.
Det ursprungliga varumärket stängde under förbudstiden och återöppnades efteråt av Francis Fowler.
Mellan 1930-talet och 2010 var bilden på etiketten till Southern Comfort A Home on the Mississippi, en rendering av Alfred Waud som föreställer Woodland Plantation, en herrgård från antebellumtiden i West Pointe à la Hache, Louisiana, som är upptagen i National Register of Historic Places och som numera erbjuder bed-and-breakfast-boende. År 2010 togs plantagekonstverket bort från etiketten.
Brown-Forman köpte varumärket 1979. År 2011 började varumärket släppa smaksatta varianter som körsbär, lime, pepparkakor och Tabasco. I januari 2016 sålde Brown-Forman det till Sazerac Company, tillsammans med Tuaca, som en del av en affär på 543,5 miljoner dollar. Sazerac meddelade att Southern Comfort’s formel skulle ändras 2017 för att återinföra whisky som grundsprit, vilket den ursprungliga formeln använde. Någon gång innan Brown-Forman köpte varumärket hade det omformulerats för att använda neutral sprit, med endast en försumbar mängd whiskey som smaksättare.