Southern Comfort blev første gang fremstillet af bartenderen Martin Wilkes Heron (1850-1920), søn af en bådebygger, i 1874 på McCauley’s Tavern i Lower Garden District, to miles nord for det franske kvarter i New Orleans, Louisiana. Ifølge New Orleans Convention & Visitors Bureau lå McCauley’s Tavern “lige ved Bourbon Street”, og den oprindelige form af drinken blev kaldt Cuffs and Buttons.
Heron flyttede til Memphis, Tennessee i 1889, tog patent på sin kreation og begyndte at sælge den i forseglede flasker med sloganet “None Genuine But Mine” og “Two per customer”. Ingen gentleman ville bede om mere.” Southern Comfort vandt guldmedalje på verdensudstillingen i 1904 i St. Louis, Missouri.
I et afsnit af The Thirsty Traveler med titlen “A River of Whiskey” beskriver spiritushistorikeren Chris Morris den oprindelige opskrift på Southern Comfort. Heron begyndte med bourbon af god kvalitet og ville tilføje:
En tomme vaniljekorn, ca. en fjerdedel af en citron, en halv kanelstang, fire nelliker, et par kirsebær og en appelsinbid eller to. Han ville lade dette trække i flere dage. Og lige når han var klar til at blive færdig, tilsatte han sit sødemiddel: han kunne lide at bruge honning.
Det oprindelige mærke lukkede under forbudstiden og blev genåbnet bagefter af Francis Fowler.
Mellem 1930’erne og 2010 var billedet på etiketten til Southern Comfort A Home on the Mississippi, en gengivelse af Alfred Waud, der forestiller Woodland Plantation, et antebellum-hus i West Pointe à la Hache i Louisiana, som er opført på National Register of Historic Places, og som nu tilbyder overnatning med bed-and-breakfast. I 2010 blev plantage-motivet fjernet fra etiketten.
Brown-Forman købte mærket i 1979. I 2011 begyndte mærket at frigive smagsvarianter som kirsebær, lime, peberkage og Tabasco. I januar 2016 solgte Brown-Forman det til Sazerac Company, sammen med Tuaca, som en del af en aftale på 543,5 millioner dollars. Sazerac meddelte, at Southern Comfort’s formel ville blive ændret i 2017 for at genindføre whiskey som basissprit, som den oprindelige formel brugte. Et stykke tid før Brown-Forman købte mærket, var det blevet omformuleret til at bruge neutral spiritus med kun en ubetydelig mængde whisky som smagsgiver.