Southern Comfort poprvé vyrobil barman Martin Wilkes Heron (1850-1920), syn stavitele lodí, v roce 1874 v McCauley’s Tavern v Lower Garden District, dvě míle severně od francouzské čtvrti New Orleans v Louisianě. Podle New Orleans Convention & Visitors Bureau se McCauley’s Tavern nacházela „kousek od Bourbon Street“ a původní podoba nápoje se jmenovala Cuffs and Buttons.
Heron se v roce 1889 přestěhoval do Memphisu ve státě Tennessee, nechal si svůj výtvor patentovat a začal jej prodávat v zapečetěných lahvích se sloganem „None Genuine But Mine“ a „Two per customer“. Žádný gentleman by nechtěl víc.“ Southern Comfort získal zlatou medaili na Světové výstavě v St Louis ve státě Missouri v roce 1904.
V epizodě seriálu The Thirsty Traveler s názvem „A River of Whiskey“ popisuje historik lihovin Chris Morris původní recepturu Southern Comfort. Heron začínal s kvalitním bourbonem a přidával:
Centimetr vanilkového lusku, asi čtvrtinu citronu, polovinu skořicové tyčinky, čtyři hřebíčky, několik třešní a kousek nebo dva pomeranče. Nechával to několik dní namočené. A hned, když byl připraven skončit, přidával sladidlo: rád používal med.
Původní značku zavřel během prohibice a po ní ji znovu otevřel Francis Fowler.
Od 30. let 20. století do roku 2010 byl na etiketě značky Southern Comfort obrázek A Home on the Mississippi (Domov na Mississippi), jehož autorem je Alfred Waud a který znázorňuje Woodland Plantation, antebellumské sídlo ve West Pointe à la Hache v Louisianě, které je zapsáno v Národním registru historických míst a nyní poskytuje ubytování formou bed-and-breakfast. V roce 2010 byla kresba plantáže z etikety vypuštěna.
Brown-Forman koupil značku v roce 1979. V roce 2011 začala značka uvádět na trh ochucené varianty, například třešňovou, limetkovou, perníkovou a Tabasco. V lednu 2016 ji společnost Brown-Forman prodala společnosti Sazerac Company spolu s Tuacou v rámci transakce za 543,5 milionu dolarů. Společnost Sazerac oznámila, že složení likéru Southern Comfort bude v roce 2017 změněno tak, že základním alkoholem bude opět whisky, jak to bylo v původním složení. Někdy předtím, než společnost Brown-Forman značku koupila, byla její receptura změněna tak, aby používala neutrální líh a jako ochucovadlo bylo použito pouze zanedbatelné množství whisky.