Southern Comfort werd voor het eerst geproduceerd door barman Martin Wilkes Heron (1850-1920), de zoon van een scheepsbouwer, in 1874 in McCauley’s Tavern in het Lower Garden District, twee mijl ten noorden van de French Quarter van New Orleans, Louisiana. Volgens het New Orleans Convention & Visitors Bureau, was McCauley’s Tavern “just off Bourbon Street”, en de oorspronkelijke vorm van de drank heette Cuffs and Buttons.
Heron verhuisde in 1889 naar Memphis, Tennessee, patenteerde zijn creatie, en begon het te verkopen in verzegelde flessen met de slogan “None Genuine But Mine” en “Twee per klant. Geen Gentleman zou om meer vragen.” Southern Comfort won de gouden medaille op de wereldtentoonstelling van 1904 in St. Louis, Missouri.
In een aflevering van The Thirsty Traveler getiteld “A River of Whiskey”, beschrijft gedistilleerd historicus Chris Morris het oorspronkelijke recept van Southern Comfort. Heron begon met bourbon van goede kwaliteit en voegde daaraan toe:
Een centimeter vanilleboon, ongeveer een kwart van een citroen, een half kaneelstokje, vier kruidnagels, een paar kersen en een sinaasappelstukje of twee. Hij zou dit dagen laten weken. En als hij klaar was, voegde hij zijn zoetstof toe: hij gebruikte graag honing.
Het oorspronkelijke merk werd tijdens de Drooglegging gesloten en werd daarna heropend door Francis Fowler.
Tussen de jaren 1930 en 2010 was de afbeelding op het etiket van Southern Comfort A Home on the Mississippi, een weergave door Alfred Waud van Woodland Plantation, een antebellum herenhuis in West Pointe à la Hache, Louisiana, dat is opgenomen in het National Register of Historic Places, en nu bed-and-breakfast-accommodatie biedt. In 2010 werd het plantage kunstwerk verwijderd van het label.
Brown-Forman kocht het merk in 1979. In 2011 begon het merk met het uitbrengen van gearomatiseerde variaties zoals kers, limoen, peperkoek, en Tabasco. In januari 2016 verkocht Brown-Forman het aan Sazerac Company, samen met Tuaca, als onderdeel van een deal van 543,5 miljoen dollar. Sazerac kondigde aan dat de formule van Southern Comfort in 2017 zou worden gewijzigd om whisky als basisgeest te herstellen, zoals de oorspronkelijke formule gebruikte. Enige tijd voordat Brown-Forman het merk kocht, was het geherformuleerd om neutrale spirit te gebruiken, met slechts een verwaarloosbare hoeveelheid whiskey als smaakmaker.