Southern Comfort wurde erstmals 1874 vom Barkeeper Martin Wilkes Heron (1850-1920), dem Sohn eines Bootsbauers, in McCauley’s Tavern im Lower Garden District, zwei Meilen nördlich des French Quarter von New Orleans, Louisiana, hergestellt. Nach Angaben des New Orleans Convention & Visitors Bureau lag McCauley’s Tavern „just off Bourbon Street“, und die ursprüngliche Form des Getränks hieß Cuffs and Buttons.
Heron zog 1889 nach Memphis, Tennessee, ließ seine Kreation patentieren und begann, sie in versiegelten Flaschen mit dem Slogan „None Genuine But Mine“ und „Two per customer“ zu verkaufen. Kein Gentleman würde nach mehr fragen“. Southern Comfort gewann 1904 auf der Weltausstellung in St. Louis, Missouri, die Goldmedaille.
In einer Folge von The Thirsty Traveler mit dem Titel „A River of Whiskey“ beschreibt der Spirituosenhistoriker Chris Morris das Originalrezept von Southern Comfort. Heron begann mit gutem Bourbon und fügte hinzu:
Ein Stück Vanilleschote, etwa ein Viertel einer Zitrone, eine halbe Zimtstange, vier Nelken, ein paar Kirschen und ein oder zwei Orangenstücke. Das alles ließ er tagelang ziehen. Und genau dann, wenn er fertig war, fügte er sein Süßungsmittel hinzu: Er verwendete gerne Honig.
Die ursprüngliche Marke wurde während der Prohibition geschlossen und danach von Francis Fowler wiedereröffnet.
Zwischen den 1930er Jahren und 2010 war das Bild auf dem Etikett von Southern Comfort A Home on the Mississippi, eine Darstellung von Alfred Waud, die Woodland Plantation zeigt, ein Herrenhaus aus der Vorkriegszeit in West Pointe à la Hache, Louisiana, das im National Register of Historic Places aufgeführt ist und heute als Bed-and-Breakfast-Unterkunft dient. Im Jahr 2010 wurde das Plantagenmotiv von der Marke entfernt.
Brown-Forman kaufte die Marke 1979. Im Jahr 2011 begann die Marke, aromatisierte Varianten wie Kirsche, Limette, Lebkuchen und Tabasco herauszubringen. Im Januar 2016 verkaufte Brown-Forman die Marke zusammen mit Tuaca im Rahmen eines 543,5-Millionen-Dollar-Deals an die Sazerac Company. Sazerac kündigte an, dass die Rezeptur von Southern Comfort im Jahr 2017 geändert werden würde, um wieder Whiskey als Basis-Spirituose zu verwenden, wie es in der ursprünglichen Rezeptur der Fall war. Einige Zeit vor dem Kauf der Marke durch Brown-Forman wurde die Rezeptur so umgestellt, dass nun neutraler Alkohol verwendet wird und nur noch eine vernachlässigbare Menge Whiskey als Aromastoff enthalten ist.