Southern Comfort a été produit pour la première fois par le barman Martin Wilkes Heron (1850-1920), fils d’un constructeur de bateaux, en 1874 à la taverne McCauley dans le Lower Garden District, à deux miles au nord du quartier français de la Nouvelle-Orléans, en Louisiane. Selon le New Orleans Convention & Visitors Bureau, la Taverne de McCauley était « juste à côté de Bourbon Street », et la forme originale de la boisson était appelée Cuffs and Buttons.
Heron déménagea à Memphis, Tennessee en 1889, breveta sa création, et commença à la vendre dans des bouteilles scellées avec le slogan « None Genuine But Mine » et « Deux par client. Aucun gentleman n’en demanderait plus ». Southern Comfort a remporté la médaille d’or à l’exposition universelle de 1904 à St. Louis, dans le Missouri.
Dans un épisode de The Thirsty Traveler intitulé « A River of Whiskey », l’historien des spiritueux Chris Morris décrit la recette originale de Southern Comfort. Heron commençait avec du bourbon de bonne qualité et ajoutait :
Un pouce de gousse de vanille, environ un quart de citron, la moitié d’un bâton de cannelle, quatre clous de girofle, quelques cerises et un ou deux morceaux d’orange. Il laissait tremper tout ça pendant des jours. Et juste quand il était prêt à finir, il ajoutait son édulcorant : il aimait utiliser du miel.
La marque originale a fermé pendant la Prohibition et a été rouverte par la suite par Francis Fowler.
Entre les années 1930 et 2010, l’image sur l’étiquette de Southern Comfort était A Home on the Mississippi, un rendu d’Alfred Waud représentant Woodland Plantation, un manoir antebellum à West Pointe à la Hache, en Louisiane, qui est inscrit au National Register of Historic Places, et qui offre aujourd’hui un hébergement en bed-and-breakfast. En 2010, l’illustration de la plantation a été retirée de l’étiquette.
Brown-Forman a acheté la marque en 1979. En 2011, la marque a commencé à sortir des variations aromatisées comme la cerise, le citron vert, le pain d’épices et le Tabasco. En janvier 2016, Brown-Forman l’a vendue à Sazerac Company, ainsi que Tuaca, dans le cadre d’une transaction de 543,5 millions de dollars. Sazerac a annoncé que la formule de Southern Comfort serait modifiée en 2017 pour rétablir le whisky comme spiritueux de base, comme le faisait la formule originale. Quelque temps avant que Brown-Forman n’achète la marque, elle avait été reformulée pour utiliser de l’alcool neutre, avec seulement une quantité négligeable de whisky comme arôme.