A Southern Comfortot először Martin Wilkes Heron (1850-1920) csapos, egy hajóépítő fia állította elő 1874-ben a McCauley’s Tavernában, a louisianai New Orleans francia negyedétől két mérföldre északra fekvő Lower Garden Districtben. A New Orleans Convention & Visitors Bureau szerint a McCauley’s Tavern “közvetlenül a Bourbon Street mellett” volt, és az ital eredeti formája a Cuffs and Buttons nevet viselte.
Heron 1889-ben a Tennessee állambeli Memphisbe költözött, szabadalmaztatta az alkotását, és lezárt üvegekben kezdte árulni, “None Genuine But Mine” és “Two per customer” felirattal. Egyetlen úriember sem kérne többet”. A Southern Comfort aranyérmet nyert az 1904-es világkiállításon a Missouri állambeli St. Louisban.
A The Thirsty Traveler “A River of Whiskey” című epizódjában Chris Morris szeszesital-történész ismerteti a Southern Comfort eredeti receptjét. Heron jó minőségű bourbonból indult ki, és a következőket adta hozzá:
Egy hüvelyknyi vaníliarúd, körülbelül egy negyed citrom, egy fél fahéjrúd, négy szegfűszeg, néhány cseresznye és egy-két narancsdarab. Ezt napokig hagyta ázni. És éppen amikor készen állt, hozzáadta az édesítőszert: szívesen használt mézet.
Az eredeti márka a szesztilalom alatt bezárt, és utána Francis Fowler nyitotta meg újra.
A harmincas évek és 2010 között a Southern Comfort címkéjének képe az A Home on the Mississippi volt, Alfred Waud ábrázolása, amely a Woodland Plantationt ábrázolja, a louisianai West Pointe à la Hache-ban található, a nemzeti műemléki jegyzékben szereplő, ma panzióként működő, a louisianai West Pointe à la Hache-ban található előkúriát. 2010-ben az ültetvényt ábrázoló képet eltávolították a címkéről.
A Brown-Forman 1979-ben vásárolta meg a márkát. 2011-ben a márka olyan ízesített variációkat kezdett el kiadni, mint a cseresznye, a lime, a mézeskalács és a Tabasco. 2016 januárjában a Brown-Forman egy 543,5 millió dolláros üzlet keretében a Tuacával együtt eladta a Sazerac Company-nak. A Sazerac bejelentette, hogy a Southern Comfort receptúráját 2017-ben megváltoztatják, és visszaállítják a whiskey-t mint alappárlatot, ahogyan azt az eredeti receptúra használta. Valamikor azelőtt, hogy a Brown-Forman megvásárolta volna a márkát, újrafogalmazták, hogy semleges szeszt használjon, és csak elhanyagolható mennyiségű whiskey-t használjon ízesítőanyagként.