El barman Martin Wilkes Heron (1850-1920), hijo de un constructor de barcos, produjo por primera vez Southern Comfort en 1874 en la taberna McCauley’s Tavern, en el Lower Garden District, dos millas al norte del French Quarter de Nueva Orleans, Luisiana. Según la Oficina de Visitantes de la Convención de Nueva Orleans &, la taberna de McCauley estaba «justo al lado de Bourbon Street», y la forma original de la bebida se llamaba Cuffs and Buttons.
Heron se trasladó a Memphis, Tennessee, en 1889, patentó su creación y empezó a venderla en botellas selladas con el eslogan «None Genuine But Mine» y «Two per customer. Ningún caballero pediría más». Southern Comfort ganó la medalla de oro en la Feria Mundial de 1904 en St. Louis, Missouri.
En un episodio de El viajero sediento titulado «Un río de whisky», el historiador de bebidas alcohólicas Chris Morris describe la receta original de Southern Comfort. Heron comenzaba con un bourbon de buena calidad y le añadía:
Una pulgada de vaina de vainilla, un cuarto de limón, la mitad de una rama de canela, cuatro clavos, unas cuantas cerezas y uno o dos trozos de naranja. Lo dejaba en remojo durante días. Y justo cuando estaba listo para terminar, añadía su edulcorante: le gustaba usar miel.
La marca original cerró durante la Ley Seca y fue reabierta después por Francis Fowler.
Entre los años 30 y 2010, la imagen de la etiqueta de Southern Comfort era A Home on the Mississippi (Un hogar en el Mississippi), una representación de Alfred Waud de la plantación Woodland, una mansión de antes de la guerra en West Pointe à la Hache, Luisiana, que está incluida en el Registro Nacional de Lugares Históricos, y que ahora ofrece alojamiento y desayuno. En 2010 se eliminaron las ilustraciones de la plantación de la etiqueta.
Brown-Forman adquirió la marca en 1979. En 2011, la marca comenzó a lanzar variaciones de sabor como cereza, lima, pan de jengibre y Tabasco. En enero de 2016 Brown-Forman la vendió a Sazerac Company, junto con Tuaca, como parte de un acuerdo de 543,5 millones de dólares. Sazerac anunció que la fórmula de Southern Comfort se cambiaría en 2017 para restablecer el whisky como espíritu base, tal y como utilizaba la fórmula original. En algún momento antes de que Brown-Forman comprara la marca, se había reformulado para utilizar espíritu neutro, con sólo una cantidad insignificante de whisky como saborizante.