Southern Comfortia valmisti ensimmäisen kerran baarimikko Martin Wilkes Heron (1850-1920), veneenrakentajan poika, vuonna 1874 McCauley’s Tavernassa Lower Garden Districtissä, kaksi mailia pohjoiseen New Orleansin ranskalaiskorttelista, Louisianassa. New Orleans Convention & Visitors Bureaun mukaan McCauley’s Tavern sijaitsi ”aivan Bourbon Streetin tuntumassa”, ja juoman alkuperäistä muotoa kutsuttiin nimellä Cuffs and Buttons (hihansuut ja napit).
Heron muutti Memphisiin, Tennesseehen vuonna 1889, patentoi luomuksensa ja alkoi myydä sitä sinetöidyissä pulloissa, joissa oli mainoslauseena ”None Genuine But Mine” (Ei aitoa, mutta minun) ja mainoslauseena oli: ”Kaksi asiakasta kohti”. Yksikään herrasmies ei pyydä enempää”. Southern Comfort voitti kultamitalin vuoden 1904 maailmannäyttelyssä St. Louisissa, Missourissa.
The Thirsty Traveler -sarjan jaksossa ”A River of Whiskey” väkevien alkoholijuomien historioitsija Chris Morris kuvaa Southern Comfortin alkuperäistä reseptiä. Heron aloitti hyvälaatuisesta bourbonista ja lisäsi siihen:
Tuuma vaniljatankoa, noin neljännes sitruunasta, puolikas kanelitanko, neljä neilikkaa, muutama kirsikka ja appelsiinin palanen tai kaksi. Hän antoi tämän liota päiväkausia. Ja juuri kun hän oli valmis, hän lisäsi makeutusaineensa: hän käytti mielellään hunajaa.
Alkuperäinen tuotemerkki suljettiin kieltolain aikana, ja sen jälkeen Francis Fowler avasi sen uudelleen.
1930-luvulta vuoteen 2010 Southern Comfortin etiketin kuva oli A Home on the Mississippi, Alfred Waudin renderöimä kuva, joka kuvaa Woodland Plantationia, Louisianan West Pointe à la Hachessa sijaitsevaa entisaikojen kartanoa, joka on merkitty National Register of Historic Places -luetteloon ja joka nykyään tarjoaa bed-and-breakfast-majoitusta. Vuonna 2010 plantaasitaide poistettiin etiketistä.
Brown-Forman osti tuotemerkin vuonna 1979. Vuonna 2011 brändi alkoi julkaista maustettuja variaatioita, kuten kirsikka, lime, piparkakku ja Tabasco. Tammikuussa 2016 Brown-Forman myi sen yhdessä Tuacan kanssa Sazerac Companylle osana 543,5 miljoonan dollarin kauppaa. Sazerac ilmoitti, että Southern Comfortin kaavaa muutetaan vuonna 2017 siten, että perusviinaksi palautetaan viski, kuten alkuperäisessä kaavassa käytettiin. Joskus ennen kuin Brown-Forman osti tuotemerkin, se oli muotoiltu uudelleen niin, että siinä käytettiin neutraalia väkevää alkoholijuomaa, jossa oli vain vähäinen määrä viskiä makuaineena.