Southern Comfort foi produzido pela primeira vez pelo barman Martin Wilkes Heron (1850-1920), o filho de um construtor de barcos, em 1874 na McCauley’s Tavern no Lower Garden District, duas milhas ao norte do Bairro Francês de Nova Orleães, Louisiana. De acordo com a Convenção de Nova Orleans &Artesaria de Visitantes, a Taverna McCauley’s era “ao largo da Bourbon Street”, e a forma original da bebida chamava-se Cuffs and Buttons.
Heron mudou-se para Memphis, Tennessee, em 1889, patenteou a sua criação, e começou a vendê-la em garrafas seladas com o slogan “None Genuine But Mine” e “Two per customer”. Nenhum cavalheiro pediria mais”. Southern Comfort ganhou a medalha de ouro na Feira Mundial de 1904 em St. Louis, Missouri.
Num episódio de The Thirsty Traveler intitulado “A River of Whiskey”, o historiador dos espíritos Chris Morris descreve a receita original de Southern Comfort. Heron começou com bourbon de boa qualidade e acrescentava:
Uma polegada de feijão baunilha, cerca de um quarto de limão, metade de um pau de canela, quatro cravos, algumas cerejas, e um pedaço de laranja ou dois. Ele deixaria isto de molho durante dias. E logo quando ele estava pronto para terminar, ele adicionava seu adoçante: ele gostava de usar mel.
A marca original fechou durante a Proibição e foi reaberta em seguida por Francis Fowler.
Entre os anos 30 e 2010, a imagem no rótulo da Southern Comfort foi A Home on the Mississippi, uma representação de Alfred Waud representando Woodland Plantation, uma mansão de antebelo em West Pointe à la Hache, Louisiana, que está listada no Registro Nacional de Lugares Históricos, e agora oferece acomodações de cama e café da manhã. Em 2010 a arte da plantação foi retirada da etiqueta.
Brown-Forman comprou a marca em 1979. Em 2011, a marca começou a lançar variações de sabor como cereja, lima, pão de gengibre e Tabasco. Em janeiro de 2016 a Brown-Forman vendeu para a Sazerac Company, junto com a Tuaca, como parte de um negócio de US$543,5 milhões. A Sazerac anunciou que a fórmula da Southern Comfort seria alterada em 2017 para restaurar o whisky como o espírito base, como a fórmula original utilizada. Algum tempo antes da Brown-Forman comprar a marca, ela havia sido reformulada para usar o espírito neutro, com apenas uma quantidade insignificante de whisky como aromatizante.