Harris Teeter começou como duas mercearias independentes. Em 1939, Willis L. Teeter e seu irmão Paul abriram Teeters Food Mart, em Mooresville, com um empréstimo de US$1.7000. Em 1949, W. T. Harris abriu a sua própria mercearia em Charlotte, com um empréstimo de 500 dólares. Em 1 de fevereiro de 1960, ambas as lojas se consolidaram para formar os Supermercados Harris Teeter, Inc. e abriram com quinze lojas. A primeira loja foi inaugurada em Kannapolis, NC. Em 1963, Harris Teeter operava vinte e cinco lojas e posteriormente comprou cinco lojas da Tillman’s Grocery e duas pequenas lojas em Charlotte e Gastonia.
Em 1969, a holding Ruddick comprou a Harris Teeter, e a cadeia de mercearias Food World, em 1984, que tinha 52 lojas e 3.000 empregados. Com a fusão, Harris Teeter expandiu-se para quatro estados com 7.000 funcionários e tornou-se a segunda maior mercearia da Carolina do Norte. Em 1988, Harris Teeter adquiriu mais 52 lojas através da compra de vários supermercados Big Star e um armazém da Grand Union Company. Dois anos mais tarde, Harris Teeter adquiriu a fábrica Borden Dairy Plant e começou a vender mais produtos lácteos.
Em 1991, a Harris Teeter acrescentou uma instalação de congelação e um armazém não perecível em Greensboro. No início dos anos 90, a sede da Harris Teeters mudou-se para Matthews, NC e a empresa expandiu seu mercado abrindo sua primeira loja na Geórgia em 1993. Em 1994, a Harris Teeter preferiu lojas entre 33.000 e 50.000 pés quadrados. Os clientes eram predominantemente de classe média-alta e urbanos.
Durante este tempo, Harris Teeter enfatizou uma ampla gama de itens alimentícios, tais como uma variedade de carnes, molhos para salada, frutas e vegetais. As lojas começaram a incluir delícias com chefs, uma padaria, e um bar de saladas. Algumas lojas incluíam até omeletes e café da manhã feitos na hora do café da manhã. Harris Teeter não transporta mercadorias em geral, como cartões de felicitações, nem as lojas têm farmácias. A ênfase da empresa é oferecer uma ampla seleção de alimentos. Em meados dos anos 90, Harris Teeter iniciou seu “Programa de Clientes Muito Importantes”, no qual são concedidos descontos a clientes frequentes. Entretanto, a Harris Teeter expandiu seu alcance comunitário patrocinando instituições de caridade, doações, programas de bolsas de estudo e bancos de alimentos.
Até 2000, a concorrência forçou a Harris Teeter a fechar seu mercado de Atlanta e vender várias lojas da Carolina do Sul. Os controles de estoque também foram instilados para eliminar o desperdício e baixar os preços. Harris Teeter continuou a ter sucesso e em 2002 abriu seu Programa Rancher Beef, fornecendo aos consumidores uma grande variedade de carne bovina fresca.