A Harris Teeter két független élelmiszerüzletként indult. Willis L. Teeter és testvére, Paul 1939-ben 17000 dolláros kölcsönnel nyitotta meg a Teeters Food Mart-ot Mooresville-ben. 1949-ben W. T. Harris 500 dolláros kölcsönnel megnyitotta saját élelmiszerboltját Charlotte-ban. A két üzlet 1960. február 1-jén egyesült a Harris Teeter Supermarkets, Inc. néven, és tizenöt üzlettel nyitotta meg kapuit. Az első üzlet Kannapolisban, NC-ben nyílt meg. 1963-ra a Harris Teeter huszonöt üzletet üzemeltetett, majd később öt üzletet vásárolt a Tillman’s Grocerytől és két kisebb boltot Charlotte-ban és Gastoniában.
1969-ben a Ruddick holdingvállalat megvásárolta a Harris Teeter-t, 1984-ben pedig a Food World élelmiszerüzletláncot, amely 52 üzlettel és 3000 alkalmazottal rendelkezett. Az egyesüléssel a Harris Teeter négy államra terjeszkedett 7000 alkalmazottal, és Észak-Karolina második legnagyobb élelmiszerüzletévé vált. 1988-ban a Harris Teeter további 52 üzletet szerzett több Big Star szupermarket és a Grand Union Company egyik raktárának megvásárlásával. Két évvel később a Harris Teeter megszerezte a Borden tejüzemet, és több tejterméket kezdett el árulni.
1991-ben a Harris Teeter Greensboróban egy fagyasztólétesítménnyel és egy nem romlandó élelmiszer-raktárral bővült. Az 1990-es évek elején a Harris Teeters központja az NC Matthewsba költözött, és a vállalat 1993-ban az első georgiai üzlet megnyitásával bővítette piacát. 1994-re a Harris Teeter előnyben részesítette a 33 000 és 50 000 négyzetméter közötti áruházakat. A vásárlók túlnyomórészt felső-középosztálybeliek és városiak voltak.
Ez idő alatt a Harris Teeter az élelmiszerek széles választékára helyezte a hangsúlyt, mint például a különféle húsok, salátaöntetek, gyümölcsök és zöldségek. Az üzletek elkezdtek csemegeboltokat is tartalmazni szakácsokkal, pékséggel és salátabárral. Néhány üzletben még frissen készített omlettet és kávét is kínáltak reggelire. A Harris Teeter nem forgalmaz általános árucikkeket, például üdvözlőkártyákat, és az üzletek nem rendelkeznek gyógyszertárral sem. A vállalat hangsúlyt fektet az élelmiszerek széles választékának kínálására. Az 1990-es évek közepén a Harris Teeter elindította a “Nagyon fontos vásárlói programot”, amelynek keretében a törzsvásárlók kedvezményeket kapnak. Eközben a Harris Teeter kiterjesztette közösségi tevékenységét jótékonysági szervezetek, adományok, ösztöndíjprogramok és élelmiszerbankok szponzorálásával.
2000-re a verseny miatt a Harris Teeter kénytelen volt bezárni az atlantai piacát, és eladni több dél-karolinai üzletét. A pazarlás kiküszöbölése és az árak csökkentése érdekében leltárellenőrzéseket is bevezettek. A Harris Teeter sikeres maradt, és 2002-ben megnyitotta Rancher Beef Programját, amely a fogyasztók számára friss marhahúsok széles választékát kínálta.