Harris Teeter startede som to uafhængige købmandsforretninger. I 1939 åbnede Willis L. Teeter og hans bror Paul Teeters Food Mart i Mooresville med et lån på 1.7000 dollars. I 1949 åbnede W. T. Harris sin egen købmandsbutik i Charlotte med et lån på 500 dollars. Den 1. februar 1960 blev begge butikker slået sammen til Harris Teeter Supermarkets, Inc. og åbnede med femten butikker. Den første butik åbnede i Kannapolis, NC. I 1963 drev Harris Teeter 25 butikker og købte efterfølgende fem butikker fra Tillman’s Grocery samt to mindre butikker i Charlotte og Gastonia.

I 1969 købte holdingselskabet Ruddick Harris Teeter og dagligvarekæden Food World i 1984, som havde 52 butikker og 3.000 ansatte. Ved at fusionere udvidede Harris Teeter til fire stater med 7.000 ansatte og blev den næststørste købmandsbutik i North Carolina. I 1988 erhvervede Harris Teeter yderligere 52 butikker ved at købe flere Big Star-supermarkeder og et Grand Union Company-varehus. To år senere købte Harris Teeter Borden Dairy Plant og begyndte at sælge flere mejeriprodukter.

I 1991 tilføjede Harris Teeter et fryseanlæg og et opbevaringsanlæg for ikke-forgængelige varer i Greensboro. I begyndelsen af 1990’erne flyttede Harris Teeters hovedkvarter til Matthews, NC, og virksomheden udvidede sit marked ved at åbne sin første butik i Georgia i 1993. I 1994 foretrak Harris Teeter butikker på mellem 33.000 og 50.000 kvadratmeter. Kunderne var overvejende fra den øvre middelklasse og fra byerne.

I denne periode lagde Harris Teeter vægt på et bredt udvalg af fødevarer, f.eks. en række forskellige kødtyper, salatdressinger, frugt og grøntsager. Butikkerne begyndte at inkludere deli med kokke, et bageri og en salatbar. Nogle butikker havde endda frisklavede omeletter og kaffe til morgenmad. Harris Teeter fører ikke almindelige varer som f.eks. lykønskningskort, og butikkerne har heller ikke apoteker. Virksomheden lægger vægt på at tilbyde et bredt udvalg af fødevarer. I midten af 1990’erne startede Harris Teeter sit “Very Important Customer Program”, hvor der gives rabatter til hyppige kunder. I mellemtiden udvidede Harris Teeter sin indsats i lokalsamfundet ved at sponsorere velgørenhedsorganisationer, donationer, stipendieprogrammer og fødevarebanker.

I 2000 tvang konkurrencen Harris Teeter til at lukke sit marked i Atlanta og sælge flere butikker i South Carolina. Der blev også indført kontrol med lagerbeholdningen for at eliminere spild og sænke priserne. Harris Teeter havde fortsat succes og åbnede i 2002 sit Rancher Beef Program, der giver forbrugerne et bredt udvalg af frisk oksekød.