Harris Teeter is begonnen als twee onafhankelijke kruidenierswinkels. In 1939 openden Willis L. Teeter en zijn broer Paul Teeters Food Mart in Mooresville met een lening van $17000. In 1949 opende W. T. Harris zijn eigen kruidenierswinkel in Charlotte met een lening van $500. Op 1 februari 1960 werden beide winkels samengevoegd tot Harris Teeter Supermarkets, Inc. en openden met vijftien winkels. De eerste winkel werd geopend in Kannapolis, NC. In 1963 exploiteerde Harris Teeter vijfentwintig winkels en kocht vervolgens vijf winkels van Tillman’s Grocery en twee kleine winkels in Charlotte en Gastonia.
In 1969 kocht de holding Ruddick Harris Teeter, en in 1984 de kruidenierswinkelketen Food World, die 52 winkels en 3.000 werknemers telde. Door samen te gaan, breidde Harris Teeter uit naar vier staten met 7.000 werknemers en werd de op een na grootste kruidenier in North Carolina. In 1988 verwierf Harris Teeter nog eens 52 winkels door de aankoop van verschillende Big Star supermarkten en een Grand Union Company warenhuis. Twee jaar later verwierf Harris Teeter de Borden Dairy Plant en begon meer zuivelproducten te verkopen.
In 1991 voegde Harris Teeter een diepvriesfaciliteit en een opslagfaciliteit voor niet-bederfelijke waren toe in Greensboro. In het begin van de jaren negentig verhuisde Harris Teeters hoofdkantoor naar Matthews, NC en het bedrijf breidde zijn markt uit door in 1993 zijn eerste winkel in Georgia te openen. Tegen 1994 gaf Harris Teeter de voorkeur aan winkels tussen 33.000 en 50.000 vierkante meter. De klanten waren overwegend uit de hogere middenklasse en uit de stad.
In deze periode legde Harris Teeter de nadruk op een breed scala aan voedingsmiddelen, zoals een verscheidenheid aan vlees, saladedressings, fruit en groenten. Winkels begonnen met inbegrip van deli met chef-koks, een bakkerij, en een salade bar. Sommige winkels hebben zelfs vers bereide omeletten en koffie voor het ontbijt. Harris Teeter biedt geen algemene koopwaar aan zoals wenskaarten en heeft ook geen apotheken. De nadruk van het bedrijf ligt op het aanbieden van een brede selectie van levensmiddelen. In het midden van de jaren negentig begon Harris Teeter met zijn “Very Important Customer Program”, waarbij kortingen worden gegeven aan vaste klanten. Ondertussen breidde Harris Teeter zijn gemeenschapsbereik uit door het sponsoren van liefdadigheidsinstellingen, donaties, studiebeursprogramma’s en voedselbanken.
In 2000 dwong de concurrentie Harris Teeter om zijn Atlanta-markt te sluiten en verschillende winkels in Zuid-Carolina te verkopen. Er werden ook voorraadcontroles ingevoerd om verspilling tegen te gaan en de prijzen te verlagen. Harris Teeter bleef succesvol en opende in 2002 zijn Rancher Beef Program dat de consument een breed scala aan vers rundvlees biedt.