Harris Teeter alkoi kahdesta itsenäisestä ruokakaupasta. Vuonna 1939 Willis L. Teeter ja hänen veljensä Paul avasivat Teeters Food Martin Mooresvilleen 17000 dollarin lainalla. Vuonna 1949 W. T. Harris avasi oman päivittäistavarakaupan Charlottessa 500 dollarin lainalla. Helmikuun 1. päivänä 1960 molemmat kaupat yhdistyivät Harris Teeter Supermarkets, Inc:ksi ja avasivat viisitoista myymälää. Ensimmäinen myymälä avattiin Kannapolisissa, NC:ssä. Vuoteen 1963 mennessä Harris Teeterillä oli kaksikymmentäviisi myymälää, ja myöhemmin se osti viisi myymälää Tillman’s Grocerylta ja kaksi pientä myymälää Charlottessa ja Gastoniassa.
Vuonna 1969 holdingyhtiö Ruddick osti Harris Teeterin ja vuonna 1984 päivittäistavarakauppaketju Food Worldin, jolla oli 52 myymälää ja 3 000 työntekijää. Yhdistymisen myötä Harris Teeter laajeni neljään osavaltioon ja työllisti 7 000 työntekijää, ja siitä tuli Pohjois-Carolinan toiseksi suurin päivittäistavarakauppa. Vuonna 1988 Harris Teeter hankki lisää 52 myymälää ostamalla useita Big Star -supermarketteja ja Grand Union Company -varaston. Kaksi vuotta myöhemmin Harris Teeter hankki Borden Dairy Plantin ja alkoi myydä lisää maitotuotteita.
Vuonna 1991 Harris Teeter lisäsi Greensborossa sijaitsevan pakastamon ja pilaantumattomien tuotteiden varaston. 1990-luvun alussa Harris Teeterin pääkonttori muutti Matthewsiin, NC:hen, ja yritys laajensi markkinoitaan avaamalla ensimmäisen myymälänsä Georgiassa vuonna 1993. Vuoteen 1994 mennessä Harris Teeter suosi 33 000-50 000 neliöjalan myymälöitä. Asiakkaat olivat pääasiassa ylempää keskiluokkaa ja kaupunkilaisia.
Tänä aikana Harris Teeter korosti laajaa valikoimaa elintarvikkeita, kuten erilaisia lihoja, salaattikastikkeita, hedelmiä ja vihanneksia. Myymälöihin alettiin sisällyttää herkkukauppoja kokkeineen, leipomo ja salaattibaari. Joissakin myymälöissä oli jopa tuoretta munakasta ja kahvia aamiaiseksi. Harris Teeterissä ei ole yleisiä kauppatavaroita, kuten onnittelukortteja, eikä myymälöissä ole apteekkeja. Yrityksen pääpaino on laajan elintarvikevalikoiman tarjoamisessa. Harris Teeter aloitti 1990-luvun puolivälissä ”Very Important Customer Program” -ohjelman, jossa kanta-asiakkaille annetaan alennuksia. Samaan aikaan Harris Teeter laajensi yhteisöllisiä toimiaan sponsoroimalla hyväntekeväisyysjärjestöjä, lahjoituksia, stipendiohjelmia ja ruokapankkeja.
Vuoteen 2000 mennessä kilpailu pakotti Harris Teeterin sulkemaan Atlantan markkinansa ja myymään useita Etelä-Carolinan myymälöitä. Hävikin poistamiseksi ja hintojen alentamiseksi ryhdyttiin myös valvomaan varastoja. Harris Teeter pysyi menestyksekkäänä ja avasi vuonna 2002 Rancher Beef -ohjelman, joka tarjoaa kuluttajille laajan valikoiman tuoretta naudanlihaa.