Harris Teeter a pornit ca două magazine alimentare independente. În 1939, Willis L. Teeter și fratele său Paul au deschis Teeters Food Mart în Mooresville cu un împrumut de 1.7000 de dolari. În 1949, W. T. Harris și-a deschis propriul magazin alimentar în Charlotte cu un împrumut de 500 de dolari. La 1 februarie 1960, ambele magazine s-au consolidat pentru a forma Harris Teeter Supermarkets, Inc. și au deschis 15 magazine. Primul magazin a fost deschis în Kannapolis, NC. Până în 1963, Harris Teeter a operat douăzeci și cinci de magazine și, ulterior, a cumpărat cinci magazine de la Tillman’s Grocery și două magazine mici în Charlotte și Gastonia.

În 1969, holdingul Ruddick a cumpărat Harris Teeter, iar în 1984 lanțul de magazine alimentare, Food World, care avea 52 de magazine și 3.000 de angajați. Prin fuziune, Harris Teeter s-a extins în patru state cu 7.000 de angajați și a devenit al doilea cel mai mare magazin alimentar din Carolina de Nord. În 1988, Harris Teeter a achiziționat încă 52 de magazine prin cumpărarea mai multor supermarketuri Big Star și a unui depozit al Grand Union Company. Doi ani mai târziu, Harris Teeter a obținut Borden Dairy Plant și a început să vândă mai multe produse lactate.

În 1991, Harris Teeter a adăugat o instalație de congelare și un depozit de produse neperisabile în Greensboro. La începutul anilor 1990, sediul central al Harris Teeter s-a mutat în Matthews, NC, iar compania și-a extins piața prin deschiderea primului său magazin din Georgia în 1993. Până în 1994, Harris Teeter prefera magazinele cu o suprafață cuprinsă între 33.000 și 50.000 de metri pătrați. Clienții erau predominant din clasa medie superioară și din mediul urban.

În această perioadă, Harris Teeter a pus accentul pe o gamă largă de produse alimentare, cum ar fi o varietate de carne, sosuri pentru salate, fructe și legume. Magazinele au început să includă delicatese cu bucătari, o brutărie și un bar de salate. Unele magazine au inclus chiar și omlete proaspăt făcute și cafea la micul dejun. Harris Teeter nu oferă mărfuri generale, cum ar fi cărți de felicitare, și nici magazinele nu au farmacii. Accentul companiei este pus pe oferirea unei selecții largi de alimente. La mijlocul anilor 1990, Harris Teeter a inițiat programul „Very Important Customer Program”, în cadrul căruia se acordă reduceri clienților frecvenți. Între timp, Harris Teeter și-a extins activitatea în folosul comunității prin sponsorizarea unor organizații de caritate, donații, programe de burse și bănci alimentare.

Până în 2000, concurența a forțat Harris Teeter să închidă piața din Atlanta și să vândă mai multe magazine din Carolina de Sud. De asemenea, au fost instituite controale ale inventarului pentru a elimina risipa și pentru a reduce prețurile. Harris Teeter a continuat să aibă succes, iar în 2002 a deschis programul Rancher Beef, oferind consumatorilor o gamă largă de carne de vită proaspătă.