Harris Teeter begann als zwei unabhängige Lebensmittelläden. Im Jahr 1939 eröffneten Willis L. Teeter und sein Bruder Paul Teeters Food Mart in Mooresville mit einem Kredit von 1.7000 Dollar. 1949 eröffnete W. T. Harris sein eigenes Lebensmittelgeschäft in Charlotte mit einem Kredit von 500 Dollar. Am 1. Februar 1960 schlossen sich beide Geschäfte zu Harris Teeter Supermarkets, Inc. zusammen und eröffneten fünfzehn Filialen. Das erste Geschäft wurde in Kannapolis, NC, eröffnet. Bis 1963 betrieb Harris Teeter fünfundzwanzig Filialen und kaufte in der Folge fünf Filialen von Tillman’s Grocery und zwei kleine Filialen in Charlotte und Gastonia.
Im Jahr 1969 kaufte die Holdinggesellschaft Ruddick Harris Teeter und 1984 die Lebensmittelkette Food World mit 52 Geschäften und 3.000 Beschäftigten. Durch den Zusammenschluss expandierte Harris Teeter auf vier Bundesstaaten mit 7.000 Beschäftigten und wurde zum zweitgrößten Lebensmittelgeschäft in North Carolina. Im Jahr 1988 erwarb Harris Teeter durch den Kauf mehrerer Big Star-Supermärkte und eines Lagerhauses der Grand Union Company weitere 52 Geschäfte. Zwei Jahre später erwarb Harris Teeter die Borden Dairy Plant und begann, mehr Milchprodukte zu verkaufen.
Im Jahr 1991 fügte Harris Teeter ein Tiefkühlhaus und ein Lager für unverderbliche Waren in Greensboro hinzu. Anfang der 1990er Jahre zog Harris Teeters Hauptsitz nach Matthews, NC, um und das Unternehmen erweiterte seinen Markt durch die Eröffnung des ersten Geschäfts in Georgia im Jahr 1993. Bis 1994 bevorzugte Harris Teeter Geschäfte mit einer Größe zwischen 33.000 und 50.000 Quadratmetern. Die Kunden gehörten überwiegend der oberen Mittelschicht an und kamen aus der Stadt.
In dieser Zeit legte Harris Teeter Wert auf eine breite Palette von Lebensmitteln, wie z.B. eine Vielzahl von Fleischsorten, Salatdressings, Obst und Gemüse. Die Läden begannen, Delikatessengeschäfte mit Köchen, eine Bäckerei und eine Salatbar einzurichten. Einige Läden boten sogar frisch zubereitete Omeletts und Kaffee zum Frühstück an. Harris Teeter führt keine allgemeinen Waren wie z.B. Grußkarten und hat auch keine Apotheken. Der Schwerpunkt des Unternehmens liegt auf dem Angebot einer großen Auswahl an Lebensmitteln. Mitte der 1990er Jahre startete Harris Teeter sein „Very Important Customer Program“, bei dem Stammkunden Rabatte erhalten. In der Zwischenzeit erweiterte Harris Teeter sein Engagement in der Gemeinde, indem es Wohltätigkeitsorganisationen, Spenden, Stipendienprogramme und Lebensmittelbanken sponserte.
Im Jahr 2000 zwang die Konkurrenz Harris Teeter, seinen Markt in Atlanta zu schließen und mehrere Filialen in South Carolina zu verkaufen. Außerdem wurden Bestandskontrollen eingeführt, um Verschwendung zu vermeiden und die Preise zu senken. Harris Teeter blieb erfolgreich und eröffnete 2002 sein Rancher Beef Programm, das den Verbrauchern eine breite Palette an frischem Rindfleisch bietet.