Harris Teeter comenzó como dos tiendas de alimentación independientes. En 1939, Willis L. Teeter y su hermano Paul abrieron Teeters Food Mart en Mooresville con un préstamo de 1.7000 dólares. En 1949, W. T. Harris abrió su propia tienda de comestibles en Charlotte con un préstamo de 500 dólares. El 1 de febrero de 1960 ambas tiendas se consolidaron para formar Harris Teeter Supermarkets, Inc. y abrieron con quince tiendas. La primera tienda se abrió en Kannapolis, NC. En 1963, Harris Teeter operaba veinticinco tiendas y posteriormente compró cinco tiendas de Tillman’s Grocery y dos pequeñas tiendas en Charlotte y Gastonia.
En 1969, el holding Ruddick compró Harris Teeter, y la cadena de tiendas de comestibles, Food World en 1984, que tenía 52 tiendas y 3.000 empleados. Al fusionarse, Harris Teeter se expandió a cuatro estados con 7.000 empleados y se convirtió en la segunda tienda de comestibles más grande de Carolina del Norte. En 1988, Harris Teeter adquirió otras 52 tiendas mediante la compra de varios supermercados Big Star y un almacén de la empresa Grand Union. Dos años más tarde, Harris Teeter adquirió la fábrica de productos lácteos Borden y comenzó a vender más productos lácteos.
En 1991, Harris Teeter añadió una instalación de congelación y almacenamiento de productos no perecederos en Greensboro. A principios de la década de 1990, la sede de Harris Teeters se trasladó a Matthews, Carolina del Norte, y la empresa amplió su mercado con la apertura de su primera tienda en Georgia en 1993. En 1994, Harris Teeter prefería tiendas de entre 33.000 y 50.000 pies cuadrados. Los clientes eran predominantemente de clase media-alta y urbanos.
Durante esta época, Harris Teeter hizo hincapié en una amplia gama de alimentos, como una variedad de carnes, aderezos para ensaladas, frutas y verduras. Las tiendas empezaron a incluir charcutería con chefs, una panadería y un bar de ensaladas. Algunas tiendas incluso incluían tortillas recién hechas y café para el desayuno. Harris Teeter no ofrece productos generales, como tarjetas de felicitación, ni tiene farmacias. El énfasis de la empresa es ofrecer una amplia selección de alimentos. A mediados de la década de 1990, Harris Teeter puso en marcha su «Programa de clientes muy importantes», en el que se ofrecen descuentos a los clientes frecuentes. Mientras tanto, Harris Teeter amplió su alcance comunitario patrocinando obras de caridad, donaciones, programas de becas y bancos de alimentos.
En el año 2000, la competencia obligó a Harris Teeter a cerrar su mercado de Atlanta y a vender varias tiendas de Carolina del Sur. También se instauraron controles de inventario para eliminar el despilfarro y bajar los precios. Harris Teeter siguió teniendo éxito y en 2002 abrió su programa Rancher Beef, que ofrece a los consumidores una amplia gama de carne fresca.