Harris Teeter startade som två oberoende livsmedelsbutiker. År 1939 öppnade Willis L. Teeter och hans bror Paul Teeters Food Mart i Mooresville med ett lån på 1 7 000 dollar. 1949 öppnade W. T. Harris sin egen livsmedelsbutik i Charlotte med ett lån på 500 dollar. Den 1 februari 1960 gick de båda butikerna samman och bildade Harris Teeter Supermarkets, Inc. och öppnade femton butiker. Den första butiken öppnades i Kannapolis, NC. År 1963 drev Harris Teeter 25 butiker och köpte därefter fem butiker från Tillman’s Grocery och två mindre butiker i Charlotte och Gastonia.
1969 köpte holdingbolaget Ruddick Harris Teeter och 1984 livsmedelsbutikskedjan Food World, som hade 52 butiker och 3 000 anställda. Genom sammanslagningen expanderade Harris Teeter till fyra delstater med 7 000 anställda och blev den näst största livsmedelsbutiken i North Carolina. År 1988 förvärvade Harris Teeter ytterligare 52 butiker genom att köpa flera Big Star-supermarknader och ett Grand Union Company-lager. Två år senare köpte Harris Teeter Borden Dairy Plant och började sälja fler mejeriprodukter.
1991 lade Harris Teeter till en frysanläggning och ett lager för oförstörbara varor i Greensboro. I början av 1990-talet flyttade Harris Teeters huvudkontor till Matthews, NC och företaget utvidgade sin marknad genom att öppna sin första butik i Georgia 1993. År 1994 föredrog Harris Teeter butiker på mellan 33 000 och 50 000 kvadratmeter. Kunderna tillhörde främst den övre medelklassen och var stadsbor.
Under denna tid betonade Harris Teeter ett brett utbud av livsmedel, t.ex. olika sorters kött, salladsdressingar, frukt och grönsaker. Butikerna började inkludera deli med kockar, ett bageri och en salladsbar. Vissa butiker inkluderade även nygjorda omeletter och kaffe till frukost. Harris Teeter har inga allmänna varor, t.ex. gratulationskort, och butikerna har inte heller apotek. Företagets tyngdpunkt ligger på att erbjuda ett brett utbud av livsmedel. I mitten av 1990-talet startade Harris Teeter sitt ”Very Important Customer Program”, där rabatter ges till frekventa kunder. Samtidigt utökade Harris Teeter sitt samhällsengagemang genom att sponsra välgörenhetsorganisationer, donationer, stipendieprogram och matbanker.
För år 2000 tvingade konkurrensen Harris Teeter att stänga sin marknad i Atlanta och sälja flera butiker i South Carolina. Lagerkontroller infördes också för att eliminera slöseri och sänka priserna. Harris Teeter förblev framgångsrik och 2002 öppnade Harris Teeter sitt Rancher Beef Program som ger konsumenterna ett brett utbud av färskt nötkött.