Prvními obyvateli Oak Bluffs byli Wampanoagové, kteří žili na Martha’s Vineyard (jméno Wampanoagů: Noepe) přibližně 10 000 let. Oblast, která je dnes Oak Bluffs, se nazývala „Ogkeshkuppe“, což znamená „vlhká/mokrá houština nebo les“.
Oblast byla později osídlena Evropany v roce 1642 a byla součástí Edgartownu až do roku 1880, kdy byla oficiálně začleněna jako Cottage City. Město bylo znovu začleněno v roce 1907 jako Oak Bluffs, pojmenované proto, že se zde nacházel dubový háj podél útesů s výhledem na Nantucket Sound. Oak Bluffs bylo jediné ze šesti měst na ostrově, které bylo vědomě plánováno, a jediné, které vzniklo speciálně s ohledem na cestovní ruch.
Lidé afrického původu poprvé přišli na Martha’s Vineyard v roce 1600 jako zotročení Západoafričané, kteří pracovali na farmách evropských osadníků. Přístav Oak Bluffs přitahoval v 18. století osvobozené otroky, dělníky a námořníky a bílí místní obyvatelé jim prodávali půdu. Po zrušení otroctví přicházeli osvobození černoši pracovat do rybářského průmyslu, což zase přitahovalo černošské obyvatele z massachusettské pevniny, kteří přicházeli a zakládali podniky sloužící rostoucímu počtu obyvatel Vineyardu. V 19. století pracovali někteří černí dělníci také jako služebnictvo v bohatých bělošských rodinách a v hotelích. Koncem 19. a ve 20. století si černoši ze střední třídy kupovali nebo pronajímali letní domy a mnoho jejich potomků se sem každoročně vracelo. Dříve zotročení lidé nebo jejich potomci si na počátku 20. století koupili nemovitosti v okolí Baptist Temple Parku, kam je přilákaly bohoslužby, které se zde konaly. Učitelé, politici, právníci, lékaři, umělci, hudebníci a podnikatelé zde sídlili ještě několik desetiletí poté.
Zámožní Afroameričané z New Yorku, Bostonu a Washingtonu přijížděli do Oak Bluffs, jediného města na Martha’s Vineyard, které vítalo černošské turisty, protože ostatní města na ostrově až do 60. let 20. století nepovolovala černošským hostům ubytování v hostincích a hotelech. Mnozí z nich si koupili domy v oblasti, které říkali Oval nebo Highlands, o níž harlemská renesanční spisovatelka Dorothy Westová napsala v roce 1995 román Svatba (vydala ho editorka časopisu Doubleday Jacqueline Kennedyová Onassisová, obyvatelka Vineyardu, která Westovou navštívila na dvě léta). Ve 30. letech 20. století místní černošští vlastníci půdy proměnili město v nejznámější a nejexkluzivnější afroamerické prázdninové místo v zemi. Dál po silnici od Westu vlastnil Adam Clayton Powell Jr. chatu v Ovalu, kde byl hostem arktický badatel Matthew Henson. Dále po silnici se nachází Shearer Cottage, první hostinec pro afroamerické rekreanty. Postavil ji Charles Shearer, syn otroka a otrokáře, když Shearer viděl, že černí návštěvníci nemohou kvůli segregaci bydlet v domech. Mezi hosty hostince patřila první samostatná americká milionářka Madame CJ Walkerová, zpěváci Paul Robeson, Ethel Watersová a Lillian Evantiová; a skladatel Harry T. Burleigh.
V roce 1866 byl Robert Morris Copeland najat skupinou developerů z Nové Anglie, aby navrhl plánovanou obytnou komunitu na Martha’s Vineyard. Místo, rozlehlá zvlněná pastvina bez stromů s výhledem na Nantucket Sound, sousedilo s nesmírně populárním metodistickým táborovým shromážděním Wesleyan Grove, křivolakou sítí úzkých uliček lemovaných malebnými domky ve stylu „tesařské gotiky“, plaňkovými ploty a kapesními parky. Ve snaze využít sezónní popularity tábora (a přetékajícího počtu obyvatel) založili developeři společnost Oak Bluffs Land and Wharf Company a okamžitě dosáhli úspěchu: V letech 1868-1871 bylo prodáno pět set pozemků. Copeland nakonec vytvořil tři plány pro obec, aby se přizpůsobil jejímu neustálému rozšiřování. Oak Bluffs je jednou z prvních plánovaných obytných komunit a do značné míry ovlivnila pozdější rozvoj předměstí ve Spojených státech.
Někteří z prvních návštěvníků oblasti, která se stala Cottage City a později Oak Bluffs, byli metodisté, kteří se každé léto scházeli v dubovém háji známém jako Wesleyan Grove na několikadenních náboženských „táborových setkáních“ konaných pod velkými stany a pod širým nebem.
Jak se rodiny do háje rok co rok vracely, stany postavené na zemi ustoupily stanům postaveným na dřevěných plošinách a nakonec malým dřevěným chaloupkám. Chaloupky byly malé a těsně u sebe, ale postupem času se stávaly složitějšími. Běžnými se staly verandy, balkony, propracované rámy dveří a oken, stejně jako složité dřevěné vroubky připevněné na okrajích střechy jako ozdobné lemování. Jedinečný „perníkový“ nebo „tesařský gotický“ architektonický styl chalup byl často zvýrazněn tím, že majitelé používali světlé, různobarevné nátěry, a dodával letním chalupám zvláštní, téměř pohádkový vzhled. Chaloupky, kterým se přezdívalo „perníkové“, se koncem 19. století staly samostatnou turistickou atrakcí. Stejně tak i Tabernacle: kruhový otevřený pavilon krytý plechovou střechou podpíranou vysokými kovanými sloupy, postavený na konci 80. let 19. století, který se stal místem konání bohoslužeb a společenských akcí. Perníkové chaloupky v tábořišti jsou ceněnou historickou památkou a zároveň velmi drahou nemovitostí. Mnohé z nich jsou stále v rodinném vlastnictví a předávají se z generace na generaci. Chaloupky a Tabernacle byly v roce 1978 zapsány do Národního registru historických míst, v roce 2000 je uznala organizace National Trust for Historic Preservation a v roce 2005 je Ministerstvo vnitra USA prohlásilo za národní historickou památku.
Turisté z devatenáctého století, kteří připlouvali parníkem z pevniny, si mohli vybrat také ze široké nabídky světských atrakcí: obchodů, restaurací, zmrzlináren, tanečních sálů, koncertů kapel, procházek po pobřežních promenádách nebo koupání ve vodách Nantucket Sound. Nábřeží a útesy byly lemovány letovisky, z nichž se zachoval pouze Wesley House. Po určitou dobu vozila zvědavce z přístaviště parníků v Oak Bluffs do Edgartownu úzkokolejná železnice, která vedla po kolejích položených na dnešní státní pláži Joseph Sylvia. V roce 1884 byl do Oak Bluffs z Coney Islandu přivezen kolotoč létajících koní a instalován několik bloků ve vnitrozemí od oceánu, kde je v provozu dodnes. Byl postaven v roce 1876 a je to nejstarší plošinový kolotoč, který je stále v provozu. Stejně jako areál a budovy kempu (takto byly označeny v dubnu 2005) byl kolotoč Flying Horses označen ministrem vnitra za národní historickou památku.
V roce 1873 založil William H. Hart sousední obec Harthaven, když koupil pozemek od společnosti Oak Bluffs Land and Wharf Company. Obec se později v roce 1911 přestěhovala na své současné místo mezi městečkem Oak Bluffs a Edgartownem.