De eerste bewoners van Oak Bluffs waren de Wampanoag, die al ongeveer 10.000 jaar op Martha’s Vineyard (Wampanoag-naam: Noepe) woonden. Het gebied dat nu Oak Bluffs is, werd “Ogkeshkuppe” genoemd, wat “vochtig/nat struikgewas of bos” betekent.
Het gebied werd later in 1642 door Europeanen bewoond en maakte deel uit van Edgartown tot 1880, toen het officieel werd ingelijfd als Cottage City. De stad werd in 1907 heringedeeld als Oak Bluffs, zo genoemd omdat de plaats was gelegen aan een eikenbos langs de bluffs die uitkeken over Nantucket Sound. Oak Bluffs was de enige van de zes steden op het eiland die bewust werd gepland, en de enige die speciaal werd ontwikkeld met het oog op toerisme.
Mensen van Afrikaanse afkomst arriveerden voor het eerst op Martha’s Vineyard in de jaren 1600 als tot slaaf gemaakte West-Afrikanen die werkten op de boerderijen van de Europese kolonisten. De haven van Oak Bluffs trok in de 18e eeuw bevrijde slaven, arbeiders en zeelieden aan, die door blanke inwoners land werden verkocht. Na de afschaffing van de slavernij kwamen de bevrijde zwarten in de visserij werken, wat op zijn beurt zwarte inwoners van het vasteland van Massachusetts aantrok, die bedrijven begonnen ten dienste van de groeiende bevolking van de Vineyard. In de jaren 1800 werkten sommige zwarte arbeiders ook als bedienden voor rijke blanke families en in de hotels. Aan het eind van de 19e en in de 20e eeuw kochten of huurden middenklasse zwarten zomerhuizen, en veel van hun nakomelingen keerden jaarlijks terug. Voormalige slaven, of hun nakomelingen, kochten in het begin van de 20e eeuw onroerend goed rond het Baptist Temple Park, aangetrokken door de religieuze diensten die daar werden gehouden. Onderwijzers, politici, advocaten, artsen, kunstenaars, musici en ondernemers woonden er nog decennia lang.
Affluent Afro-Amerikanen uit New York, Boston en Washington kwamen naar Oak Bluffs, de enige Martha’s Vineyard stad die zwarte toeristen verwelkomde, omdat andere steden op het eiland zwarte gasten tot de jaren 1960 niet toestonden om in herbergen en hotels te verblijven. Velen kochten huizen in een gebied dat ze de Oval of de Highlands noemden, waarover Harlem Renaissance schrijfster Dorothy West schreef in haar roman uit 1995, The Wedding (uitgegeven door Doubleday redactrice Jacqueline Kennedy Onassis, een inwoonster van Vineyard die West twee zomers bezocht). Tegen de jaren 1930 veranderden lokale zwarte landeigenaren het stadje in de bekendste en meest exclusieve Afrikaans-Amerikaanse vakantieplek van het land. Verderop in de straat van West bezat Adam Clayton Powell Jr. een huisje in de Oval waar de poolreiziger Matthew Henson te gast was. Verder op de weg ligt Shearer Cottage, de eerste herberg voor vakantiegangers van Afro-Amerikanen. Het werd gebouwd door ene Charles Shearer, de zoon van een slaaf en een slavenhouder, toen Shearer zag dat zwarte bezoekers door de segregatie niet in de huizen konden verblijven. Tot de gasten van de herberg behoorden de eerste selfmade Amerikaanse miljonairster Madame CJ Walker, zangers Paul Robeson, Ethel Waters en Lillian Evanti; en componist Harry T. Burleigh.
In 1866 werd Robert Morris Copeland door een groep ontwikkelaars uit New England ingehuurd om een geplande woongemeenschap op Martha’s Vineyard te ontwerpen. De locatie, een groot, glooiend, boomloos weiland met uitzicht op Nantucket Sound, grensde aan het immens populaire Methodistenkamp, Wesleyan Grove, een kronkelend netwerk van smalle straatjes omzoomd met schilderachtige “Timmermansgotiek” huisjes, piketomheiningen, en kleine parkjes. Om te profiteren van de seizoensgebonden populariteit van het kamp (en de overvolle bevolking), richtten de ontwikkelaars de Oak Bluffs Land and Wharf Company op, die onmiddellijk succes had: Tussen 1868 en 1871 werden vijfhonderd kavels verkocht. Copeland zou uiteindelijk drie plannen maken voor de gemeenschap om de voortdurende expansie te accommoderen. Oak Bluffs is een van de vroegste geplande woongemeenschappen en was grotendeels bepalend voor de latere voorstedelijke ontwikkeling in de Verenigde Staten.
Sommige van de eerste bezoekers van het gebied dat Cottage City en later Oak Bluffs werd, waren Methodisten, die elke zomer bijeenkwamen in het eikenbos dat bekend staat als Wesleyan Grove voor meerdaagse religieuze “kampbijeenkomsten” die werden gehouden onder grote tenten en in de open lucht.
Toen de gezinnen jaar na jaar terugkeerden naar het bosje, maakten de tenten op de grond plaats voor tenten op houten platforms en uiteindelijk voor kleine houten huisjes. Klein van schaal en dicht opeengepakt, werden de huisjes met de tijd steeds uitgebreider. Veranda’s, balkons, ingewikkelde deur- en raamkozijnen werden steeds gewoner, evenals ingewikkeld houten krulwerk dat als versiering op de dakranden werd aangebracht. De unieke “peperkoek” of “timmermansgotiek” bouwstijl van de cottages werd vaak geaccentueerd door het gebruik van heldere, veelkleurige verfschema’s door de eigenaar, en gaf de zomerhuisjes een schilderachtige, bijna sprookjesachtige uitstraling. Ze kregen de bijnaam “gingerbread cottages” en werden aan het eind van de 19e eeuw een toeristische attractie op zich. Zo ook het Tabernakel: een cirkelvormig paviljoen met open zijden, overdekt met een metalen dak dat ondersteund wordt door hoge smeedijzeren kolommen, opgericht op het einde van de jaren 1880, dat een trefpunt werd voor diensten en gemeenschapsevenementen. De peperkoekhuisjes op de camping zijn gekoesterde historische monumenten, maar ook zeer duur onroerend goed. Vele zijn nog steeds in familiebezit en worden van generatie op generatie doorgegeven. De huisjes en het tabernakel werden in 1978 opgenomen in het National Register of Historic Places, in 2000 erkend door de National Trust for Historic Preservation en in 2005 uitgeroepen tot National Historic Landmark door het Amerikaanse ministerie van Binnenlandse Zaken.
De negentiende-eeuwse toeristen, die per stoomboot van het vasteland aankwamen, konden ook kiezen uit een breed scala aan wereldse attracties: winkels, restaurants, ijssalons, danszalen, bandconcerten, wandelingen langs de promenades langs zee, of zwemmen in het water van Nantucket Sound. Hotels, waarvan het Wesley House het enige overgebleven voorbeeld is, omzoomden de waterkant en de kliffen. Een tijdlang vervoerde een smalspoorbaan nieuwsgierige reizigers van de stoombootkade in Oak Bluffs naar Edgartown, over rails die waren aangelegd op wat nu Joseph Sylvia State Beach is. In 1884 werd de Flying Horses Carousel van Coney Island naar Oak Bluffs gebracht en een paar blokken landinwaarts van de oceaan geïnstalleerd, waar hij vandaag de dag nog steeds in bedrijf is. Gebouwd in 1876, is het de oudste platformcarrousel die nog steeds in bedrijf is. Net als het terrein en de gebouwen van de Campground (zo genoemd in april 2005), werden de Vliegende Paarden door de Minister van Binnenlandse Zaken aangewezen als National Historic Landmark.
In 1873 werd de naburige gemeenschap Harthaven gesticht door William H. Hart toen hij een perceel kocht van de Oak Bluffs Land and Wharf Company. De gemeenschap verhuisde later in 1911 naar de huidige locatie tussen Oak Bluffs stad en Edgartown.