I primi abitanti di Oak Bluffs furono i Wampanoag, che hanno vissuto su Martha’s Vineyard (nome Wampanoag: Noepe) per circa 10.000 anni. L’area che oggi è Oak Bluffs era chiamata “Ogkeshkuppe”, che significa “boschetto umido o bosco”.
L’area fu poi colonizzata dagli europei nel 1642 e fece parte di Edgartown fino al 1880, quando fu ufficialmente incorporata come Cottage City. La città fu nuovamente incorporata nel 1907 come Oak Bluffs, chiamata così perché la città era il sito di un boschetto di querce lungo le scogliere che si affacciano sul Nantucket Sound. Oak Bluffs fu l’unica delle sei città dell’isola ad essere consapevolmente pianificata, e l’unica sviluppata specificamente con il turismo in mente.
Le persone di origine africana arrivarono per la prima volta a Martha’s Vineyard nel 1600 come schiavi dell’Africa occidentale che lavoravano nelle fattorie dei coloni europei. Il porto di Oak Bluffs ha attirato schiavi liberati, operai e marinai nel XVIII secolo, e gli abitanti bianchi hanno venduto loro delle terre. Dopo che la schiavitù fu abolita, i neri liberati vennero a lavorare nell’industria della pesca, attirando a loro volta residenti neri dalla terraferma del Massachusetts, che vennero e avviarono imprese per servire la crescente popolazione del Vineyard. Nel 1800 alcuni lavoratori neri lavoravano anche come servitori di ricche famiglie bianche e negli alberghi. Alla fine del XIX e XX secolo, i neri della classe media comprarono o affittarono case estive, e molti dei loro discendenti tornarono ogni anno. Gli ex schiavi, o i loro discendenti, comprarono proprietà intorno al Baptist Temple Park all’inizio del XX secolo, attirati dai servizi religiosi che vi si tenevano. Insegnanti, politici, avvocati, medici, artisti, musicisti e imprenditori vi risiedettero per decenni in seguito.
Afroamericani benestanti da New York, Boston e Washington vennero a Oak Bluffs, l’unica città di Martha’s Vineyard che accoglieva turisti neri, poiché le altre città dell’isola non permettevano agli ospiti neri di soggiornare in locande e alberghi fino agli anni ’60. Molti comprarono case in una zona che chiamarono l’Ovale o le Highlands, di cui la scrittrice del Rinascimento di Harlem Dorothy West scrisse nel suo romanzo del 1995, The Wedding (curato dall’editore di Doubleday Jacqueline Kennedy Onassis, una residente di Vineyard che visitò West per due estati). Negli anni ’30, i proprietari terrieri neri locali stavano trasformando la città nel più noto ed esclusivo luogo di vacanza afroamericano del paese. In fondo alla strada da West, Adam Clayton Powell Jr. possedeva un cottage nell’Oval dove era ospite l’esploratore dell’Artico Matthew Henson. Più in fondo alla strada c’è Shearer Cottage, la prima locanda per i vacanzieri afroamericani. Fu costruita da un certo Charles Shearer, il figlio di uno schiavo e di un proprietario di schiavi, quando Shearer vide che i visitatori neri non potevano alloggiare nelle case a causa della segregazione. Tra gli ospiti della locanda c’erano la prima milionaria americana che si è fatta da sola, Madame CJ Walker, i cantanti Paul Robeson, Ethel Waters e Lillian Evanti, e il compositore Harry T. Burleigh.
Nel 1866 Robert Morris Copeland fu assunto da un gruppo di sviluppatori del New England per progettare una comunità residenziale a Martha’s Vineyard. Il sito, un grande pascolo ondulato e senza alberi che si affacciava sul Nantucket Sound, era adiacente all’immensamente popolare campeggio metodista, Wesleyan Grove, una rete curvilinea di stradine fiancheggiate da pittoreschi cottage in “Carpenter’s Gothic”, recinzioni a picchetto e parchi a tasca. Cercando di approfittare della popolarità stagionale del campo (e della popolazione straripante), i costruttori fondarono la Oak Bluffs Land and Wharf Company, ottenendo un successo immediato: Cinquecento lotti furono venduti tra il 1868 e il 1871. Copeland avrebbe finito per creare tre piani per la comunità per ospitare la sua costante espansione. Oak Bluffs è una delle prime comunità residenziali pianificate e ha largamente informato il successivo sviluppo suburbano negli Stati Uniti.
Alcuni dei primi visitatori dell’area che divenne Cottage City e poi Oak Bluffs erano metodisti, che si riunivano nel querceto conosciuto come Wesleyan Grove ogni estate per “incontri di campo” religiosi di più giorni, tenuti sotto grandi tende e all’aria aperta.
Come le famiglie tornavano al boschetto anno dopo anno, le tende piantate a terra lasciarono il posto a tende piantate su piattaforme di legno e infine a piccoli cottage di legno. Piccole in scala e strettamente imballate, le casette sono diventate più elaborate nel tempo. Portici, balconi, elaborate cornici di porte e finestre divennero comuni, così come complesse pergamene di legno applicate ai bordi del tetto come decorazione. L’unico stile architettonico “pan di zenzero” o “gotico del carpentiere” dei cottage era spesso accentuato dall’uso da parte del proprietario di schemi di pittura luminosa e multi-tinta, e dava ai cottage estivi un aspetto pittoresco, quasi da libro di fiabe. Soprannominati “cottage di pan di zenzero”, sono diventati un’attrazione turistica a pieno titolo alla fine del XIX secolo. Così come il Tabernacolo: un padiglione circolare, dai lati aperti, coperto da un tetto di metallo sostenuto da alte colonne di ferro battuto, eretto alla fine del 1880, che divenne un luogo per servizi ed eventi comunitari. I cottage di pan di zenzero del campeggio sono punti di riferimento storici molto amati e anche immobili molto costosi. Molti sono ancora di proprietà della famiglia e tramandati di generazione in generazione. I cottage e il tabernacolo sono stati aggiunti al National Register of Historic Places nel 1978, riconosciuti nel 2000 dal National Trust for Historic Preservation e dichiarati National Historic Landmark dal US Department of the Interior nel 2005.
I turisti del diciannovesimo secolo, arrivando in piroscafo dalla terraferma, potevano anche scegliere tra una vasta gamma di attrazioni secolari: negozi, ristoranti, gelaterie, sale da ballo, concerti di bande, passeggiate lungo il lungomare o bagni nelle acque del Nantucket Sound. Gli hotel di villeggiatura, di cui la Wesley House è l’unico esempio sopravvissuto, fiancheggiavano il lungomare e le scogliere. Per un certo periodo, una ferrovia a scartamento ridotto portava i viaggiatori curiosi dal molo di Oak Bluffs a Edgartown, correndo lungo i binari posati su quella che ora è la Joseph Sylvia State Beach. Nel 1884, il carosello Flying Horses fu portato a Oak Bluffs da Coney Island e installato a pochi isolati dall’oceano, dove è ancora in funzione. Costruito nel 1876, è il più antico carosello a piattaforma ancora in funzione. Come i terreni e gli edifici del campeggio (così designati nell’aprile 2005), i Flying Horses sono stati designati come National Historic Landmark dal Segretario dell’Interno.
Nel 1873 la vicina comunità di Harthaven fu fondata da William H. Hart quando acquistò un lotto dalla Oak Bluffs Land and Wharf Company. La comunità si trasferì poi nel 1911 nella sua posizione attuale tra la città di Oak Bluffs e Edgartown.