Primii locuitori din Oak Bluffs au fost poporul Wampanoag, care a trăit pe Martha’s Vineyard (numele Wampanoag: Noepe) timp de aproximativ 10.000 de ani. Zona care este acum Oak Bluffs era numită „Ogkeshkuppe”, ceea ce înseamnă „tufișuri sau păduri umede/umede”.
Zona a fost ulterior colonizată de europeni în 1642 și a făcut parte din Edgartown până în 1880, când a fost încorporată oficial ca Cottage City. Orașul a fost reîncorporat în 1907 sub numele de Oak Bluffs, numit astfel deoarece orașul era locul unde se afla o livadă de stejari de-a lungul falezei care domină Nantucket Sound. Oak Bluffs a fost singurul dintre cele șase orașe de pe insulă care a fost planificat în mod conștient și singurul care a fost dezvoltat în mod special cu gândul la turism.
Oamenii de origine africană au ajuns pentru prima dată în Martha’s Vineyard în anii 1600 ca africani de vest înrobiți care lucrau la fermele coloniștilor europeni. Portul Oak Bluffs a atras sclavi, muncitori și marinari eliberați în secolul al XVIII-lea, iar localnicii albi le-au vândut terenuri. După abolirea sclaviei, negrii eliberați au venit să lucreze în industria pescuitului, atrăgând la rândul lor rezidenți de culoare de pe continentul Massachusetts, care au venit și au deschis afaceri pentru a deservi populația în creștere din Vineyard. În anii 1800, unii muncitori de culoare au lucrat, de asemenea, ca servitori ai familiilor albe bogate și în hoteluri. La sfârșitul secolului al XIX-lea și în secolul al XX-lea, negrii din clasa de mijloc au cumpărat sau închiriat case de vară, iar mulți dintre descendenții lor s-au întors anual. Foști sclavi sau urmașii acestora au cumpărat proprietăți în jurul Baptist Temple Park la începutul secolului al XX-lea, atrași de serviciile religioase ținute acolo. Profesori, politicieni, avocați, medici, artiști, muzicieni și antreprenori au locuit acolo timp de zeci de ani după aceea.
Aflăcărații afro-americani din New York, Boston și Washington au venit la Oak Bluffs, singurul oraș din Martha’s Vineyard care a primit turiști de culoare, deoarece alte orașe de pe insulă nu au permis oaspeților de culoare să se cazeze în hanuri și hoteluri până în anii 1960. Mulți și-au cumpărat case într-o zonă pe care o numeau Oval sau Highlands, despre care scriitoarea Renașterii Harlem Dorothy West a scris în romanul său din 1995, The Wedding (editat de editorul Doubleday, Jacqueline Kennedy Onassis, o rezidentă din Vineyard care a vizitat-o pe West timp de două veri). În anii 1930, proprietarii locali de terenuri de culoare transformau orașul în cel mai cunoscut și mai exclusivist loc de vacanță afro-american din țară. La capătul drumului de West, Adam Clayton Powell Jr. deținea o cabană în Oval, unde era oaspete exploratorul Artic Matthew Henson. Mai jos pe drum se află Shearer Cottage, primul han pentru turiștii afro-americani. Acesta a fost construit de un Charles Shearer, fiul unui sclav și al unui proprietar de sclavi, când Shearer a văzut că vizitatorii de culoare nu puteau să se cazeze la case din cauza segregării. Printre oaspeții hanului s-au numărat prima milionară americană self-made Madame CJ Walker, cântăreții Paul Robeson, Ethel Waters și Lillian Evanti; și compozitorul Harry T. Burleigh.
În 1866, Robert Morris Copeland a fost angajat de un grup de dezvoltatori din New England pentru a proiecta o comunitate rezidențială planificată în Martha’s Vineyard. Locația, o pășune mare, ondulată și fără copaci, cu vedere spre Nantucket Sound, era adiacentă taberei metodiste extrem de populare, Wesleyan Grove, o rețea curbată de străzi înguste, mărginită de căsuțe pitorești în stil „Carpenter’s Gothic”, garduri de garduri și parcuri de buzunar. Căutând să profite de popularitatea sezonieră a taberei (și de populația debordantă), dezvoltatorii au înființat Oak Bluffs Land and Wharf Company, obținând un succes imediat: Cinci sute de loturi au fost vândute între 1868 și 1871. Copeland avea să sfârșească prin a crea trei planuri pentru comunitate, pentru a se adapta la expansiunea sa constantă. Oak Bluffs este una dintre primele comunități rezidențiale planificate și a informat în mare măsură dezvoltarea suburbană ulterioară din Statele Unite.
Câțiva dintre primii vizitatori ai zonei care a devenit Cottage City și mai târziu Oak Bluffs au fost metodiștii, care se adunau în fiecare vară în stejarul cunoscut sub numele de Wesleyan Grove pentru „întâlniri de tabără” religioase de mai multe zile, ținute sub corturi mari și în aer liber.
Pe măsură ce familiile se întorceau în livadă an de an, corturile instalate pe pământ au făcut loc corturilor instalate pe platforme de lemn și, în cele din urmă, unor mici căsuțe din lemn. De dimensiuni mici și strâns înghesuite, căsuțele au devenit mai elaborate în timp. Pridvoarele, balcoanele, ramele elaborate ale ușilor și ferestrelor au devenit obișnuite, la fel ca și volutele complexe din lemn fixate pe marginile acoperișului ca ornamente decorative. Stilul arhitectural unic „turtă dulce” sau „gotic al tâmplarului” al căsuțelor a fost adesea accentuat de utilizarea de către proprietari a unor scheme de vopsire strălucitoare, cu mai multe nuanțe, și a conferit căsuțelor de vară un aspect pitoresc, aproape de carte de povești. Supranumite „căsuțe din turtă dulce”, acestea au devenit o atracție turistică de sine stătătoare la sfârșitul secolului al XIX-lea. La fel și Tabernacolul: un pavilion circular, cu laturi deschise, acoperit de un acoperiș metalic susținut de coloane înalte din fier forjat, ridicat la sfârșitul anilor 1880, care a devenit un loc de desfășurare a slujbelor și evenimentelor comunitare. Căsuțele din turtă dulce ale taberei sunt repere istorice prețuite, precum și proprietăți imobiliare foarte scumpe. Multe sunt încă în proprietatea familiei și sunt transmise din generație în generație. Căsuțele și Tabernacolul au fost adăugate la Registrul Național al Locurilor Istorice în 1978, recunoscute în 2000 de către National Trust for Historic Preservation șideclarate Reper istoric național de către Departamentul de Interne al SUA în 2005.
Turiștii din secolul al XIX-lea, care soseau cu vaporul de pe continent, puteau, de asemenea, să aleagă dintr-o gamă largă de atracții seculare: magazine, restaurante, saloane de înghețată, săli de dans, concerte de fanfară, plimbări de-a lungul promenadei de pe malul mării sau înot în apele din Nantucket Sound. Hoteluri de vacanță, dintre care Wesley House este singurul exemplu care a supraviețuit, se întindeau pe malul mării și pe faleză. Pentru o vreme, o cale ferată cu ecartament îngust a transportat călătorii curioși de la debarcaderul vaselor cu aburi din Oak Bluffs la Edgartown, mergând pe șinele așezate pe ceea ce este acum Joseph Sylvia State Beach. În 1884, caruselul Flying Horses Carousel a fost adus la Oak Bluffs din Coney Island și instalat la câteva blocuri în interiorul uscatului, departe de ocean, unde funcționează și astăzi. Construit în 1876, acesta este cel mai vechi carusel cu platformă încă în funcțiune. La fel ca și terenurile și clădirile de la Campground (desemnate astfel în aprilie 2005), Flying Horses a fost desemnat ca punct de reper istoric național de către Secretarul de Interne.
În 1873, comunitatea vecină Harthaven a fost înființată de William H. Hart când a cumpărat un lot de la Oak Bluffs Land and Wharf Company. Comunitatea s-a mutat ulterior, în 1911, în locația sa actuală, între orașul Oak Bluffs și Edgartown.
.