Pierwszymi mieszkańcami Oak Bluffs byli Wampanoagowie, którzy żyli na Martha’s Vineyard (nazwa Wampanoag: Noepe) od około 10,000 lat. Obszar, który jest teraz Oak Bluffs był nazywany „Ogkeshkuppe,” co oznacza „wilgotne/mokre zarośla lub lasy.”
Obszar ten został później zasiedlony przez Europejczyków w 1642 roku i był częścią Edgartown do 1880 roku, kiedy to został oficjalnie włączony jako Cottage City. Miasto zostało ponownie zarejestrowane w 1907 roku jako Oak Bluffs, nazwane tak dlatego, że miasto było miejscem gaju dębowego wzdłuż urwiska z widokiem na Nantucket Sound. Oak Bluffs był jedynym z sześciu miast na wyspie, aby być świadomie planowane, a tylko jeden opracowany specjalnie z turystyką w mind.
Ludzie pochodzenia afrykańskiego po raz pierwszy przybył na Martha’s Vineyard w 1600s jako zniewolonych Afrykanów Zachodnich, którzy pracowali na farmach europejskich osadników. Port Oak Bluffs przyciągnął uwolnionych niewolników, robotników i żeglarzy w 18 wieku, a białe miejscowi sprzedali im ziemię. Po zniesieniu niewolnictwa, uwolnieni czarni przybyli do pracy w przemyśle rybnym, co z kolei przyciągnęło czarnych mieszkańców z lądu Massachusetts, którzy przyjechali i założyli firmy, aby obsłużyć rosnącą populację Vineyard. W 1800 roku niektórzy czarni robotnicy pracowali również jako służba u bogatych białych rodzin i w hotelach. Pod koniec XIX i XX wieku, czarni z klasy średniej kupowali lub wynajmowali domy letniskowe, a wielu ich potomków powracało co roku. Byli zniewoleni ludzie, lub ich potomkowie, kupili nieruchomości wokół Baptist Temple Park na początku XX wieku, przyciągnięci odbywającymi się tam nabożeństwami. Nauczyciele, politycy, prawnicy, lekarze, artyści, muzycy i przedsiębiorcy mieszkali tam przez dziesięciolecia afterward.
Zamożni Afroamerykanie z Nowego Jorku, Bostonu i Waszyngtonu przybyli do Oak Bluffs, jedynego miasta Martha’s Vineyard, które przyjęło czarnych turystów, ponieważ inne miasta na wyspie nie pozwoliły czarnym gościom na pobyt w zajazdach i hotelach aż do lat 60-tych. Wielu kupiło domy w okolicy, którą nazywali Oval lub Highlands, o której pisarka Harlem Renaissance Dorothy West napisała w swojej powieści z 1995 roku, The Wedding (wydanej przez redaktora Doubleday Jacqueline Kennedy Onassis, mieszkankę Vineyard, która odwiedziła West przez dwa lata). Do lat 30-tych XX wieku, lokalni czarni właściciele ziemscy przekształcili miasteczko w najbardziej znane i ekskluzywne miejsce wypoczynku Afroamerykanów w kraju. W dół drogi od West, Adam Clayton Powell Jr. posiadał domek w Oval, w którym gościł odkrywca Artic Matthew Henson. Dalej w dół drogi znajduje się Shearer Cottage, pierwszy zajazd dla afroamerykańskich urlopowiczów. Został on zbudowany przez Charlesa Shearera, syna niewolnika i właściciela niewolników, kiedy Shearer zobaczył, że czarni goście nie mogli zatrzymać się w domach z powodu segregacji. Goście zajazdu obejmował pierwszy self-made amerykańskiej milionerki Madame CJ Walker, piosenkarzy Paul Robeson, Ethel Waters i Lillian Evanti; i kompozytor Harry T. Burleigh.
W 1866 Robert Morris Copeland został zatrudniony przez grupę deweloperów Nowej Anglii do projektowania planowanej społeczności mieszkaniowej w Martha’s Vineyard. Miejsce, duże, pofałdowane, bezdrzewne pastwisko z widokiem na Nantucket Sound, przylegało do ogromnie popularnego obozu metodystów, Wesleyan Grove, krętej sieci wąskich uliczek wyłożonych uroczymi domkami w stylu „Carpenter’s Gothic”, ogrodzeniami i parkami kieszonkowymi. Chcąc wykorzystać sezonową popularność (i przepełnienie) obozu, deweloperzy założyli Oak Bluffs Land and Wharf Company, odnosząc natychmiastowy sukces: W latach 1868-1871 sprzedano pięćset działek. Copeland stworzył trzy plany dla społeczności, aby sprostać jej ciągłej ekspansji. Oak Bluffs jest jedną z najwcześniej zaplanowanych wspólnot mieszkaniowych i w dużej mierze poinformowała o późniejszym rozwoju przedmieść w Stanach Zjednoczonych.
Niektórzy z najwcześniejszych odwiedzających obszar, który stał się Cottage City, a później Oak Bluffs byli metodystami, którzy zbierali się w dębowym gaju znanym jako Wesleyan Grove każdego lata na wielodniowe religijne „spotkania obozowe” odbywające się pod dużymi namiotami i na świeżym powietrzu.
As families returned to the grove year after year, tents pitched on the ground gave way to tents pitched on wooden platforms and eventually to small wooden cottages. Niewielkie i gęsto upakowane, domki z czasem stawały się coraz bardziej rozbudowane. Powszechne stały się ganki, balkony, kunsztowne obramowania drzwi i okien, a także skomplikowane drewniane spirale mocowane do krawędzi dachu jako dekoracyjne wykończenie. Unikalny „piernik” lub „Carpenter’s Gothic” styl architektoniczny domków był często podkreślony przez właściciela wykorzystanie jasnych, wielobarwnych schematów malarskich, i dał domki letniskowe osobliwy, prawie storybook wygląd. Nazywane „domkami z piernika”, stały się one atrakcją turystyczną pod koniec XIX wieku. Podobnie było z Tabernakulum: okrągłym, otwartym pawilonem przykrytym metalowym dachem wspartym na wysokich kolumnach z kutego żelaza, wzniesionym pod koniec lat 80-tych XIX wieku, który stał się miejscem odprawiania nabożeństw i imprez lokalnych. Piernikowe domki na terenie kempingu są cenionymi zabytkami historycznymi, a także bardzo drogimi nieruchomościami. Wiele z nich jest nadal własnością rodziny i są przekazywane z pokolenia na pokolenie. Domki i tabernakulum zostały wpisane do Krajowego Rejestru Miejsc Historycznych w 1978 roku, uznane w 2000 roku przez National Trust for Historic Preservation i ogłoszone jako National Historic Landmark przez Departament Spraw Wewnętrznych USA w 2005 roku.
Nineteenth-century turystów, przybywających parowcem z kontynentu, mógł również wybrać z szerokiej gamy świeckich atrakcji: sklepy, restauracje, lodziarnie, sale taneczne, koncerty zespołów, spacery wzdłuż nadmorskich promenad, lub pływanie w wodach Nantucket Sound. Hotele wypoczynkowe, z których Wesley House jest jedynym zachowanym przykładem, wyścielały nabrzeże i urwiska. Przez pewien czas wąskotorowa kolejka przewoziła ciekawskich podróżników z nabrzeża w Oak Bluffs do Edgartown, biegnąc wzdłuż torów ułożonych na terenie dzisiejszej Joseph Sylvia State Beach. W 1884 roku, karuzela Flying Horses została sprowadzona do Oak Bluffs z Coney Island i zainstalowana kilka przecznic w głąb lądu od oceanu, gdzie działa do dziś. Zbudowana w 1876 roku, jest najstarszą karuzelą platformową nadal działającą. Jak tereny i budynki Campground (tak wyznaczony w kwietniu 2005), Flying Horses zostały wyznaczone National Historic Landmark przez sekretarza Interior.
W 1873 sąsiedniej społeczności Harthaven została założona przez Williama H. Hart, kiedy kupił działkę od Oak Bluffs Land and Wharf Company. Społeczność później przeniósł w 1911 roku do swojej obecnej lokalizacji między Oak Bluffs miasta i Edgartown.
.