Az Oak Bluffs első lakói a wampanoagok voltak, akik körülbelül 10 000 éve éltek Martha’s Vineyardon (wampanoag neve: Noepe). A mai Oak Bluffs területét “Ogkeshkuppe”-nak hívták, ami “nedves/nedves bozótot vagy erdőt” jelent.
A területet később, 1642-ben európaiak telepítették le, és 1880-ig Edgartown része volt, amikor hivatalosan Cottage City néven bejegyezték. A várost 1907-ben újra bejegyezték Oak Bluffs néven, nevét onnan kapta, hogy a Nantucket Soundra néző szirtek mentén egy tölgyfa liget található. Oak Bluffs volt az egyetlen a sziget hat városa közül, amelyet tudatosan terveztek, és az egyetlen, amelyet kifejezetten a turizmus szem előtt tartásával alakítottak ki.
Az afrikai származású emberek először az 1600-as években érkeztek Martha’s Vineyardra nyugat-afrikai rabszolgaként, akik az európai telepesek farmjain dolgoztak. Oak Bluffs kikötője a 18. században felszabadított rabszolgákat, munkásokat és tengerészeket vonzott, a fehér helyiek pedig földet adtak el nekik. A rabszolgaság eltörlése után a felszabadított feketék a halászati iparban dolgoztak, ami viszont fekete lakosokat vonzott a massachusettsi szárazföldről, akik a Vineyard növekvő népességét kiszolgáló vállalkozásokat alapítottak. Az 1800-as években néhány fekete munkás gazdag fehér családok cselédjeként és a szállodákban is dolgozott. A 19. század végén és a 20. században a középosztálybeli feketék nyaralókat vásároltak vagy béreltek, és leszármazottaik közül sokan évente visszatértek. Korábban rabszolgasorban élő emberek vagy leszármazottaik a 20. század elején vásároltak ingatlant a Baptist Temple Park környékén, akiket az ott tartott istentiszteletek vonzottak. Tanárok, politikusok, ügyvédek, orvosok, művészek, zenészek és vállalkozók laktak ott évtizedekig.
A New Yorkból, Bostonból és Washingtonból érkezett tehetős afroamerikaiak Oak Bluffsba, az egyetlen Martha’s Vineyard-i városba, amely szívesen fogadta a fekete turistákat, mivel a sziget más városai az 1960-as évekig nem engedélyezték a fekete vendégek szállását a fogadókban és szállodákban. Sokan házat vásároltak az általuk Oval vagy Highlandsnak nevezett területen, amelyről Dorothy West harlemi reneszánsz írónő 1995-ben megjelent The Wedding című regényében írt (a Doubleday szerkesztője, Jacqueline Kennedy Onassis szerkesztette, aki Vineyardon élt, és két nyáron át látogatta Westet). Az 1930-as évekre a helyi fekete földbirtokosok az ország legismertebb és legexkluzívabb afroamerikai üdülőhelyévé alakították a várost. Westtől lejjebb, Adam Clayton Powell Jr. tulajdonában volt egy nyaraló az Ovalban, ahol Matthew Henson artista felfedező volt a vendég. Még lejjebb az úton található a Shearer Cottage, az első fogadó az afroamerikai nyaralók számára. Egy Charles Shearer, egy rabszolga és egy rabszolgatartó fia építette, amikor Shearer látta, hogy a fekete látogatók a szegregáció miatt nem szállhatnak meg a házakban. A fogadó vendégei között volt az első önjelölt amerikai milliomosnő, Madame CJ Walker, Paul Robeson, Ethel Waters és Lillian Evanti énekesek; és Harry T. Burleigh zeneszerző.
1866-ban Robert Morris Copelandet egy New England-i fejlesztőcsoport felkérte, hogy tervezzen egy tervezett lakóközösséget Martha’s Vineyardra. A helyszín, egy nagy, dombos, fátlan legelő, amely a Nantucket Soundra nézett, a rendkívül népszerű metodista tábori találkozó, a Wesleyan Grove szomszédságában volt, egy kanyargós, keskeny utcákból álló hálózat, amelyet furcsa “ácsgótikus” házikók, csáklyás kerítések és zsebparkok szegélyeztek. A tábor szezonális népszerűségét (és túláradó népességét) kihasználva a fejlesztők megalapították az Oak Bluffs Land and Wharf Company-t, és azonnal sikert arattak: Ötszáz telket adtak el 1868 és 1871 között. Copeland végül három tervet készített a közösség számára a folyamatos terjeszkedés érdekében. Oak Bluffs az egyik legkorábbi tervezett lakóközösség, és nagyban befolyásolta az Egyesült Államok későbbi külvárosi fejlődését.
A Cottage Cityvé, majd Oak Bluffsszá vált terület legkorábbi látogatói közül néhányan metodisták voltak, akik minden nyáron a Wesleyan Grove néven ismert tölgyligetben gyűltek össze többnapos vallási “táborgyűlésekre”, amelyeket nagy sátrak alatt és a szabadban tartottak.
Amint a családok évről évre visszatértek a ligetbe, a földön felállított sátrak átadták helyüket a faplatókon felállított sátraknak, végül pedig a kis faházaknak. A kis méretű és szorosan egymás mellett álló házikók idővel egyre bonyolultabbá váltak. Általánossá váltak a tornácok, az erkélyek, a díszes ajtó- és ablakkeretek, valamint a tetőszélekre díszítésként felerősített bonyolult fából készült tekercsek. A nyaralók egyedi “mézeskalács” vagy “ácsgótikus” építészeti stílusát a tulajdonosok gyakran élénk, többféle színű festékkel emelték ki, és a nyaralóknak furcsa, szinte mesebeli külsőt kölcsönöztek. A “mézeskalács házikóknak” nevezett házikók a XIX. század végén önálló turisztikai látványossággá váltak. Ugyanígy vált a Tabernacle is: az 1880-as évek végén emelt, kör alakú, nyitott oldalú pavilon, amelyet magas kovácsoltvas oszlopokra támaszkodó fémtető fedett, és amely istentiszteletek és közösségi események színhelyévé vált. A táborhely mézeskalács házikói nagy becsben tartott történelmi nevezetességek, valamint igen drága ingatlanok. Sokuk még mindig családi tulajdonban van, és generációról generációra öröklődik. A házikókat és a tabernákulumot 1978-ban felvették a Történelmi Helyek Nemzeti Jegyzékébe, 2000-ben a National Trust for Historic Preservation elismerte, 2005-ben pedig az Egyesült Államok Belügyminisztériuma nemzeti történelmi műemlékké nyilvánította.
A tizenkilencedik században a szárazföldről gőzhajóval érkező turisták a világi látnivalók széles skálájából is választhattak: üzletek, éttermek, fagylaltozók, tánctermek, zenekari koncertek, séták a tengerparti sétányokon, vagy fürdőzés a Nantucket Sound vizében. A vízparton és a sziklákon üdülőszállodák sorakoztak, amelyek közül a Wesley House az egyetlen fennmaradt példa. Egy ideig keskeny nyomtávú vasút szállította a kíváncsi utazókat a gőzhajók Oak Bluffs-i rakpartjáról Edgartownba, a mai Joseph Sylvia State Beach-en lefektetett síneken. 1884-ben a repülő lovak körhintáját Coney Islandről hozták Oak Bluffsba, és az óceántól néhány háztömbnyire a szárazföld belsejében állították fel, ahol ma is üzemel. Az 1876-ban épített körhinta a legrégebbi, még ma is működő platformos körhinta. A 2005 áprilisában így kijelölt kemping területéhez és épületeihez hasonlóan a Flying Horses-t is a belügyminisztérium nemzeti történelmi műemlékké nyilvánította.
1873-ban William H. Hart alapította a szomszédos Harthaven közösséget, amikor az Oak Bluffs Land and Wharf Company-tól telket vásárolt. A közösség később, 1911-ben költözött a jelenlegi helyére, Oak Bluffs városa és Edgartown közé.