De første indbyggere i Oak Bluffs var Wampanoag-folket, som har boet på Martha’s Vineyard (Wampanoag-navn: Noepe) i ca. 10.000 år. Det område, der i dag er Oak Bluffs, blev kaldt “Ogkeshkuppe”, hvilket betyder “fugtigt/vådt krat eller skov”.
Området blev senere bosat af europæere i 1642 og var en del af Edgartown indtil 1880, hvor det officielt blev indlemmet som Cottage City. Byen blev genindlemmet i 1907 som Oak Bluffs, der fik sit navn, fordi byen lå på stedet for en egelund langs klipperne med udsigt over Nantucket Sound. Oak Bluffs var den eneste af de seks byer på øen, der var bevidst planlagt, og den eneste by, der blev udviklet specifikt med turisme for øje.
Mennesker af afrikansk afstamning ankom først til Martha’s Vineyard i 1600-tallet som slaverede vestafrikanere, der arbejdede på de europæiske bosætteres gårde. Oak Bluffs havn tiltrak frigivne slaver, arbejdere og søfolk i det 18. århundrede, og hvide lokale indbyggere solgte dem jord til dem. Efter at slaveriet blev afskaffet, kom de frigivne sorte for at arbejde i fiskeindustrien, hvilket igen tiltrak sorte indbyggere fra Massachusetts’ fastland, som kom og startede virksomheder for at betjene Vineyard’s voksende befolkning. I 1800-tallet arbejdede nogle sorte arbejdere også som tjenestefolk hos rige hvide familier og på hotellerne. I slutningen af det 19. og 20. århundrede købte eller lejede sorte fra middelklassen sommerhuse, og mange af deres efterkommere vendte tilbage hvert år. Tidligere slaver eller deres efterkommere købte ejendomme omkring Baptist Temple Park i begyndelsen af det 20. århundrede, fordi de blev tiltrukket af de religiøse gudstjenester, der blev afholdt der. Lærere, politikere, advokater, læger, kunstnere, musikere og iværksættere boede der i årtier derefter.
Affluente afroamerikanere fra New York, Boston og Washington kom til Oak Bluffs, som var den eneste by på Martha’s Vineyard, der tog imod sorte turister, da andre byer på øen ikke tillod sorte gæster at bo på kroer og hoteller før 1960’erne. Mange købte huse i et område, som de kaldte The Oval eller Highlands, som Harlem Renaissance-forfatteren Dorothy West skrev om i sin roman The Wedding fra 1995 (redigeret af Doubleday-redaktør Jacqueline Kennedy Onassis, der boede på Vineyard og besøgte West i to somre). I 1930’erne var de lokale sorte godsejere i færd med at omdanne byen til landets mest kendte og eksklusive afroamerikanske feriested. Nede ad vejen fra West ejede Adam Clayton Powell Jr. en hytte i Oval, hvor den arktiske opdagelsesrejsende Matthew Henson var gæst. Længere nede ad vejen ligger Shearer Cottage, som var den første kro for afroamerikanske feriegæster. Den blev bygget af en Charles Shearer, søn af en slave og en slaveejer, da Shearer så, at sorte besøgende ikke kunne bo på hjemmene på grund af segregation. Gæster på kroen var bl.a. den første self-made amerikanske millionærinde Madame CJ Walker, sangerne Paul Robeson, Ethel Waters og Lillian Evanti samt komponisten Harry T. Burleigh.
I 1866 blev Robert Morris Copeland hyret af en gruppe udviklere fra New England til at designe et planlagt boligområde i Martha’s Vineyard. Stedet, en stor, bølgende, træløs græsmark med udsigt over Nantucket Sound, lå ved siden af det uhyre populære metodistlejrmøde, Wesleyan Grove, et snoet netværk af smalle gader omgivet af maleriske “Carpenter’s Gothic”-huse, stakithegn og lommeparker. I forsøget på at drage fordel af lejrens sæsonbestemte popularitet (og overfyldte befolkning) etablerede bygherrerne Oak Bluffs Land and Wharf Company, som fik øjeblikkelig succes: Der blev solgt 500 grunde mellem 1868 og 1871. Copeland endte med at udarbejde tre planer for samfundet for at imødekomme dets konstante ekspansion. Oak Bluffs er et af de tidligste planlagte boligsamfund og har i høj grad præget den senere udvikling af forstæder i USA.
Nogle af de tidligste besøgende i det område, der blev til Cottage City og senere Oak Bluffs, var metodister, som hver sommer samledes i egekrattet kendt som Wesleyan Grove til flere dages religiøse “lejrmøder”, der blev afholdt under store telte og i det fri.
Da familierne vendte tilbage til lunden år efter år, blev telte, der stod på jorden, erstattet af telte, der blev rejst på træplatforme og til sidst af små træhytter. Hytterne var små og tætpakkede, men med tiden blev de mere udførlige. Verandaer, balkoner og udførlige dør- og vinduesrammer blev almindelige, og det samme gjorde komplekst rulleværk af træ, der blev fastgjort til tagkanterne som dekorative detaljer. Den unikke “gingerbread” eller “Carpenter’s Gothic”-arkitektoniske stil i sommerhusene blev ofte understreget af ejernes brug af lyse maling i flere farver, hvilket gav sommerhusene et malerisk, næsten historiebogagtigt udseende. De blev kaldt “gingerbread cottages” og blev i slutningen af det nittende århundrede en turistattraktion i sig selv. Det samme gjorde Tabernaklet: en cirkulær pavillon med åbne sider, der er dækket af et metaltag, som støttes af høje søjler af smedejern, og som blev opført i slutningen af 1880’erne og blev et sted for gudstjenester og fællesskabsarrangementer. Campingpladsens peberkagebrødshuse er både historiske seværdigheder og meget dyre ejendomme. Mange er stadig familieejede og går i arv fra generation til generation. Hytterne og Tabernaklet blev optaget i National Register of Historic Places i 1978, anerkendt i 2000 af National Trust for Historic Preservation og erklæret for et nationalt historisk vartegn af det amerikanske indenrigsministerium i 2005.
Turister fra det 19. århundrede, der ankom med dampskib fra fastlandet, kunne også vælge mellem en lang række verdslige attraktioner: butikker, restauranter, iskiosker, dansesale, orkesterkoncerter, gåture langs strandpromenader eller svømmeture i vandet i Nantucket Sound. Resorthoteller, hvoraf Wesley House er det eneste overlevende eksempel, lå langs havnefronten og klipperne. I en periode transporterede en smalsporet jernbane nysgerrige rejsende fra dampskibsværftet i Oak Bluffs til Edgartown ad spor, der blev anlagt på det, der i dag er Joseph Sylvia State Beach. I 1884 blev karrusellen Flying Horses Carousel bragt til Oak Bluffs fra Coney Island og installeret et par blokke inde i landet fra havet, hvor den stadig er i drift i dag. Den blev bygget i 1876 og er den ældste platformkarrusel, der stadig er i drift. Ligesom grunden og bygningerne på campingpladsen (der blev udpeget som sådan i april 2005) blev de flyvende heste udpeget som et nationalt historisk vartegn af indenrigsministeren.
I 1873 blev nabosamfundet Harthaven etableret af William H. Hart, da han købte en grund af Oak Bluffs Land and Wharf Company. Samfundet flyttede senere i 1911 til sin nuværende placering mellem Oak Bluffs by og Edgartown.