Oak Bluffin ensimmäiset asukkaat olivat wampanoagit, jotka ovat asuneet Martha’s Vineyardilla (wampanoagien nimi: Noepe) noin 10 000 vuotta. Nykyisen Oak Bluffin aluetta kutsuttiin nimellä ”Ogkeshkuppe”, joka tarkoittaa ”kosteaa/märkää tiheikköä tai metsää”.
Myöhemmin eurooppalaiset asuttivat alueen vuonna 1642, ja se oli osa Edgartownia vuoteen 1880 asti, jolloin se liitettiin virallisesti Cottage Cityksi. Kaupunki rekisteröitiin uudelleen vuonna 1907 nimellä Oak Bluffs, joka sai nimensä siitä, että kaupunki sijaitsi tammimetsän paikalla Nantucket Soundin yli avautuvien jyrkänteiden varrella. Oak Bluffs oli ainoa saaren kuudesta kaupungista, jota suunniteltiin tietoisesti, ja ainoa, joka kehitettiin nimenomaan matkailua silmällä pitäen.
Afrikkalaista syntyperää olevat ihmiset saapuivat Martha’s Vineyardille ensimmäisen kerran 1600-luvulla orjuutettuina länsiafrikkalaisina, jotka työskentelivät eurooppalaisten uudisasukkaiden tiloilla. Oak Bluffin satama houkutteli vapautettuja orjia, työläisiä ja merimiehiä 1700-luvulla, ja valkoiset paikalliset myivät heille maata. Orjuuden lakkauttamisen jälkeen vapautetut mustat tulivat työskentelemään kalastusteollisuuteen, mikä puolestaan houkutteli Massachusettsin mantereelta mustia asukkaita, jotka perustivat yrityksiä palvelemaan Vineyardin kasvavaa väestöä. 1800-luvulla jotkut mustat työläiset työskentelivät myös varakkaiden valkoisten perheiden palvelijoina ja hotelleissa. 1800- ja 1900-luvun lopulla keskiluokkaiset mustat ostivat tai vuokrasivat kesäasuntoja, ja monet heidän jälkeläisistään palasivat vuosittain. Entiset orjuutetut tai heidän jälkeläisensä ostivat 1900-luvun alussa kiinteistöjä Baptist Temple Parkin lähistöltä, koska siellä pidettiin jumalanpalveluksia. Opettajat, poliitikot, lakimiehet, lääkärit, taiteilijat, muusikot ja yrittäjät asuivat siellä vuosikymmeniä myöhemmin.
Rikkaat afroamerikkalaiset New Yorkista, Bostonista ja Washingtonista tulivat Oak Bluffsiin, ainoaan Martha’s Vineyardin kaupunkiin, joka toivotti mustat turistit tervetulleiksi, sillä muut saaren kaupungit eivät sallineet mustien vieraiden yöpymistä majataloissa ja hotelleissa ennen kuin vasta 1960-luvulla. Monet ostivat taloja alueelta, jota he kutsuivat Ovaliksi tai Highlandsiksi ja josta Harlemin renessanssikirjailija Dorothy West kirjoitti vuonna 1995 ilmestyneessä romaanissaan The Wedding (jonka toimitti Doubledayn päätoimittaja Jacqueline Kennedy Onassis, Vineyardin asukas, joka vieraili Westin luona kaksi kesää). Paikalliset mustat maanomistajat olivat 1930-luvulla muuttamassa kaupunkia maan tunnetuimmaksi ja hienoimmaksi afroamerikkalaisten lomakohteeksi. Tien päässä Westistä Adam Clayton Powell Jr. omisti mökin Ovalissa, jossa artisti Matthew Henson oli vieraana. Kauempana tien päässä on Shearer Cottage, ensimmäinen majatalo afroamerikkalaisille lomailijoille. Sen rakennutti Charles Shearer, orjan ja orjanomistajan poika, kun Shearer huomasi, että mustat vierailijat eivät voineet majoittua kodeissa erottelun vuoksi. Majatalon vieraita olivat muun muassa ensimmäinen amerikkalainen self-made-miljonääri Madame CJ Walker, laulajat Paul Robeson, Ethel Waters ja Lillian Evanti sekä säveltäjä Harry T. Burleigh.
Vuonna 1866 ryhmä uusenglantilaisia rakennuttajia palkkasi Robert Morris Copelandin suunnittelemaan suunnitellun asuinyhteisön Martha’s Vineyardiin. Paikka, suuri, kumpuileva, puuton laidunalue, josta oli näkymät Nantucket Soundille, sijaitsi äärettömän suositun metodistien leirikokouksen, Wesleyan Groven, vieressä, kapeiden katujen kiemurtelevassa verkostossa, jota reunustivat viehättävät ”Carpenter’s Gothic” -mökit, piikkiaidat ja taskupuistot. Rakennuttajat pyrkivät hyödyntämään leirin kausiluonteista suosiota (ja ylivirtaavaa väkilukua) ja perustivat Oak Bluffs Land and Wharf Companyn, joka menestyi välittömästi: Viisisataa tonttia myytiin vuosina 1868-1871. Copeland loi lopulta kolme suunnitelmaa yhteisölle sen jatkuvan laajentumisen vuoksi. Oak Bluffs on yksi varhaisimmista suunnitelluista asuinyhteisöistä, ja se vaikutti pitkälti Yhdysvaltojen myöhempään esikaupunkikehitykseen.
Joitakin Cottage Cityksi ja myöhemmin Oak Bluffseiksi muodostuneen alueen varhaisimpia kävijöitä olivat metodistit, jotka kokoontuivat Wesleyan Grove -nimellä tunnettuun tammimetsään joka kesä usean päivän mittaisiin uskonnollisiin ”leirikokouksiin”, joita pidettiin suurten telttojen alla ja ulkoilmassa.
Kun perheet palasivat metsikköön vuosi toisensa jälkeen, maahan pystytetyt teltat väistyivät puisille alustoille pystytettyjen telttojen tieltä ja lopulta pienille puisille mökeille. Mökit olivat pienikokoisia ja tiiviisti rakennettuja, mutta ajan mittaan niistä tuli yhä hienostuneempia. Kuistit, parvekkeet, taidokkaat ovi- ja ikkunanpuitteet yleistyivät, samoin kuin monimutkaiset puiset käärinliuskat, jotka kiinnitettiin katon reunoihin koristeeksi. Mökkien ainutlaatuista ”piparkakkutyyliä” tai ”puusepän goottilaista” arkkitehtuurityyliä korostettiin usein omistajien käyttämillä kirkkailla, monivärisillä maaleilla, ja ne antoivat kesämökeille viehättävän, melkein satumaisen ilmeen. Niitä kutsuttiin ”piparkakkumökeiksi”, ja niistä tuli 1800-luvun lopulla varsinainen matkailunähtävyys. Samoin kävi myös tabernaakkelille: 1880-luvun lopulla pystytetylle pyöreälle, avonaiselle paviljongille, jonka katteena oli korkeiden takorautapylväiden tukema metallikatto ja josta tuli jumalanpalvelusten ja yhteisön tapahtumien pitopaikka. Leirintäalueen piparkakkumökit ovat arvostettuja historiallisia maamerkkejä sekä erittäin kalliita kiinteistöjä. Monet niistä ovat edelleen perheomistuksessa ja siirtyvät sukupolvelta toiselle. Mökit ja tabernaakkeli lisättiin National Register of Historic Places -rekisteriin vuonna 1978, National Trust for Historic Preservation tunnusti ne vuonna 2000 ja Yhdysvaltain sisäministeriö julisti ne kansalliseksi historialliseksi maamerkiksi vuonna 2005.
1800-luvun turistit, jotka saapuivat mantereelta höyrylaivalla, saattoivat myös valita monenlaisista maallisista nähtävyyksistä: kaupoista, ravintoloista, jäätelöbaareista, tanssisaleista, orkesterien konserteista, kävelyretkistä pitkin rantapromenadeja tai uimisesta Nantucket Soundin vesissä. Lomakeskushotellit, joista Wesley House on ainoa säilynyt esimerkki, reunustivat rantaviivaa ja jyrkänteitä. Jonkin aikaa kapearaiteinen rautatie kuljetti uteliaita matkustajia Oak Bluffsissa sijaitsevalta höyrylaivalaiturilta Edgartowniin, ja se kulki nykyisen Joseph Sylvia State Beachin alueelle rakennettuja raiteita pitkin. Vuonna 1884 Flying Horses -karuselli tuotiin Oak Bluffsiin Coney Islandilta ja asennettiin muutaman korttelin päähän merestä, jossa se toimii edelleen. Vuonna 1876 rakennettu karuselli on vanhin yhä toiminnassa oleva lavakaruselli. Sisäasiainministeriö nimesi Flying Horses -karusellin, kuten myös leirintäalueen alueen ja rakennukset (jotka nimettiin näin huhtikuussa 2005) kansalliseksi historialliseksi maamerkiksi.
Vuonna 1873 William H. Hart perusti naapurikunnan Harthavenin, kun hän osti tontin Oak Bluffs Land and Wharf Company -yhtiöltä. Myöhemmin yhteisö muutti vuonna 1911 nykyiselle paikalleen Oak Bluffin kaupungin ja Edgartownin väliin.