Die ersten Bewohner von Oak Bluffs waren die Wampanoag, die seit etwa 10.000 Jahren auf Martha’s Vineyard (Wampanoag-Name: Noepe) leben. Das Gebiet, das heute Oak Bluffs ist, wurde „Ogkeshkuppe“ genannt, was „feuchtes/feuchtes Dickicht oder Wald“ bedeutet.
Das Gebiet wurde 1642 von Europäern besiedelt und war bis 1880 Teil von Edgartown, als es offiziell als Cottage City eingemeindet wurde. Die Stadt wurde 1907 als Oak Bluffs neu eingemeindet und erhielt ihren Namen, weil sich an der Steilküste mit Blick auf den Nantucket Sound ein Eichenhain befand. Oak Bluffs war die einzige der sechs Städte auf der Insel, die bewusst geplant wurde, und die einzige, die speziell mit Blick auf den Tourismus entwickelt wurde.
Personen afrikanischer Abstammung kamen in den 1600er Jahren als versklavte Westafrikaner nach Martha’s Vineyard, die auf den Farmen der europäischen Siedler arbeiteten. Der Hafen von Oak Bluffs zog im 18. Jahrhundert freigelassene Sklaven, Arbeiter und Seeleute an, und weiße Einheimische verkauften ihnen Land. Nach der Abschaffung der Sklaverei kamen die freigelassenen Schwarzen, um in der Fischereiindustrie zu arbeiten, was wiederum schwarze Einwohner vom Festland von Massachusetts anlockte, die kamen und Unternehmen gründeten, um die wachsende Bevölkerung von Vineyard zu versorgen. In den 1800er Jahren arbeiteten einige Schwarze auch als Bedienstete bei wohlhabenden weißen Familien und in Hotels. Im späten 19. und 20. Jahrhundert kauften oder mieteten Schwarze aus der Mittelschicht Sommerhäuser, und viele ihrer Nachkommen kehrten jährlich zurück. Ehemals versklavte Menschen oder ihre Nachkommen kauften Anfang des 20. Jahrhunderts Grundstücke rund um den Baptist Temple Park, angezogen von den dort abgehaltenen Gottesdiensten. Lehrer, Politiker, Anwälte, Ärzte, Künstler, Musiker und Unternehmer ließen sich dort jahrzehntelang nieder.
Wohlhabende Afroamerikaner aus New York, Boston und Washington kamen nach Oak Bluffs, der einzigen Stadt auf Martha’s Vineyard, die schwarze Touristen willkommen hieß, da andere Städte auf der Insel bis in die 1960er Jahre keine schwarzen Gäste in Gasthäusern und Hotels zuließen. Viele kauften Häuser in einem Gebiet, das sie „Oval“ oder „Highlands“ nannten und über das die Schriftstellerin Dorothy West aus der Harlem Renaissance 1995 in ihrem Roman „The Wedding“ schrieb (herausgegeben von der Doubleday-Herausgeberin Jacqueline Kennedy Onassis, einer Bewohnerin von Vineyard, die West zwei Sommer lang besuchte). In den 1930er Jahren verwandelten die schwarzen Grundbesitzer den Ort in den bekanntesten und exklusivsten afroamerikanischen Urlaubsort des Landes. In der Nähe von West besaß Adam Clayton Powell Jr. ein Cottage im Oval, in dem der Polarforscher Matthew Henson zu Gast war. Weiter die Straße hinunter liegt Shearer Cottage, das erste Gasthaus für afroamerikanische Urlauber. Es wurde von Charles Shearer, dem Sohn eines Sklaven und einer Sklavenhalterin, erbaut, als Shearer feststellte, dass schwarze Besucher aufgrund der Rassentrennung nicht in den Häusern übernachten konnten. Zu den Gästen des Gasthauses gehörten die erste amerikanische Selfmade-Millionärin Madame CJ Walker, die Sänger Paul Robeson, Ethel Waters und Lillian Evanti sowie der Komponist Harry T. Burleigh.
Im Jahr 1866 wurde Robert Morris Copeland von einer Gruppe von Bauunternehmern aus Neuengland beauftragt, eine geplante Wohnsiedlung in Martha’s Vineyard zu entwerfen. Das Gelände, eine große, hügelige, baumlose Weide mit Blick auf den Nantucket Sound, grenzte an das äußerst beliebte Methodisten-Camp Wesleyan Grove, ein kurvenreiches Netz schmaler Straßen mit malerischen Häusern im „Carpenter’s Gothic“-Stil, Zäunen und kleinen Parks. Um von der saisonalen Beliebtheit des Camps (und der überquellenden Bevölkerung) zu profitieren, gründeten die Bauherren die Oak Bluffs Land and Wharf Company und hatten damit sofort Erfolg: Zwischen 1868 und 1871 wurden fünfhundert Grundstücke verkauft. Copeland entwarf schließlich drei Pläne für die Gemeinde, um deren ständige Expansion zu ermöglichen. Oak Bluffs ist eine der ersten geplanten Wohnsiedlungen und hat die spätere Entwicklung der Vorstädte in den Vereinigten Staaten weitgehend beeinflusst.
Zu den ersten Besuchern des Gebiets, das zu Cottage City und später zu Oak Bluffs wurde, gehörten Methodisten, die sich jeden Sommer im Eichenhain, dem so genannten Wesleyan Grove, zu mehrtägigen religiösen „Lagertreffen“ versammelten, die in großen Zelten und unter freiem Himmel stattfanden.
Als die Familien Jahr für Jahr in den Hain zurückkehrten, wichen die auf dem Boden aufgestellten Zelte den auf Holzplattformen aufgestellten Zelten und schließlich den kleinen Holzhäuschen. Die kleinen, dicht gedrängten Häuschen wurden mit der Zeit immer aufwendiger gestaltet. Veranden, Balkone, kunstvolle Tür- und Fensterrahmen wurden ebenso üblich wie komplexe hölzerne Schnörkel, die als Zierleisten an den Dachrändern angebracht wurden. Der einzigartige architektonische Stil der „Gingerbread“- oder „Carpenter’s Gothic“-Häuser wurde oft durch helle, mehrfarbige Anstriche der Besitzer unterstrichen und verlieh den Sommerhäusern ein malerisches, fast märchenhaftes Aussehen. Die so genannten „Gingerbread Cottages“ wurden im späten neunzehnten Jahrhundert zu einer eigenständigen Touristenattraktion. Das Gleiche gilt für das Tabernakel: ein runder, offener Pavillon mit einem Metalldach, das von hohen schmiedeeisernen Säulen getragen wird. Er wurde in den späten 1880er Jahren errichtet und diente als Ort für Gottesdienste und Gemeindeveranstaltungen. Die Lebkuchenhäuser des Campingplatzes sind sowohl geschätzte historische Wahrzeichen als auch sehr teure Immobilien. Viele befinden sich noch immer in Familienbesitz und werden von Generation zu Generation weitergegeben. Die Cottages und das Tabernakel wurden 1978 in das National Register of Historic Places aufgenommen, im Jahr 2000 vom National Trust for Historic Preservation anerkannt und 2005 vom US Department of the Interior zum National Historic Landmark erklärt.
Die Touristen des 19. Jahrhunderts, die mit dem Dampfer vom Festland anreisten, konnten auch aus einem breiten Angebot an weltlichen Attraktionen wählen: Geschäfte, Restaurants, Eisdielen, Tanzlokale, Bandkonzerte, Spaziergänge entlang der Strandpromenaden oder Schwimmen im Nantucket Sound. Die Uferpromenade und die Steilküste wurden von Ferienhotels gesäumt, von denen das Wesley House das einzige erhaltene Beispiel ist. Eine Zeit lang beförderte eine Schmalspurbahn neugierige Reisende von der Dampfschiffsanlegestelle in Oak Bluffs nach Edgartown, wobei die Gleise auf dem heutigen Joseph Sylvia State Beach verlegt wurden. 1884 wurde das Flying Horses Carousel von Coney Island nach Oak Bluffs gebracht und einige Häuserblocks landeinwärts vom Meer entfernt aufgestellt, wo es noch heute in Betrieb ist. Es wurde 1876 gebaut und ist das älteste noch in Betrieb befindliche Karussell. Wie das Gelände und die Gebäude des Campingplatzes (im April 2005 als solches ausgewiesen) wurden auch die Flying Horses vom Innenministerium zum National Historic Landmark erklärt.
Im Jahr 1873 wurde die Nachbargemeinde Harthaven von William H. Hart gegründet, als er ein Grundstück von der Oak Bluffs Land and Wharf Company erwarb. Die Gemeinde wurde 1911 an ihren heutigen Standort zwischen Oak Bluffs und Edgartown verlegt.