Les premiers habitants d’Oak Bluffs étaient le peuple Wampanoag, qui vit sur Martha’s Vineyard (nom Wampanoag : Noepe) depuis environ 10 000 ans. La région qui est aujourd’hui Oak Bluffs était appelée « Ogkeshkuppe », ce qui signifie « fourré ou bois humide/humide ».
La région a ensuite été colonisée par les Européens en 1642 et a fait partie d’Edgartown jusqu’en 1880, date à laquelle elle a été officiellement incorporée comme Cottage City. La ville a été réincorporée en 1907 sous le nom d’Oak Bluffs, nommé ainsi parce que la ville était le site d’une chênaie le long des falaises surplombant Nantucket Sound. Oak Bluffs était la seule des six villes de l’île à être consciemment planifiée, et la seule développée spécifiquement avec le tourisme en tête.
Les personnes d’origine africaine sont d’abord arrivées à Martha’s Vineyard dans les années 1600 en tant qu’Africains de l’Ouest asservis qui travaillaient dans les fermes des colons européens. Le port d’Oak Bluffs a attiré des esclaves, des ouvriers et des marins libérés au 18ème siècle, et les habitants blancs leur ont vendu des terres. Après l’abolition de l’esclavage, les Noirs affranchis sont venus travailler dans les industries de la pêche, attirant à leur tour des résidents noirs du Massachusetts continental, qui sont venus créer des entreprises pour servir la population croissante de Vineyard. Dans les années 1800, certains travailleurs noirs ont également travaillé comme domestiques pour de riches familles blanches et dans les hôtels. À la fin du XIXe et au XXe siècle, les Noirs de la classe moyenne ont acheté ou loué des résidences d’été, et nombre de leurs descendants y retournent chaque année. D’anciens esclaves, ou leurs descendants, ont acheté des propriétés autour du Baptist Temple Park au début du XXe siècle, attirés par les services religieux qui s’y tenaient. Des enseignants, des politiciens, des avocats, des médecins, des artistes, des musiciens et des entrepreneurs y ont résidé pendant des décennies par la suite.
Des Afro-Américains aisés de New York, Boston et Washington sont venus à Oak Bluffs, la seule ville de Martha’s Vineyard à accueillir des touristes noirs, les autres villes de l’île n’ayant pas autorisé les clients noirs à séjourner dans les auberges et les hôtels avant les années 1960. Beaucoup ont acheté des maisons dans un quartier qu’ils appelaient l’Ovale ou les Highlands, dont l’écrivain de la Renaissance de Harlem Dorothy West a parlé dans son roman de 1995, The Wedding (édité par l’éditeur de Doubleday Jacqueline Kennedy Onassis, une résidente de Vineyard qui a rendu visite à West pendant deux étés). Dans les années 1930, les propriétaires fonciers noirs locaux ont transformé la ville en lieu de vacances afro-américain le plus connu et le plus exclusif du pays. En bas de la route de West, Adam Clayton Powell Jr. possédait un cottage dans l’Oval où l’explorateur de l’Arctique Matthew Henson était invité. Plus loin sur la route se trouve le Shearer Cottage, la première auberge pour vacanciers afro-américains. Elle a été construite par un certain Charles Shearer, fils d’un esclave et d’un propriétaire d’esclaves, lorsque Shearer a constaté que les visiteurs noirs ne pouvaient pas séjourner dans les maisons en raison de la ségrégation. Les invités de l’auberge comprenaient la première millionnaire américaine autodidacte Madame CJ Walker, les chanteurs Paul Robeson, Ethel Waters et Lillian Evanti ; et le compositeur Harry T. Burleigh.
En 1866, Robert Morris Copeland a été engagé par un groupe de promoteurs de la Nouvelle-Angleterre pour concevoir une communauté résidentielle planifiée à Martha’s Vineyard. Le site, un grand pâturage vallonné et sans arbres surplombant le détroit de Nantucket, était adjacent au camp de réunion méthodiste immensément populaire, Wesleyan Grove, un réseau sinueux de rues étroites bordées de pittoresques cottages « gothiques de charpentier », de clôtures de piquets et de parcs de poche. Cherchant à tirer profit de la popularité saisonnière du camp (et de la population débordante), les promoteurs ont créé la Oak Bluffs Land and Wharf Company, qui a connu un succès immédiat : Cinq cents lots ont été vendus entre 1868 et 1871. Copeland a fini par créer trois plans pour la communauté afin de répondre à son expansion constante. Oak Bluffs est l’une des premières communautés résidentielles planifiées et a largement informé le développement ultérieur des banlieues aux États-Unis.
Certains des premiers visiteurs de la zone qui est devenue Cottage City et plus tard Oak Bluffs étaient des méthodistes, qui se rassemblaient dans le bosquet de chênes connu sous le nom de Wesleyan Grove chaque été pour des « réunions de camp » religieuses de plusieurs jours tenues sous de grandes tentes et en plein air.
Au fur et à mesure que les familles revenaient au bosquet année après année, les tentes plantées sur le sol ont fait place à des tentes plantées sur des plateformes en bois et finalement à de petits cottages en bois. Petits à l’échelle et serrés les uns contre les autres, les cottages sont devenus plus élaborés avec le temps. Les porches, les balcons, les cadres de portes et de fenêtres élaborés sont devenus courants, tout comme les volutes de bois complexes fixées aux bords du toit comme garniture décorative. Le style architectural unique « pain d’épice » ou « gothique du charpentier » des cottages était souvent accentué par l’utilisation par le propriétaire de couleurs vives et multiples, ce qui donnait aux cottages d’été un aspect pittoresque, presque digne d’un livre de contes. Surnommés « gingerbread cottages », ils sont devenus une attraction touristique à part entière à la fin du XIXe siècle. Il en fut de même pour le Tabernacle : un pavillon circulaire, ouvert sur le côté, couvert d’un toit en métal soutenu par de hautes colonnes en fer forgé, érigé à la fin des années 1880, qui devint un lieu de culte et d’événements communautaires. Les chalets en pain d’épice du camping sont des points de repère historiques très appréciés, mais aussi des biens immobiliers très chers. Nombre d’entre eux appartiennent encore à des familles et sont transmis de génération en génération. Les cottages et le Tabernacle ont été ajoutés au Registre national des lieux historiques en 1978, reconnus en 2000 par le National Trust for Historic Preservation et déclarés National Historic Landmark par le ministère américain de l’Intérieur en 2005.
Les touristes du XIXe siècle, qui arrivaient en bateau à vapeur depuis le continent, pouvaient également choisir parmi un large éventail d’attractions profanes : boutiques, restaurants, glaciers, salles de danse, concerts d’orchestre, promenades le long des promenades de bord de mer ou baignades dans les eaux du Nantucket Sound. Des hôtels de villégiature, dont la Wesley House est le seul exemple encore existant, bordaient le front de mer et les falaises. Pendant un temps, un chemin de fer à voie étroite a transporté les voyageurs curieux du quai des bateaux à vapeur d’Oak Bluffs à Edgartown, en empruntant les rails posés sur ce qui est aujourd’hui la Joseph Sylvia State Beach. En 1884, le carrousel Flying Horses a été amené de Coney Island à Oak Bluffs et installé à quelques pâtés de maisons de l’océan, où il est toujours en activité. Construit en 1876, il s’agit du plus ancien carrousel à plate-forme encore en activité. Comme les terrains et les bâtiments du terrain de camping (ainsi désigné en avril 2005), les Flying Horses ont été désignés comme National Historic Landmark par le secrétaire de l’Intérieur.
En 1873, la communauté voisine de Harthaven a été établie par William H. Hart lorsqu’il a acheté un lot à la Oak Bluffs Land and Wharf Company. La communauté a ensuite déménagé en 1911 à son emplacement actuel entre la ville d’Oak Bluffs et Edgartown.