Los primeros habitantes de Oak Bluffs fueron el pueblo Wampanoag, que ha vivido en Martha’s Vineyard (nombre Wampanoag: Noepe) durante aproximadamente 10.000 años. La zona que ahora es Oak Bluffs se llamaba «Ogkeshkuppe», que significa «matorral o bosque húmedo».
La zona fue posteriormente colonizada por europeos en 1642 y formó parte de Edgartown hasta 1880, cuando se incorporó oficialmente como Cottage City. La ciudad se reincorporó en 1907 como Oak Bluffs, llamado así porque el pueblo era el sitio de un robledal a lo largo de los acantilados con vistas a Nantucket Sound. Oak Bluffs fue la única de las seis ciudades de la isla que se planificó conscientemente, y la única que se desarrolló específicamente pensando en el turismo.
Los afrodescendientes llegaron por primera vez a Martha’s Vineyard en el siglo XVII como africanos occidentales esclavizados que trabajaban en las granjas de los colonos europeos. En el siglo XVIII, el puerto de Oak Bluffs atrajo a esclavos liberados, obreros y marineros, y los habitantes blancos les vendieron tierras. Tras la abolición de la esclavitud, los negros liberados vinieron a trabajar en las industrias pesqueras, atrayendo a su vez a residentes negros del continente de Massachusetts, que vinieron y abrieron negocios para atender a la creciente población del Viñedo. En el siglo XIX, algunos trabajadores negros también trabajaban como sirvientes de las familias blancas ricas y en los hoteles. A finales del siglo XIX y en el XX, los negros de clase media compraron o alquilaron casas de verano, y muchos de sus descendientes regresaron anualmente. Antiguos esclavos, o sus descendientes, compraron propiedades en los alrededores del Baptist Temple Park a principios del siglo XX, atraídos por los servicios religiosos que allí se celebraban. Profesores, políticos, abogados, médicos, artistas, músicos y empresarios residieron allí durante décadas.
Afluentes afroamericanos de Nueva York, Boston y Washington acudían a Oak Bluffs, la única localidad de Martha’s Vineyard que acogía a turistas negros, ya que otras ciudades de la isla no permitían a los huéspedes negros alojarse en posadas y hoteles hasta la década de 1960. Muchos compraron casas en una zona a la que llamaban «Oval» o «Highlands», sobre la que la escritora del Renacimiento de Harlem Dorothy West escribió en su novela de 1995, «The Wedding» (editada por la editora de Doubleday Jacqueline Kennedy Onassis, residente en Vineyard que visitó a West durante dos veranos). En la década de 1930, los terratenientes negros locales estaban transformando el pueblo en el lugar de vacaciones afroamericano más conocido y exclusivo del país. Al final de la carretera de West, Adam Clayton Powell Jr. poseía una casa de campo en el Oval, donde el explorador del Ártico Matthew Henson era huésped. Más abajo se encuentra Shearer Cottage, la primera posada para veraneantes afroamericanos. Fue construida por un tal Charles Shearer, hijo de una esclava y de un propietario de esclavos, cuando Shearer vio que los visitantes negros no podían alojarse en las casas debido a la segregación. Entre los huéspedes de la posada se encontraban la primera millonaria estadounidense hecha a sí misma, Madame CJ Walker, los cantantes Paul Robeson, Ethel Waters y Lillian Evanti; y el compositor Harry T. Burleigh.
En 1866 Robert Morris Copeland fue contratado por un grupo de promotores de Nueva Inglaterra para diseñar una comunidad residencial planificada en Martha’s Vineyard. El lugar, una gran pradera ondulada y sin árboles con vistas al estrecho de Nantucket, estaba junto al popularísimo campamento metodista Wesleyan Grove, una red de calles estrechas bordeadas de pintorescas casitas de estilo «gótico de carpintero», vallas y parques. Tratando de aprovechar la popularidad estacional del campamento (y su población desbordada), los promotores crearon la Oak Bluffs Land and Wharf Company, obteniendo un éxito inmediato: Se vendieron quinientos lotes entre 1868 y 1871. Copeland acabaría creando tres planes para la comunidad con el fin de dar cabida a su constante expansión. Oak Bluffs es una de las primeras comunidades residenciales planificadas y ha influido en gran medida en el posterior desarrollo suburbano de Estados Unidos.
Algunos de los primeros visitantes de la zona que se convirtió en Cottage City y más tarde en Oak Bluffs eran metodistas, que se reunían en el robledal conocido como Wesleyan Grove cada verano para celebrar «reuniones de campamento» religiosas de varios días bajo grandes tiendas de campaña y al aire libre.
A medida que las familias volvían al bosquecillo año tras año, las tiendas montadas en el suelo dieron paso a tiendas montadas sobre plataformas de madera y, finalmente, a pequeñas casitas de madera. Pequeñas y muy juntas, las cabañas se volvieron más elaboradas con el tiempo. Los porches, los balcones y los elaborados marcos de puertas y ventanas se convirtieron en algo habitual, al igual que las complejas volutas de madera colocadas en los bordes del tejado como adorno. El singular estilo arquitectónico «pan de jengibre» o «gótico de carpintero» de las cabañas se acentuaba a menudo con el uso por parte de los propietarios de esquemas de pintura brillantes y multicolores, y daba a las cabañas de verano un aspecto pintoresco, casi de cuento. Apodadas «casas de pan de jengibre», se convirtieron en una atracción turística por derecho propio a finales del siglo XIX. Lo mismo ocurrió con el Tabernáculo: un pabellón circular de lados abiertos cubierto por un techo de metal sostenido por altas columnas de hierro forjado, erigido a finales de la década de 1880, que se convirtió en un lugar de servicios y eventos comunitarios. Las cabañas de pan de jengibre del camping son apreciados hitos históricos, así como propiedades inmobiliarias muy caras. Muchas siguen siendo propiedad de la familia y se transmiten de generación en generación. Las cabañas y el Tabernáculo fueron incluidos en el Registro Nacional de Lugares Históricos en 1978, reconocidos en 2000 por el National Trust for Historic Preservation y declarados Monumento Histórico Nacional por el Departamento del Interior de los Estados Unidos en 2005.
Los turistas del siglo XIX, que llegaban en barco de vapor desde el continente, también podían elegir entre una amplia gama de atracciones seculares: tiendas, restaurantes, heladerías, salones de baile, conciertos de bandas, paseos por los paseos marítimos o baños en las aguas de Nantucket Sound. Los hoteles vacacionales, de los que el Wesley House es el único ejemplo que se conserva, se alineaban en el paseo marítimo y en los acantilados. Durante un tiempo, un ferrocarril de vía estrecha transportaba a los viajeros curiosos desde el muelle de los barcos de vapor en Oak Bluffs hasta Edgartown, recorriendo las vías instaladas en la actual playa estatal de Joseph Sylvia. En 1884, el Flying Horses Carousel fue traído a Oak Bluffs desde Coney Island y se instaló a unas pocas manzanas tierra adentro desde el océano, donde sigue funcionando en la actualidad. Construido en 1876, es el carrusel de plataforma más antiguo que sigue en funcionamiento. Al igual que los terrenos y edificios del camping (designado así en abril de 2005), los Flying Horses fueron designados monumento histórico nacional por la Secretaría del Interior.
En 1873, William H. Hart estableció la comunidad vecina de Harthaven al comprar un terreno a la Oak Bluffs Land and Wharf Company. La comunidad se trasladó más tarde, en 1911, a su ubicación actual, entre la ciudad de Oak Bluffs y Edgartown.