Os primeiros habitantes de Oak Bluffs foram os Wampanoag, que vivem em Martha’s Vineyard (nome Wampanoag: Noepe) há aproximadamente 10.000 anos. A área que hoje é Oak Bluffs era chamada de “Ogkeshkuppe”, que significa “mata úmida/úmida ou bosque”.
A área foi posteriormente colonizada por europeus em 1642 e fez parte de Edgartown até 1880, quando foi oficialmente incorporada como Cottage City. A cidade foi reincorporada em 1907 como Oak Bluffs, nome dado porque a cidade era o local de um carvalho ao longo dos bluffs com vista para Nantucket Sound. Oak Bluffs foi a única das seis cidades da ilha a ser conscientemente planeada, e a única desenvolvida especificamente com o turismo em mente.
Pessoas de ascendência africana chegaram pela primeira vez a Martha’s Vineyard nos anos 1600 como escravos africanos ocidentais que trabalhavam nas quintas dos colonos europeus. O porto de Oak Bluffs atraiu escravos, trabalhadores e marinheiros libertados no século XVIII, e os brancos locais venderam-lhes terras. Após a abolição da escravatura, os negros libertados vieram trabalhar nas indústrias pesqueiras, atraindo por sua vez residentes negros do continente de Massachusetts, que vieram e iniciaram negócios para servir a crescente população da Vineyard. Nos anos 1800, alguns trabalhadores negros também trabalhavam como servos de famílias brancas abastadas e nos hotéis. No final dos séculos XIX e XX, negros da classe média compraram ou alugaram casas de verão, e muitos de seus descendentes retornavam anualmente. Antigos escravos, ou seus descendentes, compraram propriedades ao redor do Parque do Templo Batista no início do século 20, desenhadas pelos cultos religiosos realizados lá. Professores, políticos, advogados, médicos, artistas, músicos e empresários residiram lá por décadas.
Afro-americanos ricos de Nova York, Boston e Washington vieram para Oak Bluffs, a única cidade de Martha’s Vineyard que recebia turistas negros, já que outras cidades da ilha não permitiam que os hóspedes negros ficassem em pousadas e hotéis até os anos 60. Muitos compraram casas em uma área que chamaram de Oval ou Highlands, sobre a qual a escritora do Harlem Renaissance, Dorothy West, escreveu em seu romance de 1995, O Casamento (editado pela editora Doubleday Jacqueline Kennedy Onassis, uma residente da Vineyard que visitou West por dois verões). Na década de 1930, os proprietários de terras negras locais estavam transformando a cidade no mais conhecido e exclusivo local de férias afro-americano do país. Na estrada do Oeste, Adam Clayton Powell Jr. era dono de uma casa de campo na Oval, onde o explorador ártico Matthew Henson era um convidado. Mais abaixo fica a Shearer Cottage, a primeira pousada para veraneantes afro-americanos. Foi construída por um Charles Shearer, filho de um escravo e proprietário de escravos, quando Shearer viu que os visitantes negros não podiam ficar nas casas devido à segregação. Entre os convidados da pousada estavam a primeira milionária americana autodidata Madame CJ Walker, os cantores Paul Robeson, Ethel Waters e Lillian Evanti; e o compositor Harry T. Burleigh.
Em 1866 Robert Morris Copeland foi contratado por um grupo de desenvolvedores da Nova Inglaterra para projetar uma comunidade residencial planejada em Martha’s Vineyard. O local, um grande pasto rolante e sem árvores com vista para Nantucket Sound, era adjacente ao imensamente popular encontro de acampamento metodista, Wesleyan Grove, uma rede curva de ruas estreitas alinhadas com casas de campo “Carpenter’s Gothic”, cercas de piquete e parques de bolso. Em busca de aproveitar a popularidade sazonal do acampamento (e a população transbordante), os promotores estabeleceram a Oak Bluffs Land and Wharf Company, obtendo sucesso imediato: Quinhentos lotes foram vendidos entre 1868 e 1871. A Copeland acabaria por criar três planos para que a comunidade acomodasse a sua constante expansão. Oak Bluffs é uma das primeiras comunidades residenciais planejadas e em grande parte informada do desenvolvimento suburbano nos Estados Unidos.
alguns dos primeiros visitantes da área que se tornou Cottage City e mais tarde Oak Bluffs eram metodistas, que se reuniam no carvalhal conhecido como Wesleyan Grove todos os verões para “reuniões de acampamento” religiosas de vários dias, realizadas sob grandes tendas e ao ar livre.
Como as famílias regressavam ao bosque ano após ano, as tendas montadas no chão davam lugar a tendas montadas em plataformas de madeira e eventualmente a pequenas casas de madeira. Pequenas em escala e bem embaladas, as cabanas foram ficando mais elaboradas com o tempo. Varandas, varandas, molduras elaboradas de portas e janelas tornaram-se comuns, assim como o trabalho complexo de madeira rolante afixada nas bordas do telhado como guarnição decorativa. O estilo arquitectónico único “gingerbread” ou “Carpenter’s Gothic” das casas de campo era frequentemente acentuado pelo uso de esquemas de pintura brilhantes e de várias tonalidades pelo proprietário, e dava às casas de campo de Verão um aspecto pitoresco, quase de livro de histórias. Chamadas de “cabanas de gengibre”, elas se tornaram uma atração turística por si só no final do século XIX. O Tabernáculo também o fez: um pavilhão circular, de lados abertos, coberto por um telhado de metal sustentado por altas colunas de ferro forjado, erguido no final da década de 1880, que se tornou um local para serviços e eventos comunitários. Os chalés de gengibre do acampamento são marcos históricos e bens imóveis muito caros. Muitos ainda são de propriedade familiar e passados de geração em geração. As casas de campo e o Tabernáculo foram adicionados ao Registro Nacional de Lugares Históricos em 1978, reconhecido em 2000 pelo National Trust for Historic Preservation e declarado como Patrimônio Histórico Nacional pelo Departamento do Interior dos Estados Unidos em 2005.
Turistas do século XIX, chegando de navio a vapor do continente, também puderam escolher entre uma grande variedade de atrações seculares: lojas, restaurantes, sorveterias, salões de dança, concertos de bandas, caminhadas ao longo de calçadões à beira-mar, ou banhos nas águas de Nantucket Sound. Hotéis resort, dos quais a Wesley House é o único exemplo sobrevivente, alinhados à beira-mar e aos bluffs. Durante algum tempo, uma ferrovia de bitola estreita transportou viajantes curiosos do cais do navio a vapor em Oak Bluffs até Edgartown, correndo ao longo de trilhos colocados no que hoje é a Joseph Sylvia State Beach. Em 1884, o Flying Horses Carousel foi trazido de Coney Island para Oak Bluffs e instalado a alguns quarteirões do oceano, onde permanece em operação até hoje. Construído em 1876, é o mais antigo carrossel de plataforma ainda em operação. Tal como os terrenos e edifícios do Campground (assim designado em Abril de 2005), os Flying Horses foram designados como um Marco Histórico Nacional pelo Secretário do Interior.
Em 1873 a comunidade vizinha de Harthaven foi estabelecida por William H. Hart quando ele comprou um lote da Oak Bluffs Land and Wharf Company. A comunidade mudou-se mais tarde em 1911 para a sua localização actual entre Oak Bluffs e Edgartown.