Amerikan alkuperäiskansat, luultavasti chumashit ja tongvat, asuttivat Santa Barbaran saarta ajoittain vuosituhansien ajan. Saarelta on löydetty arkeologisia löytöjä jopa 4 000 vuoden takaa, ja se on saattanut toimia pysähdys- tai turvapaikkapaikkana mantereen ja muiden Kanaalisaarten välillä matkustaville.
Saari sai nimensä espanjalaiselta tutkimusmatkailijalta Sebastián Vizcaínolta, joka havaitsi saaren 4. joulukuuta 1602, Pyhälle Barbaralle omistettuna juhlapäivänä. Yhdysvaltain kansallinen geodeettinen tutkimuslaitos kartoitti saaren 1850-luvulla. Saarella asui kalastajia ja hylkeenmetsästäjiä, muun muassa H. Bay Webster Webster Pointin lähellä, kunnes liittovaltion hallitus vuokrasi saaren J.G. Howlandille heinäkuussa 1909 viideksi vuodeksi. Alvin Hyder otti haltuunsa seuraavan 5-vuotisen vuokrasopimuksen. Vuodesta 1916 lähtien saarella asuivat Hyderin veljekset Alvin, Clarence ja Cleve perheineen. He kasvattivat lampaita, kunnes lähtivät saarelta vuonna 1922. Ainoat muut yksityishenkilöt, jotka vuokrasivat saaren, ennen kuin siitä tuli osa kansallista muistomerkkiä vuonna 1938, olivat Arthur McLelland ja Harry Cupit vuosina 1929-1932.
Vuonna 1852 Charles Melville Scammon metsästi Mary Helen -briggillä pohjoisen norsuhylkeitä ja merileijonia Santa Barbaran saarella. Joulukuussa 1934 höyrylaiva California vietti viikon ankkuroituneena saaren edustalla, ja se käsitteli sini-, suomen- ja siimavalaita, joita sen kaksi höyrykäyttöistä valaanpyydystintä Hawk ja Port Saunders saivat saaliiksi.
Yhdysvaltojen majakkalautakunta (United States Lighthouse Board) pystytti majakan saaren luoteislaidalle vuonna 1928, minkä jälkeen saaren lounaiskulmalle lisättiin vielä toinenkin merkkitorni vuonna 1934. Yhdysvaltain rannikkovartiosto otti huollon hoitaakseen ja korvasi luoteisen tornin aurinkoenergialla toimivalla terästornilla vuonna 1980. Vuosina 1942-1946 Yhdysvaltain laivasto rakensi saarelle rannikkotarkkailuaseman, ja 1960-luvulla se rakensi valokuvaseuranta-aseman, mutta oli poistunut saarelta 1960-luvun puoliväliin mennessä.:189-191