Die amerikanischen Ureinwohner, wahrscheinlich die Chumash und Tongva, bewohnten Santa Barbara Island regelmäßig über Jahrtausende hinweg. Auf der Insel wurden archäologische Funde aus der Zeit vor 4.000 Jahren gemacht, die möglicherweise als Zwischenstation oder Zufluchtsort für Reisende zwischen dem Festland und den anderen Kanalinseln dienten.

Den Namen erhielt die Insel vom spanischen Entdecker Sebastián Vizcaíno, der die Insel am 4. Dezember 1602, dem Festtag der Heiligen Barbara, sichtete. Das U.S. National Geodetic Survey vermaß die Insel in den 1850er Jahren. Hockende Fischer und Robbenjäger bewohnten die Insel, darunter auch H. Bay Webster in der Nähe von Webster Point, bis die Bundesregierung die Insel im Juli 1909 für einen Zeitraum von 5 Jahren an J.G. Howland verpachtete. Alvin Hyder übernahm den nächsten 5-Jahres-Pachtvertrag. Ab 1916 wurde die Insel von den Gebrüdern Hyder, Alvin, Clarence und Cleve, mit ihren Familien bewohnt. Sie züchteten Schafe, bis sie die Insel 1922 verließen. Die einzigen anderen Personen, die die Insel pachteten, bevor sie 1938 Teil des Nationaldenkmals wurde, waren Arthur McLelland und Harry Cupit von 1929 bis 1932.

Im Jahr 1852 jagte Charles Melville Scammon mit der Brigg Mary Helen nördliche Seeelefanten und Seelöwen auf Santa Barbara Island. Im Dezember 1934 ankerte der Dampfschoner California eine Woche lang vor der Insel und verarbeitete Blau-, Finn- und Pottwale, die von den beiden dampfgetriebenen Walfängern Hawk und Port Saunders gefangen wurden.

Das United States Lighthouse Board errichtete 1928 ein Leuchtfeuer an der Nordwestseite der Insel, 1934 kam ein zweites Leuchtfeuer an der Südwestecke hinzu. Die Küstenwache der Vereinigten Staaten übernahm die Wartung und ersetzte den nordwestlichen Turm 1980 durch einen solarbetriebenen Stahlturm. Von 1942 bis 1946 errichtete die US-Marine eine Küstenbeobachtungsstation auf der Insel, und in den 1960er Jahren baute sie eine Fotoverfolgungsstation, verließ die Insel jedoch Mitte der 1960er Jahre.:189-191