Indfødte amerikanske folk, sandsynligvis Chumash og Tongva, har besat Santa Barbara Island med jævne mellemrum i årtusinder. Der er dokumenteret arkæologiske fundsteder fra så meget som 4.000 år siden på øen, som kan have fungeret som mellemlandingsplads eller tilflugtssted for rejsende mellem fastlandet og de andre Kanaløer.

Øen blev navngivet af den spanske opdagelsesrejsende Sebastián Vizcaíno, som så øen den 4. december 1602, som er en festdag tilegnet den hellige Barbara. U.S. National Geodetic Survey opmålte øen i 1850’erne. Fiskere og sæljægere boede på øen, herunder H. Bay Webster nær Webster Point, indtil den føderale regering i juli 1909 udlejede øen til J.G. Howland for en periode på 5 år. Alvin Hyder overtog den næste 5-årige forpagtningsaftale. Fra 1916 og fremefter blev øen beboet af Hyder-brødrene Alvin, Clarence og Cleve med deres familier. De opdrættede får, indtil de forlod øen i 1922. De eneste andre personer, der forpagtede øen, inden den blev en del af nationalmonumentet i 1938, var Arthur McLelland og Harry Cupit fra 1929 til 1932.

I 1852 jagede Charles Melville Scammon i briggen Mary Helen nordlige elefantsæler og søløver på Santa Barbara Island. I december 1934 tilbragte dampskonnerten California en uge for anker ud for øen og behandlede blåhvaler, finhvaler og kaskelothvaler, der blev fanget af hendes to dampdrevne hvalfangere Hawk og Port Saunders.

Det amerikanske fyrtårnsråd opstillede et fyrtårn på den nordvestlige side af øen i 1928, efterfulgt af tilføjelsen af et andet fyrtårn på det sydvestlige hjørne i 1934. Den amerikanske kystvagt overtog serviceringen og erstattede det nordvestlige tårn med et ståltårn, der drives af solenergi, i 1980. Fra 1942 til 1946 byggede den amerikanske flåde en kystudkigsstation på øen, og i 1960’erne byggede de en fotostation, men havde forladt øen i midten af 1960’erne.:189-191