Inheemse Amerikaanse volkeren, waarschijnlijk de Chumash en Tongva, bewoonden Santa Barbara Island periodiek gedurende millennia. Archeologische vindplaatsen van wel 4000 jaar geleden zijn gedocumenteerd op het eiland, dat mogelijk diende als tussenstop of toevluchtsoord voor reizigers tussen het vasteland en de andere Kanaaleilanden.
Het eiland kreeg zijn naam van de Spaanse ontdekkingsreiziger Sebastián Vizcaíno, die het eiland waarnam op 4 december 1602, de feestdag gewijd aan de heilige Barbara. De U.S. National Geodetic Survey heeft het eiland in de jaren 1850 onderzocht. Krakende vissers en zeehondenjagers bewoonden het eiland, waaronder H. Bay Webster bij Webster Point, totdat de federale regering het eiland in juli 1909 voor een periode van 5 jaar verpachtte aan J.G. Howland. Alvin Hyder nam de volgende 5-jarige pacht op zich. Vanaf 1916 werd het eiland bewoond door de gebroeders Hyder, Alvin, Clarence en Cleve, met hun gezinnen. Zij fokten schapen totdat zij het eiland in 1922 verlieten. De enige andere personen die het eiland pachtten, voordat het in 1938 deel ging uitmaken van het nationaal monument, waren Arthur McLelland en Harry Cupit van 1929 tot 1932.
In 1852 jaagde Charles Melville Scammon, in de brik Mary Helen, op noordelijke zeeolifanten en zeeleeuwen op Santa Barbara Island. In december 1934 lag de stoomschoener California een week voor anker bij het eiland, waar ze blauwe, vin- en potvissen verwerkte die werden gevangen door haar twee door stoom aangedreven walvisvangers Hawk en Port Saunders.
De United States Lighthouse Board richtte in 1928 een baken op aan de noordwestkant van het eiland, gevolgd door de toevoeging van een tweede baken op de zuidwesthoek in 1934. De kustwacht van de Verenigde Staten nam het onderhoud over en verving de noordwestelijke toren in 1980 door een stalen toren die op zonne-energie werkt. Van 1942 tot 1946 bouwde de marine van de Verenigde Staten een kustwachtstation op het eiland, en in de jaren 1960 bouwden zij een foto-volgstation, maar halverwege de jaren 1960 hadden zij het eiland al verlaten.:189-191