Przed założeniem My Morning Jacket, James był wokalistą i gitarzystą zespołu Month of Sundays, obecnie znanego jako Mont de Sundua.
Jako wokalista, frontman, producent i główny autor tekstów dla My Morning Jacket, James odegrał kluczową rolę w definiowaniu brzmienia zespołu. Otrzymał nagrodę „Esky” dla najlepszego autora piosenek w Esquire’s 2006 Esky Music Awards w wydaniu kwietniowym.
James zazwyczaj gra na gitarze rytmicznej, akustycznej i okazjonalnie na gitarze prowadzącej w utworach My Morning Jacket. Zagrał rolę lidera zespołu w filmie biograficznym Boba Dylana I’m Not There, śpiewając piosenkę „Going to Acapulco”, z Calexico jako jego backing band, który znalazł się na ścieżce dźwiękowej filmu. Rolling Stone umieścił Jamesa na liście „20 nowych bogów gitary”, obok gitarzysty My Morning Jacket, Carla Broemela. W 2008 roku James, wraz z byłym gitarzystą My Morning Jacket i kuzynem Johnny’m Quaidem, założył wytwórnię płytową Removador Recordings and Solutions. Wytwórnia, zgodnie z opisem na swojej stronie internetowej, funkcjonuje „na prostej zasadzie dostarczania najwyższego rocznego procentu słuchowej radości z powrotem do serc i umysłów inwestorów i udziałowców z łatwością i wygodą”. Przyczynił się wokalnie na albumie The Decemberists z 2009 roku The Hazards of Love.
4 kwietnia 2009 roku James wystąpił w Radio City Music Hall, w Nowym Jorku, w koncercie „Change Begins Within” na rzecz Fundacji Davida Lyncha.
7 lipca 2009 roku James wydał Tribute To, EP-kę zawierającą utwory George’a Harrisona. Część wpływów z albumu została przekazana na rzecz Woodstock Farm Animal Sanctuary. EP-ka była dostępna na yimyames.com zarówno jako cyfrowe pobranie, jak i fizyczny CD/LP.
W 2009 roku James i reszta My Morning Jacket zagrali samych siebie w „My Morning Straitjacket”, odcinku animowanego serialu telewizyjnego American Dad!
W 2012 roku Rounder Records wydało album Woody Guthrie tribute New Multitudes, który zawiera utwory pokryte przez różnych muzyków, w tym Jamesa (jako Yim Yames) i Jaya Farrara. James napisał artykuł o My Morning Jacket, omawiając skąd zespół wziął swoją nazwę i jak dorastał w Louisville, dla lipcowego wydania magazynu Louisville z 2012 roku. Koledzy z zespołu Patrick Hallahan i Tom Blankenship również napisali artykuły do tego wydania.
James wydał swój debiutancki solowy pełnometrażowy album, Regions of Light and Sound of God, w ATO Records 5 lutego 2013 roku.
Na początku 2014 roku James nagrał dla Lost on the River: The New Basement Tapes u boku Elvisa Costello, Marcusa Mumforda, Taylora Goldsmitha i Rhiannon Giddens. Album został wyprodukowany przez T-Bone Burnett i jest kompilacją częściowych piosenek napisanych przez Boba Dylana, które nigdy nie zostały wydane.
Na 5 listopada 2015 roku Fundacja Davida Lyncha zorganizowała kolejny koncert dobroczynny w nowojorskiej Carnegie Hall o nazwie „Change Begins Within”, aby promować medytację transcendentalną do kontroli stresu. Jim James wziął w nim udział wraz z Katy Perry, Stingiem, Jerrym Seinfeldem, Angelique Kidjo i gitarzystką klasyczną Sharon Isbin. A ponieważ każdy z wykonawców aktywnie praktykuje medytację transcendentalną, oni również mówili o jej mocy.
James gra siebie i śpiewa w odcinkach 4 i 10 serialu Showtime Roadies.
W listopadzie 2016 roku wydał swój drugi solowy album Eternally Even.
James i Teddy Abrams współtworzyli suitę piosenek, które zostały wykonane z Louisville Orchestra 6 i 7 kwietnia 2018 roku w Kentucky Center for the Arts.
W dniu 17 kwietnia 2018 roku James ogłosił wydanie 29 czerwca swojego trzeciego solowego albumu z oryginalnym materiałem, Uniform Distortion. Wraz z ogłoszeniem ukazał się singiel i teledysk do otwierającego album utworu „Just A Fool”. Do zapowiedzi dołączony był również list, który James napisał do fotografa Duane’a Michalsa z prośbą o wykorzystanie jego zdjęcia 'The Illuminated Man’ na okładce albumu. James odkrył to zdjęcie w 1971 roku w publikacji The Last Whole Earth Catalog, które, jak stwierdził, było główną inspiracją dla nowego albumu.