Înainte de a forma My Morning Jacket, James a fost vocalistul și chitaristul trupei Month of Sundays, cunoscută în prezent ca Mont de Sundua.
În calitate de vocalist, frontman, producător și compozitor principal pentru My Morning Jacket, James a avut un rol esențial în definirea sunetului trupei. El a primit un „Esky” pentru cel mai bun compozitor în cadrul Esquire’s 2006 Esky Music Awards în numărul din aprilie.
James cântă de obicei la chitara ritmică, chitara acustică și ocazional la chitara solo pe piesele My Morning Jacket. A jucat rolul liderului trupei în filmul biografic Bob Dylan I’m Not There, cântând piesa „Going to Acapulco”, cu Calexico ca formație de acompaniament, care a fost inclusă pe coloana sonoră a filmului. Rolling Stone l-a enumerat pe James printre cei „20 de noi zei ai chitarei”, alături de colegul chitarist de la My Morning Jacket, Carl Broemel. În 2008, James, împreună cu fostul chitarist și vărul Johnny Quaid de la My Morning Jacket, a înființat casa de discuri Removador Recordings și Solutions. Casa de discuri, așa cum este descrisă pe site-ul său, funcționează „pe baza principiului simplu de a produce cel mai mare procent anual de bucurie auditivă înapoi în inimile și mințile investitorilor și acționarilor, cu ușurință și comoditate”. A contribuit vocal la albumul The Hazards of Love al trupei The Decemberists din 2009.
La 4 aprilie 2009, James a cântat la Radio City Music Hall, New York City, în cadrul concertului „Change Begins Within” în beneficiul Fundației David Lynch.
La 7 iulie 2009, James a lansat Tribute To, un EP care cuprinde melodii de George Harrison. O parte din încasările albumului au fost donate organizației Woodstock Farm Animal Sanctuary. EP-ul a fost disponibil pe yimyames.com atât ca descărcare digitală, cât și ca CD/LP fizic.
În 2009, James și restul trupei My Morning Jacket s-au interpretat pe ei înșiși în „My Morning Straitjacket”, un episod din serialul animat de televiziune American Dad!
În 2012, Rounder Records a lansat albumul tribut lui Woody Guthrie New Multitudes, care conține cântece preluate de o varietate de muzicieni, inclusiv James (ca Yim Yames) și Jay Farrar. James a scris un articol despre My Morning Jacket, discutând despre modul în care trupa și-a primit numele și despre cum a crescut în Louisville, pentru numărul din iulie 2012 al revistei Louisville. Colegii de trupă Patrick Hallahan și Tom Blankenship au scris, de asemenea, articole pentru acest număr.
James și-a lansat primul său album solo de lungă durată, Regions of Light and Sound of God, la ATO Records, pe 5 februarie 2013.
La începutul anului 2014, James a înregistrat pentru Lost on the River: The New Basement Tapes alături de Elvis Costello, Marcus Mumford, Taylor Goldsmith și Rhiannon Giddens. Albumul a fost produs de T-Bone Burnett și este o compilație de cântece parțiale scrise de Bob Dylan care nu au fost niciodată lansate.
La 5 noiembrie 2015, Fundația David Lynch a organizat un alt concert caritabil la Carnegie Hall din New York City numit „Change Begins Within” pentru a promova meditația transcendentală pentru controlul stresului. Jim James a participat alături de Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo și chitarista clasică Sharon Isbin. Și cum fiecare dintre interpreți practică în mod activ meditația transcendentală, au vorbit și despre puterea acesteia.
James se interpretează pe sine însuși și cântă în episoadele 4 și 10 din serialul Showtime Roadies.
În noiembrie 2016 a lansat cel de-al doilea album solo Eternally Even.
James și Teddy Abrams au scris împreună o suită de cântece care au fost interpretate împreună cu Orchestra din Louisville pe 6 și 7 aprilie 2018 la Kentucky Center for the Arts.
La 17 aprilie 2018, James a anunțat lansarea pe 29 iunie a celui de-al treilea album solo de materiale originale, Uniform Distortion. Odată cu anunțul a fost lansat și un single și un videoclip pentru piesa de deschidere a albumului, „Just A Fool”. De asemenea, împreună cu anunțul a fost inclusă și o scrisoare pe care James i-a scris-o fotografului Duane Michals, solicitând utilizarea fotografiei sale ‘The Illuminated Man’ pentru coperta albumului. James a descoperit fotografia în publicația The Last Whole Earth Catalog din 1971, despre care a declarat că a fost o inspirație primară pentru noul album.
.