Fra før han dannede My Morning Jacket, var James sanger og guitarist i Month of Sundays, der i dag er kendt som Mont de Sundua.
Som vokalist, frontmand, producer og ledende sangskriver i My Morning Jacket har James været med til at definere bandets lyd. Han fik en “Esky” for bedste sangskriver i Esquire’s 2006 Esky Music Awards i aprilnummeret.
James spiller typisk rytmeguitar, akustisk guitar og lejlighedsvis leadguitar på My Morning Jacket-sange. Han spillede rollen som bandleder i Bob Dylan-biografien I’m Not There, hvor han sang sangen “Going to Acapulco”, med Calexico som hans backingband, der var med på soundtracket til filmen. Rolling Stone listede James blandt deres “20 New Guitar Gods” sammen med My Morning Jacket-guitaristen Carl Broemel. I 2008 dannede James sammen med den tidligere My Morning Jacket-guitarist og fætter Johnny Quaid Removador Recordings og pladeselskabet Solutions. Som det beskrives på selskabets hjemmeside, fungerer selskabet “ud fra det enkle princip om at give den højeste årlige procentdel af lydglæde tilbage til investorernes og aktionærernes hjerter og sind med lethed og bekvemmelighed”. Han bidrog med vokal på The Decemberists’ album The Hazards of Love fra 2009.
Den 4. april 2009 optrådte James i Radio City Music Hall, New York City, i koncerten “Change Begins Within” til fordel for David Lynch Foundation.
Den 7. juli 2009 udgav James Tribute To, en EP, der dækker George Harrison-sange. En del af indtægterne fra albummet blev doneret til Woodstock Farm Animal Sanctuary. EP’en var tilgængelig på yimyames.com som både digital download og fysisk CD/LP.
I 2009 spillede James og resten af My Morning Jacket sig selv i “My Morning Straitjacket”, et afsnit af den animerede tv-serie American Dad!
I 2012 udgav Rounder Records Woody Guthrie-hyldestalbummet New Multitudes, som indeholder sange, der er dækket af en række musikere, herunder James (som Yim Yames) og Jay Farrar. James skrev en artikel om My Morning Jacket, hvor han diskuterede, hvordan bandet fik sit navn og hvordan det voksede op i Louisville, til juli 2012-udgaven af Louisville Magazine. Bandmedlemmerne Patrick Hallahan og Tom Blankenship skrev også artikler til nummeret.
James udgav sit første solo fuldlængdealbum, Regions of Light and Sound of God, på ATO Records den 5. februar 2013.
I begyndelsen af 2014 indspillede James for Lost on the River: The New Basement Tapes sammen med Elvis Costello, Marcus Mumford, Taylor Goldsmith og Rhiannon Giddens. Albummet blev produceret af T-Bone Burnett og er en samling af delvise sange skrevet af Bob Dylan, som aldrig blev udgivet.
Den 5. november 2015 arrangerede David Lynch Foundation endnu en velgørenhedskoncert i Carnegie Hall i New York City under navnet “Change Begins Within” for at fremme transcendental meditation til stresskontrol. Jim James deltog sammen med Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo og den klassiske guitarist Sharon Isbin. Og da hver af de udøvende kunstnere aktivt praktiserer transcendental meditation, talte de også om dens kraft.
James spiller sig selv og synger i afsnit 4 og 10 af Showtime-serien Roadies.
I november 2016 udgav han sit andet soloalbum Eternally Even.
James og Teddy Abrams skrev sammen en suite af sange, som blev opført sammen med Louisville Orchestra den 6. og 7. april 2018 i Kentucky Center for the Arts.
Den 17. april 2018 annoncerede James, at han den 29. juni udgav sit tredje soloalbum med originalt materiale, Uniform Distortion. Sammen med annonceringen blev der udgivet en single og en musikvideo til albummets åbningsnummer ‘Just A Fool’. Med annonceringen fulgte også et brev, som James skrev til fotografen Duane Michals og bad om at få lov til at bruge hans fotografi ‘The Illuminated Man’ til albumcoveret. James opdagede fotoet i publikationen The Last Whole Earth Catalog fra 1971, som han udtalte var en primær inspiration til det nye album.