För att bilda My Morning Jacket var James sångare och gitarrist i Month of Sundays, för närvarande känt som Mont de Sundua.
Som sångare, frontman, producent och huvudkompositör för My Morning Jacket har James varit med och definierat bandets sound. Han fick en ”Esky” för bästa låtskrivare i Esquires 2006 Esky Music Awards i aprilnumret.
James spelar vanligtvis rytmegitarr, akustisk gitarr och ibland leadgitarr på My Morning Jackets låtar. Han spelade rollen som bandledare i Bob Dylan-biografin I’m Not There och sjöng låten ”Going to Acapulco”, med Calexico som hans bakgrundsband, som fanns med på filmens soundtrack. Rolling Stone listade James bland sina ”20 nya gitarrgudar” tillsammans med My Morning Jacket-gitarristen Carl Broemel. År 2008 bildade James tillsammans med den tidigare My Morning Jacket-gitarristen och kusinen Johnny Quaid skivbolaget Removador Recordings and Solutions. Enligt beskrivningen på bolagets webbplats fungerar bolaget ”enligt den enkla principen att med enkelhet och bekvämlighet ge den högsta årliga procentandelen av ljudglädje tillbaka till investerarnas och aktieägarnas hjärtan och sinnen”. Han bidrog med sång på The Decemberists album The Hazards of Love från 2009.
Den 4 april 2009 uppträdde James på Radio City Music Hall i New York City i konserten ”Change Begins Within” till förmån för David Lynch Foundation.
Den 7 juli 2009 släppte James Tribute To, en EP som täcker George Harrison-låtar. En del av intäkterna från albumet donerades till Woodstock Farm Animal Sanctuary. EP:n fanns tillgänglig på yimyames.com som både digital nedladdning och fysisk CD/LP.
År 2009 spelade James och resten av My Morning Jacket sig själva i ”My Morning Straitjacket”, ett avsnitt av den animerade tv-serien American Dad!
År 2012 släppte Rounder Records hyllningsalbumet till Woody Guthrie, New Multitudes, som innehåller låtar som täckts av en mängd olika musiker, bland annat James (som Yim Yames) och Jay Farrar. James skrev en artikel om My Morning Jacket, där han diskuterade hur bandet fick sitt namn och hur han växte upp i Louisville, för julinumret 2012 av Louisville Magazine. Bandmedlemmarna Patrick Hallahan och Tom Blankenship skrev också artiklar för numret.
James släppte sitt första soloalbum, Regions of Light and Sound of God, på ATO Records den 5 februari 2013.
I början av 2014 spelade James in för Lost on the River: The New Basement Tapes tillsammans med Elvis Costello, Marcus Mumford, Taylor Goldsmith och Rhiannon Giddens. Albumet producerades av T-Bone Burnett och är en sammanställning av delvis låtar skrivna av Bob Dylan som aldrig släpptes.
Den 5 november 2015 anordnade David Lynch Foundation en annan välgörenhetskonsert i Carnegie Hall i New York med namnet ”Change Begins Within” för att främja transcendental meditation för stresskontroll. Jim James deltog tillsammans med Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo och den klassiska gitarristen Sharon Isbin. Och eftersom var och en av artisterna aktivt praktiserar transcendental meditation talade de också om dess kraft.
James spelar sig själv och sjunger i avsnitt 4 och 10 av Showtime-serien Roadies.
I november 2016 släppte han sitt andra soloalbum Eternally Even.
James och Teddy Abrams skrev tillsammans en svit med låtar som framfördes tillsammans med Louisville Orchestra den 6 och 7 april 2018 på Kentucky Center for the Arts.
Den 17 april 2018 meddelade James att hans tredje soloalbum med originalmaterial, Uniform Distortion, skulle släppas den 29 juni. Tillsammans med tillkännagivandet släpptes en singel och en musikvideo för albumets öppningsspår ”Just A Fool”. I samband med tillkännagivandet ingick även ett brev som James skrev till fotografen Duane Michals där han bad om att få använda hans fotografi ”The Illuminated Man” för albumets omslagsbild. James upptäckte fotot i publikationen The Last Whole Earth Catalog från 1971, som han uppgav var en primär inspiration till det nya albumet.