Před založením My Morning Jacket byl James zpěvákem a kytaristou skupiny Month of Sundays, v současnosti známé jako Mont de Sundua.
Jako zpěvák, frontman, producent a hlavní autor písní My Morning Jacket se James podílel na definování zvuku kapely. V dubnovém čísle časopisu Esquire mu byla udělena cena „Esky“ za nejlepšího skladatele v soutěži Esky Music Awards 2006.
James obvykle hraje na rytmickou kytaru, akustickou kytaru a příležitostně na sólovou kytaru v písních My Morning Jacket. V životopisném filmu Boba Dylana I’m Not There si zahrál roli kapelníka a nazpíval píseň „Going to Acapulco“, přičemž jeho doprovodnou kapelou byla skupina Calexico, která se objevila na soundtracku k tomuto filmu. Časopis Rolling Stone zařadil Jamese mezi svých „20 nových kytarových bohů“ spolu s kolegou, kytaristou My Morning Jacket Carlem Broemelem. V roce 2008 založil James spolu s bývalým kytaristou My Morning Jacket a bratrancem Johnnym Quaidem nahrávací společnost Removador Recordings and Solutions. Vydavatelství, jak je popsáno na jeho webových stránkách, funguje „na jednoduchém principu přinášet co nejvyšší roční procento zvukové radosti zpět do srdcí a myslí investorů a akcionářů, a to snadno a pohodlně“. V roce 2009 se podílel na vokálech na albu The Hazards of Love skupiny The Decemberists.
4. dubna 2009 vystoupil James v newyorské Radio City Music Hall na koncertě „Change Begins Within“ ve prospěch Nadace Davida Lynche.
7. července 2009 vydal James EP Tribute To, na kterém coveroval písně George Harrisona. Část výtěžku z alba byla věnována útulku pro zvířata Woodstock Farm Animal Sanctuary. EP bylo k dispozici na stránkách yimyames.com jako digitální download i fyzické CD/LP.
V roce 2009 si James a zbytek My Morning Jacket zahráli sami sebe v epizodě „My Morning Straitjacket“ animovaného televizního seriálu American Dad!
V roce 2012 vydala společnost Rounder Records album pocty Woodymu Guthriemu New Multitudes, které obsahuje písně coverované různými hudebníky včetně Jamese (jako Yim Yames) a Jaye Farrara. V červencovém čísle časopisu Louisville z roku 2012 napsal James článek o skupině My Morning Jacket, ve kterém hovoří o tom, jak kapela přišla ke svému jménu a jak vyrůstala v Louisville. Spoluhráči z kapely Patrick Hallahan a Tom Blankenship také napsali články pro toto číslo.
James vydal 5. února 2013 u ATO Records své debutové sólové dlouhohrající album Regions of Light and Sound of God.
Na začátku roku 2014 James nahrával pro Lost on the River: V roce 2014 se na desce The New Basement Tapes objevili Elvis Costello, Marcus Mumford, Taylor Goldsmith a Rhiannon Giddens. Album produkoval T-Bone Burnett a je kompilací částečných písní napsaných Bobem Dylanem, které nebyly nikdy vydány.
5. listopadu 2015 uspořádala Nadace Davida Lynche v newyorské Carnegie Hall další benefiční koncert s názvem „Change Begins Within“ na podporu transcendentální meditace pro zvládání stresu. Spolu s Jimem Jamesem se ho zúčastnili Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo a klasická kytaristka Sharon Isbin. A protože každý z účinkujících aktivně praktikuje transcendentální meditaci, promluvili také o její síle.
James hraje sám sebe a zpívá ve 4. a 10. epizodě seriálu Showtime Roadies.
V listopadu 2016 vydal své druhé sólové album Eternally Even.
James a Teddy Abrams společně napsali suitu písní, které zazněly s Louisville Orchestra 6. a 7. dubna 2018 v Kentucky Center for the Arts.
Dne 17. dubna 2018 James oznámil, že 29. června vydá své třetí sólové album původního materiálu Uniform Distortion. Spolu s oznámením byl zveřejněn singl a videoklip k úvodní skladbě alba „Just A Fool“. Součástí oznámení byl také dopis, který James napsal fotografovi Duanu Michalsovi s žádostí o použití jeho fotografie „The Illuminated Man“ pro obal alba. James fotografii objevil v publikaci The Last Whole Earth Catalog z roku 1971 a uvedl, že byla hlavní inspirací pro nové album.