A My Morning Jacket megalakulása előtt James a Month of Sundays énekese és gitárosa volt, jelenleg Mont de Sundua néven ismert.
A My Morning Jacket énekeseként, frontembereként, producereként és vezető dalszerzőjeként James meghatározó szerepet játszott a zenekar hangzásának meghatározásában. Az Esquire 2006-os Esky Music Awards áprilisi számában a legjobb dalszerzőnek járó “Esky” díjat kapta meg.
James jellemzően ritmusgitáron, akusztikus gitáron és alkalmanként szólógitáron játszik a My Morning Jacket dalaiban. Ő játszotta a zenekarvezető szerepét az I’m Not There című Bob Dylan-életrajzi filmben, a Going to Acapulco című dalt énekelte, a Calexico kísérőzenekarával, amely a film soundtrackjén is szerepelt. A Rolling Stone a “20 új gitáristen” közé sorolta Jamest a My Morning Jacket gitáros társával, Carl Broemellel együtt. 2008-ban James a My Morning Jacket egykori gitárosával és unokatestvérével, Johnny Quaiddel együtt megalapította a Removador Recordings és Solutions lemezkiadót. A kiadó a weboldalán leírtak szerint “azon az egyszerű elven működik, hogy a lehető legnagyobb százalékban visszahozza a befektetők és részvényesek szívébe és elméjébe az éves hallási örömöt, könnyedén és kényelmesen”. Közreműködött a The Decemberists 2009-es The Hazards of Love című albumán.
2009. április 4-én James fellépett a New York-i Radio City Music Hallban a David Lynch Alapítvány javára rendezett “Change Begins Within” koncerten.
2009. július 7-én James kiadta a Tribute To című, George Harrison-dalokat feldolgozó EP-t. Az album bevételének egy részét a Woodstock Farm Animal Sanctuary-nak adományozták. Az EP elérhető volt a yimyames.com oldalon digitális letöltésként és fizikai CD/LP-ként is.
2009-ben James és a My Morning Jacket többi tagja saját magát játszotta az American Dad című animációs tévésorozat “My Morning Straitjacket” című epizódjában!
2012-ben a Rounder Records kiadta a New Multitudes című Woody Guthrie tribute albumot, amelyen különböző zenészek, köztük James (mint Yim Yames) és Jay Farrar által feldolgozott dalok szerepelnek. James a Louisville magazin 2012. júliusi számában írt egy cikket a My Morning Jacketről, amelyben kitér arra, hogyan kapta a zenekar a nevét és hogyan nőtt fel Louisville-ben. A zenekartársak, Patrick Hallahan és Tom Blankenship szintén írtak cikkeket a lapszámba.
James 2013. február 5-én adta ki debütáló szóló, teljes hosszúságú albumát, a Regions of Light and Sound of God-ot az ATO Recordsnál.
2014 elején James felvételt készített a Lost on the River számára: The New Basement Tapes című albumot Elvis Costello, Marcus Mumford, Taylor Goldsmith és Rhiannon Giddens oldalán. Az album producere T-Bone Burnett volt, és Bob Dylan által írt, de soha ki nem adott dalok részleteinek összeállítása.
2015. november 5-én a David Lynch Alapítvány egy másik jótékonysági koncertet szervezett a New York-i Carnegie Hallban “Change Begins Within” címmel, hogy népszerűsítse a stresszoldó transzcendentális meditációt. Jim James Katy Perryvel, Stinggel, Jerry Seinfelddel, Angelique Kidjóval és Sharon Isbin klasszikus gitárossal vett részt. És mivel az előadók mindegyike aktívan gyakorolja a transzcendentális meditációt, ők is beszéltek annak erejéről.
James a Showtime sorozat Roadies 4. és 10. epizódjában önmagát alakítja és énekel.
2016 novemberében jelent meg második szólóalbuma, az Eternally Even.
James és Teddy Abrams közösen írt egy dalszvitet, amelyet 2018. április 6-án és 7-én a Louisville-i zenekarral adtak elő a Kentucky Center for the Artsban.
2018. április 17-én James bejelentette, hogy június 29-én megjelenik harmadik, saját anyagot tartalmazó szólóalbuma Uniform Distortion címmel. A bejelentéssel egy időben megjelent az album nyitódalához, a ‘Just A Fool’-hoz készült kislemez és klip is. A bejelentéshez csatolták azt a levelet is, amelyet James írt Duane Michals fotósnak, és amelyben kérte, hogy a ‘The Illuminated Man’ című fotóját használhassa fel az album borítójához. James az 1971-es The Last Whole Earth Catalog című kiadványban fedezte fel a fotót, amely állítása szerint az új album elsődleges ihletője volt.