Voordat hij My Morning Jacket oprichtte, was James de zanger en gitarist van Month of Sundays, tegenwoordig bekend onder de naam Mont de Sundua.
Als zanger, frontman, producer en lead songwriter van My Morning Jacket heeft James een belangrijke rol gespeeld bij het bepalen van het geluid van de band. Hij kreeg een “Esky” voor beste songwriter in Esquire’s 2006 Esky Music Awards in het aprilnummer.
James speelt meestal ritmegitaar, akoestische gitaar, en af en toe leadgitaar op nummers van My Morning Jacket. Hij speelde de rol van de bandleider in de Bob Dylan biopic I’m Not There, en zong het nummer “Going to Acapulco”, met Calexico als zijn begeleidingsband, dat op de soundtrack van de film stond. Rolling Stone plaatste James in hun “20 nieuwe gitaargoden”, samen met mede My Morning Jacket gitarist Carl Broemel. In 2008 richtte James, samen met voormalig My Morning Jacket gitarist en neef Johnny Quaid, het platenlabel Removador Recordings and Solutions op. Het label, zoals beschreven op zijn website, functioneert “op het eenvoudige principe van het hoogste jaarlijkse percentage van auditieve vreugde terug te brengen in de harten en geesten van investeerders en aandeelhouders met gemak en gemak”. Hij heeft meegezongen op het album The Hazards of Love van The Decemberists uit 2009.
Op 4 april 2009 trad James op in de Radio City Music Hall, New York City, tijdens het concert “Change Begins Within” ten bate van de David Lynch Foundation.
Op 7 juli 2009 bracht James Tribute To uit, een EP met nummers van George Harrison. Een deel van de opbrengst van het album werd gedoneerd aan de Woodstock Farm Animal Sanctuary. De EP was beschikbaar op yimyames.com als zowel een digitale download als een fysieke CD/LP.
In 2009 speelden James en de rest van My Morning Jacket zichzelf in “My Morning Straitjacket”, een aflevering van de geanimeerde televisieserie American Dad!
In 2012 bracht Rounder Records het Woody Guthrie tribute album New Multitudes uit waarop nummers staan die gecoverd zijn door een verscheidenheid aan muzikanten waaronder James (als Yim Yames) en Jay Farrar. James schreef een artikel over My Morning Jacket, over hoe de band aan zijn naam kwam en hoe hij opgroeide in Louisville, voor het juli 2012 nummer van Louisville magazine. Bandgenoten Patrick Hallahan en Tom Blankenship schreven ook artikelen voor het nummer.
James bracht zijn debuut solo full-length album, Regions of Light and Sound of God, uit op ATO Records op 5 februari 2013.
In het begin van 2014 nam James op voor Lost on the River: The New Basement Tapes naast Elvis Costello, Marcus Mumford, Taylor Goldsmith en Rhiannon Giddens. Het album werd geproduceerd door T-Bone Burnett en is een compilatie van gedeeltelijke nummers geschreven door Bob Dylan die nooit werden uitgebracht.
Op 5 november 2015 organiseerde de David Lynch Foundation nog een benefietconcert in New York City’s Carnegie Hall genaamd “Change Begins Within” om transcendente meditatie voor stressbeheersing te promoten. Jim James nam deel met Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo, en klassieke gitarist Sharon Isbin. En aangezien elk van de performers actief transcendente meditatie beoefent, spraken ze ook over de kracht ervan.
James speelt zichzelf en zingt in de afleveringen 4 en 10 van de Showtime-serie Roadies.
In november 2016 bracht hij zijn tweede soloalbum Eternally Even uit.
James en Teddy Abrams schreven samen een suite van liedjes die op 6 en 7 april 2018 werden uitgevoerd met het Louisville Orchestra in het Kentucky Center for the Arts.
Op 17 april 2018 kondigde James aan dat hij op 29 juni zijn derde soloalbum met origineel materiaal zou uitbrengen, Uniform Distortion. Samen met de aankondiging was de release van een single en muziekvideo voor de openingstrack van het album ‘Just A Fool’. Bij de aankondiging was ook een brief gevoegd die James schreef aan fotograaf Duane Michals met het verzoek om zijn foto ‘The Illuminated Man’ te gebruiken voor de cover van het album. James ontdekte de foto in de 1971 publicatie The Last Whole Earth Catalog, waarvan hij verklaarde dat het een primaire inspiratie was voor het nieuwe album.