Prima di formare i My Morning Jacket, James era il cantante e chitarrista dei Month of Sundays, attualmente conosciuti come Mont de Sundua.
Come cantante, frontman, produttore e autore principale dei My Morning Jacket, James è stato determinante nel definire il suono della band. Gli è stato assegnato un “Esky” per il miglior cantautore nell’Esquire’s 2006 Esky Music Awards nel numero di aprile.
James tipicamente suona la chitarra ritmica, la chitarra acustica e occasionalmente la chitarra solista nelle canzoni dei My Morning Jacket. Ha interpretato il ruolo del leader della band nel biopic su Bob Dylan I’m Not There, cantando la canzone “Going to Acapulco”, con i Calexico come gruppo spalla, che è stato inserito nella colonna sonora del film. Rolling Stone ha elencato James tra i suoi “20 New Guitar Gods” insieme al collega chitarrista dei My Morning Jacket Carl Broemel. Nel 2008, James, insieme all’ex chitarrista dei My Morning Jacket e cugino Johnny Quaid, ha formato l’etichetta discografica Removador Recordings and Solutions. L’etichetta, come descritto sul suo sito web, funziona “sul semplice principio di produrre la più alta percentuale annuale di gioia uditiva nei cuori e nelle menti degli investitori e degli azionisti con facilità e convenienza”. Ha contribuito alla voce sull’album The Hazards of Love dei The Decemberists 2009.
Il 4 aprile 2009, James si è esibito al Radio City Music Hall, New York City, nel concerto “Change Begins Within” a favore della David Lynch Foundation.
Il 7 luglio 2009, James ha pubblicato Tribute To, un EP che copre canzoni di George Harrison. Una parte del ricavato dell’album è stata donata alla Woodstock Farm Animal Sanctuary. L’EP era disponibile su yimyames.com sia come download digitale che come CD/LP fisico.
Nel 2009, James e il resto dei My Morning Jacket hanno interpretato se stessi in “My Morning Straitjacket”, un episodio della serie televisiva animata American Dad!
Nel 2012, la Rounder Records ha pubblicato l’album tributo a Woody Guthrie New Multitudes che contiene canzoni coperte da una varietà di musicisti tra cui James (come Yim Yames) e Jay Farrar. James ha scritto un articolo sui My Morning Jacket, parlando di come la band ha preso il nome e di come è cresciuta a Louisville, per il numero di luglio 2012 della rivista Louisville. Anche i compagni di band Patrick Hallahan e Tom Blankenship hanno scritto articoli per il numero.
James ha pubblicato il suo album di debutto da solista, Regions of Light and Sound of God, su ATO Records il 5 febbraio 2013.
A inizio 2014 James ha registrato per Lost on the River: The New Basement Tapes insieme a Elvis Costello, Marcus Mumford, Taylor Goldsmith e Rhiannon Giddens. L’album è stato prodotto da T-Bone Burnett ed è una compilation di canzoni parziali scritte da Bob Dylan che non sono mai state pubblicate.
Il 5 novembre 2015, la David Lynch Foundation ha organizzato un altro concerto di beneficenza alla Carnegie Hall di New York dal nome “Change Begins Within” per promuovere la meditazione trascendentale per il controllo dello stress. Jim James ha partecipato con Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo e la chitarrista classica Sharon Isbin. E poiché ognuno degli interpreti pratica attivamente la meditazione trascendentale, hanno anche parlato del suo potere.
James interpreta se stesso e canta negli episodi 4 e 10 della serie Showtime Roadies.
Nel novembre 2016 ha pubblicato il suo secondo album solista Eternally Even.
James e Teddy Abrams hanno co-scritto una suite di canzoni che sono state eseguite con la Louisville Orchestra il 6 e 7 aprile 2018 al Kentucky Center for the Arts.
Il 17 aprile 2018, James ha annunciato la pubblicazione il 29 giugno del suo terzo album solista di materiale originale, Uniform Distortion. Insieme all’annuncio è stato pubblicato un singolo e un video musicale per il brano di apertura dell’album ‘Just A Fool’. Inoltre, incluso nell’annuncio c’era una lettera che James scrisse al fotografo Duane Michals chiedendo l’uso della sua fotografia ‘The Illuminated Man’ per la copertina dell’album. James scoprì la foto nella pubblicazione del 1971 The Last Whole Earth Catalog, che dichiarò essere un’ispirazione primaria per il nuovo album.