Antes de formar My Morning Jacket, James era el vocalista y guitarrista de Month of Sundays, actualmente conocidos como Mont de Sundua.
Como vocalista, líder, productor y principal compositor de My Morning Jacket, James ha sido fundamental para definir el sonido de la banda. Recibió un «Esky» al mejor compositor en los Esky Music Awards 2006 de Esquire en la edición de abril.
James suele tocar la guitarra rítmica, la guitarra acústica y ocasionalmente la guitarra principal en las canciones de My Morning Jacket. Interpretó el papel del líder de la banda en la película biográfica de Bob Dylan I’m Not There, cantando la canción «Going to Acapulco», con Calexico como banda de acompañamiento, que apareció en la banda sonora de la película. Rolling Stone incluyó a James entre sus «20 nuevos dioses de la guitarra», junto con su compañero Carl Broemel, guitarrista de My Morning Jacket. En 2008, James, junto con el ex guitarrista de My Morning Jacket y su primo Johnny Quaid, formó el sello discográfico Removador Recordings and Solutions. El sello, como se describe en su página web, funciona «con el simple principio de devolver el mayor porcentaje anual de alegría auditiva a los corazones y mentes de los inversores y accionistas con facilidad y comodidad». El 4 de abril de 2009, James actuó en el Radio City Music Hall de Nueva York en el concierto «Change Begins Within», a beneficio de la Fundación David Lynch.
El 7 de julio de 2009, James lanzó Tribute To, un EP que versiona canciones de George Harrison. Una parte de los beneficios del álbum se donó al Woodstock Farm Animal Sanctuary. El EP estaba disponible en yimyames.com como descarga digital y como CD/LP físico.
En 2009, James y el resto de My Morning Jacket se interpretaron a sí mismos en «My Morning Straitjacket», un episodio de la serie de televisión animada American Dad!
En 2012, Rounder Records lanzó el álbum de tributo a Woody Guthrie New Multitudes, que incluye canciones cubiertas por una variedad de músicos incluyendo a James (como Yim Yames) y Jay Farrar. James escribió un artículo sobre My Morning Jacket, en el que hablaba de cómo la banda obtuvo su nombre y de cómo creció en Louisville, para el número de julio de 2012 de la revista Louisville. Sus compañeros de banda Patrick Hallahan y Tom Blankenship también escribieron artículos para el número.
James lanzó su álbum debut de larga duración en solitario, Regions of Light and Sound of God, en ATO Records el 5 de febrero de 2013.
A principios de 2014 James grabó para Lost on the River: The New Basement Tapes junto a Elvis Costello, Marcus Mumford, Taylor Goldsmith y Rhiannon Giddens. El álbum fue producido por T-Bone Burnett y es una recopilación de canciones parciales escritas por Bob Dylan que nunca fueron publicadas.
El 5 de noviembre de 2015, la Fundación David Lynch organizó otro concierto benéfico en el Carnegie Hall de Nueva York llamado «Change Begins Within» para promover la meditación trascendental para el control del estrés. Jim James participó con Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo y la guitarrista clásica Sharon Isbin. Y como cada uno de los intérpretes practica activamente la meditación trascendental, también hablaron de su poder.
James se interpreta a sí mismo y canta en los episodios 4 y 10 de la serie de Showtime Roadies.
En noviembre de 2016 lanzó su segundo álbum en solitario Eternally Even.
James y Teddy Abrams coescribieron una suite de canciones que fueron interpretadas con la Orquesta de Louisville el 6 y 7 de abril de 2018 en el Kentucky Center for the Arts.
El 17 de abril de 2018, James anunció el lanzamiento el 29 de junio de su tercer álbum en solitario de material original, Uniform Distortion. Junto con el anuncio fue el lanzamiento de un single y un video musical para la canción de apertura del álbum ‘Just A Fool’. Además, el anuncio incluía una carta que James escribió al fotógrafo Duane Michals solicitando el uso de su fotografía «The Illuminated Man» para la portada del álbum. James descubrió la foto en la publicación de 1971 The Last Whole Earth Catalog, que, según declaró, fue la principal inspiración para el nuevo álbum.