Bevor er My Morning Jacket gründete, war James der Sänger und Gitarrist von Month of Sundays, derzeit bekannt als Mont de Sundua.
Als Sänger, Frontmann, Produzent und Lead-Songwriter von My Morning Jacket hat James den Sound der Band maßgeblich geprägt. Er erhielt einen „Esky“ für den besten Songwriter bei den Esquire’s 2006 Esky Music Awards in der April-Ausgabe.
James spielt normalerweise Rhythmusgitarre, Akustikgitarre und gelegentlich Leadgitarre bei My Morning Jacket-Songs. Er spielte die Rolle des Bandleaders in der Bob Dylan-Biografie I’m Not There und sang den Song „Going to Acapulco“ mit Calexico als Begleitband, der auf dem Soundtrack des Films zu hören war. Der Rolling Stone listete James zusammen mit dem Gitarristen von My Morning Jacket, Carl Broemel, unter den „20 neuen Gitarrengöttern“. Im Jahr 2008 gründete James zusammen mit dem ehemaligen My Morning Jacket-Gitarristen und Cousin Johnny Quaid das Plattenlabel Removador Recordings and Solutions. Das Label funktioniert, wie es auf seiner Website beschrieben wird, nach dem einfachen Prinzip, den höchsten jährlichen Prozentsatz an Hörfreude in die Herzen und Köpfe der Investoren und Anteilseigner mit Leichtigkeit und Bequemlichkeit zurückzubringen“. Auf dem 2009er Album The Hazards of Love von The Decemberists hat er Gesang beigesteuert.
Am 4. April 2009 trat James in der Radio City Music Hall in New York City im Rahmen des „Change Begins Within“-Konzerts zugunsten der David Lynch Foundation auf.
Am 7. Juli 2009 veröffentlichte James Tribute To, eine EP, die Songs von George Harrison enthält. Ein Teil des Erlöses des Albums wurde an das Woodstock Farm Animal Sanctuary gespendet. Die EP war auf yimyames.com sowohl als digitaler Download als auch als physische CD/LP erhältlich.
Im Jahr 2009 spielten James und der Rest von My Morning Jacket sich selbst in „My Morning Straitjacket“, einer Episode der Zeichentrickserie American Dad!
Im Jahr 2012 veröffentlichte Rounder Records das Woody-Guthrie-Tribute-Album New Multitudes, auf dem Songs zu hören sind, die von einer Vielzahl von Musikern gecovert wurden, darunter James (als Yim Yames) und Jay Farrar. Für die Juli-Ausgabe 2012 des Magazins Louisville schrieb James einen Artikel über My Morning Jacket, in dem er darüber sprach, wie die Band zu ihrem Namen kam und wie sie in Louisville aufwuchs. Seine Bandkollegen Patrick Hallahan und Tom Blankenship schrieben ebenfalls Artikel für die Ausgabe.
James veröffentlichte am 5. Februar 2013 sein erstes Solo-Album Regions of Light and Sound of God bei ATO Records.
Anfang 2014 nahm James für Lost on the River: The New Basement Tapes neben Elvis Costello, Marcus Mumford, Taylor Goldsmith und Rhiannon Giddens auf. Das Album wurde von T-Bone Burnett produziert und ist eine Zusammenstellung von teilweise von Bob Dylan geschriebenen Songs, die nie veröffentlicht wurden.
Am 5. November 2015 organisierte die David Lynch Foundation ein weiteres Benefizkonzert in der New Yorker Carnegie Hall mit dem Titel „Change Begins Within“, um transzendentale Meditation zur Stressbewältigung zu fördern. Jim James nahm zusammen mit Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo und der klassischen Gitarristin Sharon Isbin teil. Und da jeder der Interpreten aktiv transzendentale Meditation praktiziert, sprachen sie auch über deren Kraft.
James spielt sich selbst und singt in den Folgen 4 und 10 der Showtime-Serie Roadies.
Im November 2016 veröffentlichte er sein zweites Soloalbum Eternally Even.
James und Teddy Abrams schrieben gemeinsam eine Suite von Songs, die am 6. und 7. April 2018 im Kentucky Center for the Arts mit dem Louisville Orchestra aufgeführt wurden.
Am 17. April 2018 kündigte James an, dass am 29. Juni sein drittes Soloalbum mit Originalmaterial, Uniform Distortion, erscheinen wird. Zusammen mit der Ankündigung wurde auch eine Single und ein Musikvideo für den Eröffnungssong des Albums „Just A Fool“ veröffentlicht. Der Ankündigung lag auch ein Brief von James an den Fotografen Duane Michals bei, in dem er ihn bat, sein Foto „The Illuminated Man“ für das Cover des Albums zu verwenden. James entdeckte das Foto in der 1971 erschienenen Publikation The Last Whole Earth Catalog und gab an, dass es eine Hauptinspiration für das neue Album war.