Avant de former My Morning Jacket, James était le chanteur et le guitariste de Month of Sundays, actuellement connu sous le nom de Mont de Sundua.
En tant que chanteur, frontman, producteur et principal auteur-compositeur de My Morning Jacket, James a contribué à définir le son du groupe. Il a obtenu un « Esky » pour le meilleur auteur-compositeur dans les Esky Music Awards 2006 d’Esquire dans le numéro d’avril.
James joue généralement de la guitare rythmique, de la guitare acoustique et occasionnellement de la guitare principale sur les chansons de My Morning Jacket. Il a joué le rôle du leader du groupe dans le biopic I’m Not There de Bob Dylan, en chantant la chanson « Going to Acapulco », avec Calexico comme groupe d’accompagnement, qui figurait sur la bande originale du film. Rolling Stone a classé James parmi ses « 20 nouveaux dieux de la guitare », avec son collègue Carl Broemel, guitariste de My Morning Jacket. En 2008, James, avec l’ancien guitariste de My Morning Jacket et son cousin Johnny Quaid, a créé le label Removador Recordings and Solutions. Le label, tel qu’il est décrit sur son site Web, fonctionne « sur le principe simple de rapporter le plus haut pourcentage annuel de joie auditive dans les cœurs et les esprits des investisseurs et des actionnaires avec facilité et commodité ». Il a contribué au chant sur l’album The Hazards of Love de The Decemberists en 2009.
Le 4 avril 2009, James s’est produit au Radio City Music Hall, à New York, lors du concert « Change Begins Within » au profit de la Fondation David Lynch.
Le 7 juillet 2009, James a sorti Tribute To, un EP reprenant des chansons de George Harrison. Une partie des recettes de l’album a été reversée au Woodstock Farm Animal Sanctuary. L’EP était disponible sur yimyames.com en téléchargement numérique et en CD/LP physique.
En 2009, James et le reste de My Morning Jacket ont joué leur propre rôle dans « My Morning Straitjacket », un épisode de la série télévisée animée American Dad !
En 2012, Rounder Records a sorti l’album hommage à Woody Guthrie, New Multitudes, qui comprend des chansons reprises par une variété de musiciens, dont James (sous le nom de Yim Yames) et Jay Farrar. James a écrit un article sur My Morning Jacket, discutant de la façon dont le groupe a obtenu son nom et de son enfance à Louisville, pour le numéro de juillet 2012 du magazine Louisville. Les membres du groupe Patrick Hallahan et Tom Blankenship ont également écrit des articles pour le numéro.
James a publié son premier album complet solo, Regions of Light and Sound of God, sur ATO Records le 5 février 2013.
Au début de 2014, James a enregistré pour Lost on the River : The New Basement Tapes aux côtés d’Elvis Costello, Marcus Mumford, Taylor Goldsmith et Rhiannon Giddens. L’album a été produit par T-Bone Burnett et est une compilation de chansons partielles écrites par Bob Dylan qui n’ont jamais été publiées.
Le 5 novembre 2015, la Fondation David Lynch a organisé un autre concert de charité au Carnegie Hall de New York nommé « Change Begins Within » pour promouvoir la méditation transcendantale pour le contrôle du stress. Jim James y a participé avec Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo et la guitariste classique Sharon Isbin. Et comme chacun des interprètes pratique activement la méditation transcendantale, ils ont également parlé de son pouvoir.
James joue son propre rôle et chante dans les épisodes 4 et 10 de la série Roadies de Showtime.
En novembre 2016, il a sorti son deuxième album solo Eternally Even.
James et Teddy Abrams ont coécrit une suite de chansons qui ont été interprétées avec le Louisville Orchestra les 6 et 7 avril 2018 au Kentucky Center for the Arts.
Le 17 avril 2018, James a annoncé la sortie le 29 juin de son troisième album solo de matériel original, Uniform Distortion. Avec l’annonce, il y avait la sortie d’un single et d’un clip pour la piste d’ouverture de l’album ‘Just A Fool’. La lettre que James a écrite au photographe Duane Michals pour lui demander d’utiliser sa photo « The Illuminated Man » pour la pochette de l’album était également incluse dans l’annonce. James a découvert la photo dans la publication de 1971 The Last Whole Earth Catalog, dont il a déclaré qu’elle était une inspiration principale pour le nouvel album.