Prior para formar My Morning Jacket, James foi o vocalista e guitarrista do Month of Sundays, atualmente conhecido como Mont de Sundua.
Como vocalista, frontman, produtor e compositor principal do My Morning Jacket, James tem sido fundamental na definição do som da banda. Ele recebeu um “Esky” para melhor compositor no Esky Music Awards 2006 da Esquire na edição de abril.
James tipicamente toca guitarra rítmica, violão, e ocasionalmente guitarra principal nas músicas do My Morning Jacket. Ele interpretou o papel do líder da banda na biografia de Bob Dylan I’m Not There, cantando a música “Going to Acapulco”, com Calexico como sua banda suporte, que foi apresentada na trilha sonora do filme. A Rolling Stone listou James entre seus “20 New Guitar Gods”, junto com o guitarrista Carl Broemel, do My Morning Jacket. Em 2008, James, juntamente com o ex-guitarrista do My Morning Jacket e primo Johnny Quaid, formou a gravadora Removador Recordings and Solutions. A gravadora, como descrito em seu site, funciona “com o simples princípio de devolver o maior percentual anual de alegria aural aos corações e mentes dos investidores e acionistas com facilidade e conveniência”. Ele contribuiu com vocais no álbum The Decemberists 2009 The Hazards of Love.
Em 4 de abril de 2009, James se apresentou na Radio City Music Hall, Nova York, no concerto “Change Begins Within”, beneficiando a David Lynch Foundation.
Em 7 de julho de 2009, James lançou Tribute To, um EP cobrindo músicas de George Harrison. Uma parte dos lucros do álbum foi doada para o Woodstock Farm Animal Sanctuary. O EP estava disponível em yimyames.com tanto como um download digital como um CD/LP.
Em 2009, James e o resto de My Morning Jacket tocaram eles mesmos em “My Morning Straitjacket”, um episódio da série de televisão animada American Dad!
Em 2012, Rounder Records lançou o álbum de tributo ao Woody Guthrie New Multitudes, que apresenta músicas cobertas por uma variedade de músicos incluindo James (como Yim Yames) e Jay Farrar. James escreveu um artigo no My Morning Jacket, discutindo como a banda ganhou seu nome e cresceu em Louisville, para a edição de julho de 2012 da revista Louisville. Os companheiros da banda Patrick Hallahan e Tom Blankenship também escreveram artigos para a edição.
James lançou seu primeiro álbum solo, Regions of Light and Sound of God, na ATO Records, em 5 de fevereiro de 2013.
No início de 2014 James gravou para Lost on the River: The New Basement Tapes, ao lado de Elvis Costello, Marcus Mumford, Taylor Goldsmith e Rhiannon Giddens. O álbum foi produzido por T-Bone Burnett e é uma compilação de músicas parciais escritas por Bob Dylan que nunca foram lançadas.
Em 5 de novembro de 2015, a Fundação David Lynch organizou outro concerto beneficente no Carnegie Hall de Nova York chamado “Change Begins Within” para promover a meditação transcendental para controle do estresse. Jim James participou com Katy Perry, Sting, Jerry Seinfeld, Angelique Kidjo, e a guitarrista clássica Sharon Isbin. E como cada um dos artistas pratica ativamente meditação transcendental, eles também falaram com seu poder.
James se toca e canta nos episódios 4 e 10 da série Showtime Roadies.
Em novembro de 2016 ele lançou seu segundo álbum solo Eternally Even.
James e Teddy Abrams co-escreveram um conjunto de músicas que foram apresentadas com a Orquestra de Louisville nos dias 6 e 7 de abril de 2018 no Kentucky Center for the Arts.
Em 17 de abril de 2018, James anunciou o lançamento de seu terceiro álbum solo de material original, Uniform Distortion, em 29 de junho de 2016. Junto com o anúncio foi o lançamento de um single e vídeo musical para a faixa de abertura do álbum, ‘Just A Fool’. Além disso, junto com o anúncio estava uma carta que James escreveu para o fotógrafo Duane Michals solicitando o uso de sua fotografia ‘The Illuminated Man’ para a arte da capa do álbum. James descobriu a foto na publicação de 1971 The Last Whole Earth Catalog, que ele declarou ser uma inspiração primária para o novo álbum.