Die Originalbesetzung der Band bestand aus Jim Fox, Schlagzeug, Tom Kriss, E-Bass, Ronnie Silverman, Gitarre, Phil Giallombardo, Keyboards und Glen Schwartz, Gitarre. In dieser Besetzung wurde allerdings nie ein Album veröffentlicht. 1968 ersetzte Joe Walsh Glen Schwartz, der die Gruppe „Pacific Gas&Electric“ gründete. Mit Walsh erfolgte die erste Veröffentlichung „Yer-Album“. 1969 wurde das Album „The James Gang rides again“ veröffentlicht mit den beiden Hits „Funk#49“ und „The Bomber“. Die James Gang tourte als Vorgruppe von The Who während deren England Tour. Nach der Veröffentlichung von zwei weiteren Alben, „Thirds“ und das Live Album „James Gang live in Concert“, verließ Walsh die Band, um nach einer kurzen Solokarriere zu den The Eagles zu stoßen.

Nach einigen weiteren Neu-/Umbesetzungen, u.a. mit Tommy Bolin, löste sich die Band 1976 auf. In der Besetzung Walsh/Peters/Fox kam es 1996 zu einer Re-Union, mit Auftritten in der „Drew Carey Show“ (1988-89) und der „Rock and Roll Hall of Fame“ (2001). 2006 tourte die Band in den USA, mit Live Auftritten in der „Howard Stern Radio Show“.