Krupa begann seine Karriere Mitte der 20er Jahre in Wisconsin. 1927 debütierte er bei Einspielungen mit den Chicago Rhythm Kings und Condon/McKenzies Chicagoas und zog dann 1929 nach New York City, wo er in der Band von Red Nichols spielte. In dieser Zeit machte Krupa Plattenaufnahmen mit Bud Freeman, Miff Mole, Fats Waller, Bix Beiderbecke und Red Nichols. Ab 1934 spielte er in der Band von Benny Goodman, wo er schon bald aufgrund seines hervorragenden Spiels zu einer nationalen Berühmtheit wurde. 1938 - nach dem Erfolg beim Carnegie Hall Concert - verließ Krupa Goodmans Band und gründete seine eigene, die er bis 1943 leitete. Die wichtigsten Musiker dieses Orchestern waren Roy Eldridge, Nat Kazebier und Floyd O´Brian; als Gesangssolisten wirkten Anita O’Day und Leo Watson mit. Nach ein paar weiteren Monaten bei Goodman und Tommy Dorsey gründete Krupa eine der bis dahin größten Big Bands, zeitweise mit über 40 Musikern. Nach und nach verkleinerte er jedoch die Band wieder und spielte ab 1951 wieder in Trio- bzw. Quartett-Besetzungen. Krupa trat regelmäßig in den Jazz at the Philharmonic-Konzerten auf und leitete danach wieder ein eigenes Trio mit Charlie Ventura, Flip Philips oder Eddie Shu.

Krupa beendete seine Karriere in den späten 60er Jahren und trat bis zu seinem Leukämie-Tod 1973 nur noch selten auf.

1959 drehte Columbia den biographischen Film "The Gene Krupa Story", mit Sal Mineo in der Titelrolle. Die britische Band Apollo 440 erwies dem Musiker 1996 eine Reverenz mit ihrem Lied Krupa. Buddy Rich nennt ihn sein erstes Idol und seine größte Inspirationsquelle.