Roy Eldridge erhielt von seinem älteren Bruder Joe den ersten Trompetenunterricht. Beeinflusst wurde er vom seinerzeit ignorierten, da zu fortschrittlichen Trompetenstil des Jabbo Smith. Eldridge spielte bis Anfang der 1930er Jahre in einer Reihe unbekannterer Orchester, bevor er zu Teddy Hill und bald darauf zu McKinney’s Cotton Pickers stieß. 1935 wurde er Mitglied der damals führenden Big Band von Fletcher Henderson, wo er bis 1937 blieb. In dieser kurzen Zeit etablierte er sich als einer der größten Jazztrompeter aller Zeiten.

Bis 1944 spielte er oft in kleinen Besetzungen mit verschiedenen Größen der Swing-Ära wie Benny Goodman, Gene Krupa (ab 1941, berühmt sein Duett mit Anita O’Day), Coleman Hawkins, Chu Berry und Billie Holiday. 1944/45 tourte er als Solist mit der populären Big Band von Artie Shaw. Nach dem 2. Weltkrieg spielte er zeitweise wieder bei Goodman (Paris 1950) und Krupa sowie in den Jazz at the Philharmonic Konzerten. Wie Charles Mingus, Jo Jones und Eric Dolphy gehörte auch er zu den Musikern, die 1960 ein Gegenfestival zum Newport Jazz Festival organisierten (gemeinsame Plattenaufnahme als Newport Rebells). Er machte - mit wechselndem Erfolg - zahlreiche Aufnahmen mit Jazzgrößen der 1950er, 1960er und 1970er Jahre. In den 1970er Jahren spielte er regelmäßig im Jimmy Ryans in New York. 1980 erlitt er einen Schlaganfall, und starb 1989.

Wegen seiner Kleinwüchsigkeit bekam er den Spitznamen Little Jazz.

Eldridges Improvisationen bestechen heute noch sowohl durch technische Brillanz als auch durch ihr einmalig expressives und emotionales Feuer. Sein Spiel hat den jungen Dizzy Gillespie hörbar und nachhaltig beeinflusst. Roy Eldridge gilt als das Bindeglied zwischen traditionellem und modernem Jazz.