Jackson studierte Musik am Michigan State College. Er kam durch Dizzy Gillespie, der ihn entdeckte und im Jahre 1946 in sein Sextett aufnahm, nach New York. Er sammelte schnell Erfahrungen in der Zusammenarbeit mit den wichtigsten Persönlichkeiten des Jazz in jener Zeit, darunter Dinah Washington, Lucky Thompson, Howard McGhee, Coleman Hawkins, Thelonious Monk und Charlie Parker. Von 1949 bis 1950 spielte er bei Woody Herman, um anschließend wieder bei Gillespie zu wirken. Die damalige Rhythmusgruppe in Gillespies Big Band waren er, John Lewis, Percy Heath und Kenny Clarke. Aus dieser Gruppe entstand zunächst das Milt Jackson Quartet (allerdings mit dem Bassisten Ray Brown), aus dem dann 1952 als kooperative Band das Modern Jazz Quartet entstand. Mit ihm hat Jackson bis zu seiner Auflösung 1974 und nach seiner Neugründung (1981 bis 1993) gespielt. Legendär war auch seine Mitwirkung an dem Konzert im Dezember 1954 mit Thelonious Monk und Miles Davis, das auf den Davis-Platten Bags Groove und Miles Davis And the Modern Jazz Giants veröffentlicht wurde. 1957 wurde er Dozent an der Lenox School of Jazz und wirkte bei John Lewis' Filmmusik zu Odds Against Tomorrow (1959) mit. Er ist auch auf Platten von B.B. King und Ray Charles zu hören.

Zwischen 1975 und 1985 hat Jackson für Pablo Records von Norman Granz Platten mit Gillespie oder Oscar Peterson, aber auch "Jackson, Johnson, Brown & Company" (mit J. J. Johnson, Ray Brown sowie Pianist Tom Ranier, Gitarrist John Collins und Drummer Roy McCurdy, 1983) aufgenommen.

Jackson war der erste Vibraphonist im Bebop und ist lange einer der führenden Instrumentalisten auf diesem Instrument im Modernen Jazz geblieben. Sein Können zeigt sich bei der souveränen melodischen Beherrschung komplexer Akkorddurchgänge.

Seine 1952 verfasste Komposition Bags' Groove ("Bags" war sein Spitzname) ist zu einem Standard geworden.