Teagardens Bruder Charlie und seine Schwester Norma wurden wie er professionelle Musiker. Seine Mutter gab ihm ersten Klavierunterricht mit fünf Jahren, sein Vater war ein Amateurtrompeter in einer Blaskapelle (Brass Band) und gab ihm anfangs Unterricht auf dem Baritonhorn, was Teagarden jedoch im zehnten Lebensjahr aufgab und zur Posaune wechselte. Seine ersten Jazzeinflüsse waren schwarze Gospelgesänge, der Blues, den er mit den Jahren mehr und mehr verinnerlichte, und die Musik der Louisiana Five.

Sein Stil war größtenteils autodidaktisch erlernt, und er entwickelte dadurch einige ungewöhnliche, aber auch sehr virtuose neue Spieltechniken, wie zum Beispiel das Spielen auf alternativen Zugpositionen und mit Lippentriller. Er wird weithin als der innovativste Jazz-Posaunist der Prä-Bop-Ära bezeichnet und tat viel dafür, die Rolle der Posaune über den alten Tailgate-Stil der New Orleans-Brass Bands hinaus zu erweitern.

Seine professionelle Karriere begann bereits im Jahr 1921 im Alter von sechzehn Jahren, wo er bis 1923 in der Band von Peck Kelly spielte. Danach tourte er durch die amerikanischen Südstaaten mit verschiedenen Lokalgruppen.

Er überraschte die Szene durch sein virtuoses Spielen, als er 1928 in New York auftauchte, und obwohl das Land in den folgenden Jahren in einer tiefen Wirtschaftskrise steckte, hatte er keine großen Probleme, mit Musik sein Geld zu verdienen. So hatte er in diesen Jahren verschiedene Schallplattenaufnahmen, u.a. mit Eddie Condon, Red Nichols, Wingy Manone und Louis Armstrong.

Er nahm bis 1933 häufig mit Ben Pollack's Orchester Schallplatten auf und verließ diese Band, nachdem er einen Fünf-Jahres-Vertrag mit dem Paul-Whiteman-Orchester unterzeichnete. Während dieser Zeit hatte er 1936 dennoch eine kurze Periode mit einer kleinen Gruppe zusammen mit seiem Bruder und Frank Trumbauer.

Als er 1938 schließlich das Paul-Whiteman-Orchester verließ, stellte er eine eigene Big Band zusammen und nahm einige Schallplatten auf, wobei sich der Erfolg allerdings in Grenzen hielt, da zu dieser Zeit die Big Band-Ära auf ihrem Höhepunkt und der Wettbewerb immens war.

1947 schloss er sich Louis Armstrong und seinen "All Stars" an, was vier sehr produktive Jahre zur Folge hatte: Die Gruppe nahm nahezu zehn Alben auf und hatte einen riesigen Erfolg beim Publikum.

Jedoch entschloss sich Teagarden im Jahr 1951, Armstrong zu verlassen und wieder eigene Gruppen zu leiten, darunter speziell ein Sextett, in welchem er noch für den Rest seiner Karriere spielte. Während dieser Zeit arbeitete er unter anderem wieder mit seinem Bruder Charlie, mit Jimmy McPartland und dem Pianisten Earl Hines zusammen.

Er hatte verschiedene Tourneen in den folgenden Jahren, darunter in Europa im Jahr 1957 und in Asien (1958 bis 1959); zudem spielte er 1963 mit seinem Bruder und seiner Mutter auf einem gemeinsamen Konzert beim Jazzfestival in Monterey (Kalifornien).

Jack Teagarden starb 1964 in New Orleans an einer Lungenentz