Levin wuchs im Bostoner Vorort Brookline auf und begann bereits im Alter von zehn Jahren mit dem Spiel des Kontrabass. In der Highschool spielte er Tuba, mit der er sogar einige Solos mit der Schulband hatte und gründete eine Barbershop-Band. Sein Hauptinteresse lag allerdings im klassischen Bereich am Klavier, an dem er, im Alter von ca. 15 Jahren, bei einem Auftritt des Greater Boston Symphony Youth Orchestra auf dem Rasen des Weißen Hauses für John und Jackie Kennedy spielte.

Anschließend besuchte er die Eastman School of Music in Rochester und spielte bei den Rochester Philharmonikern. Auf der Schule lernte er Steve Gadd kennen, der ihm beibrachte, auf höherem Niveau Jazz und Rock zu spielen. Er tauschte seinen Ampeg-Baby-Bass gegen einen alten Fender Precision Bass, der lange Zeit lang sein einziges Instrument bleiben sollte.

1970 zog Levin nach New York City und trat einer Band bei, die Aha, the Attack of the Green Slime Beast hieß und in der auch Don Preston von The Mothers of Invention spielte. Kurz danach begann er eine Karriere als Sessionmusiker und spielte im Laufe der 1970er auf vielen Alben den Bass.

Im Jahre 1978 zog Tony Levin nach Woodstock, wo er der Band L'Image beitrat. Die Band, in der unter anderem auch Steve Gadd, Mike Mainieri und Warren Bernhardt spielten, trennte sich bereits ein Jahr später. Levin wohnt aber weiterhin in Woodstock.

Als er gegen Ende der 1970er mehr live spielen wollte, trat er der Band Peter Gabriels bei, den er durch Bob Ezrin kennengelernt hatte. Mit Ezrin zusammen hatte er Alice Coopers Welcome to My Nightmare und Lou Reeds Berlin aufgenommen. Seit damals ist Levin, sowohl live als auch im Studio, Gabriels fester Bassist. Auf dem ersten Album von Peter Gabriel spielte Levin erneut ein wenig Tuba und inszenierte eine kurze Barbershop-Version eines Songs. Bei den Aufnahmen zu diesem Album traf Levin auch Robert Fripp und wurde, nachdem er 1980 auf dessen Soloalbum Exposure gespielt hatte, Mitglied von King Crimson, wo er bis zur Jahrtausendwende verblieb.

Tony Levin gilt als humorvoller und technisch interessierter Mensch. Bei allen Tourneen, an denen er bislang beteiligt war, hat er viele Foto- und Filmaufnahmen gemacht. Des Weiteren gehört er zu ersten aus dem Musikgeschäft stammenden Nutzern des Internets, da er bereits 1983 mit einem Tandy TRS 80 E-Mailnachrichten mit den Managern von King Crimson und Peter Gabriel austauschte, um seine Auftritte auf Touren dieser Künstler zu koordinieren.

Levins Bassspiel wird als sehr innovativ betrachtet. Er benutzt häufig den Chapman Stick und den NS Upright Bass. Zudem war er der erste, der die Basssaiten mit kurzen Drumsticks spielte. Levin nennt diese Spielweise Funk Fingers. Er war unter anderem für die bekannte Basslinie aus dem Hit Sledgehammer verantwortlich. Mittlerweile hat er in Zusammenarbeit mit OLP by Music Man seinen eigenen Signatur-Bass in seiner Lieblingsfarbe Peach entwickelt.

Im Laufe seiner langen Karriere nahm Levin bislang vier Soloalben auf, die allesamt von seinem kraftvollen Bassspiel geprägt sind. Ein weiteres Album nahm er mit der Tony Levin Band auf.

Am bekanntesten ist Levin durch seine langjährige Zusammenarbeit mit Peter Gabriel. Im Laufe seiner Karriere spielte er, neben den oben erwähnten, außerdem u.a. mit folgenden Bands und Musikern zusammen: Anderson, Bruford, Wakeman, Howe, California Guitar Trio, David Bowie, Jim Weider, John Lennon, King Crimson, Liquid Tension Experiment, ... Mehr in der Wikipedia