Schon mit drei Jahren begann ihn sein Vater Allaudin Khan zu unterrichten, zunächst im Gesang, später in seinem Hauptinstrument, der Sarod. Nach eigenen Angaben erhielt er über 20 Jahre lang täglich bis zu 16 Stunden Unterricht.

Mit 13 Jahren trat Khan das erste Mal öffentlich in Allahabad auf. Mit Anfang 20 wurde er Hofmusiker beim Maharaja von Jodhpur. Dort wurde ihm der Titel Ustad (Virtuose) verliehen. Zeitweise war er Lehrer von Nikhil Banerjee.

Auf Einladung von Sir Yehudi Menuhin kam er 1955 erstmals in die USA und machte die klassische indische Musik im Westen bekannt. Er lehrt klassische indische Musik im Ali Akbar College of Music, Marin County, Kalifornien und in Basel (Schweiz).

Ali Akbar Khan hat die Musik für den Bernardo-Bertolucci-Film Little Buddha und anderen Filmen komponiert. Mit dem Jazzsaxophonisten John Handy hat er die Platten Karuna Supreme (1975, mit u.a. Zakir Hussain) und Rainbow (1980, mit u.a. L. Subramaniam) aufgenommen. Auf zahlreichen Einspielungen ist sein Lebenswerk erhalten.