Zunächst lernte Zoller Geige, Kontrabass und Flügelhorn zu spielen, bevor er sich endgültig der Gitarre zuwandte. Seine Livekarriere begann in den Jazzclubs von Budapest nach dem Ende des Zweiten Weltkrieges. Ungarn verließ er 1948 kurz vorm Schließen des Eisernen Vorhangs mit dem Ziel Wien. Nach Zusammenspiel mit der Pianistin und Akkordeonistin Vera Auer (bis 1954) und Tourneen mit Joe Zawinul kam er in die Bundesrepublik Deutschland, wo er zunächst mit Dave Amram, Albert Mangelsdorff und Jutta Hipp, später dann mit Hans Koller und Oscar Pettiford arbeitete. 1959 siedelte er in die Vereinigten Staaten von Amerika über, wo er (gemeinsam mit Ornette Coleman und Don Cherry) die Lenox School of Jazz besuchte. Dort kam der Kontakt mit freierem Jazz zustande.

In den Combos von Benny Goodman, Chico Hamilton, Stan Getz und Herbie Mann spielte Zoller, bevor er eigene Gruppen mit Don Friedman, Dave Pike, Herbie Hancock, Ron Carter und Lee Konitz gründete. Daneben standen Plattenaufnahmen mit Klaus Doldinger. Seit 1965 widmete Zoller sich verstärkt dem freien Jazz, nicht ohne auch andere Strömungen der späteren Jahre mit zu übernehmen. Stets schwang ein folkloristisch-ungarischer Einfluss mit. Daneben machte Zoller sich einen Namen mit Filmmusiken für die Verfilmungen von „Das Brot der frühen Jahre“ (Heinrich Böll) und von „Katz und Maus“ (Günter Grass) sowie mit einem Jazz & Lyrik-Projekt von Joachim-Ernst Berendt (mit Emil Mangelsdorff, Peter Trunk und Klaus Weiss), sowie dem Rezitator Gert Westphal. 1979 und 1980 spielte er drei Duoplatten mit Jimmy Raney, seinem Vorbild auf der Gitarre, ein.

In dem 1972 von ihm gegründeten „Vermont Jazz Center“ lernte u. a. Pat Metheny sein Handwerk. Zoller entwickelte auch einen Tonabnehmer für die elektrische Gitarre für die Marke "Shadow" sowie Gitarren in Zusammenarbeit mit den Marken Framus und Höfner. Erstere hat ein Attila-Zoller-Signature-Gitarrenmodell unter der Bezeichnung „Framus AZ“ im Programm.