Schon während seiner Schulzeit spielte Goldberg Piano in verschiedenen Bands und Clubs der Chicagoer North Side. Einer seiner Freunde war der Gitarrist Mike Bloomfield, der ihn schließlich zum Blues bekehrte.

Goldberg spielte mit Blues-Legenden wie Howlin' Wolf und Muddy Waters, aber auch mit jungen Blues-Fans wie Steve Miller, Charlie Musselwhite, Harvey Mandel, Nick Gravenites, Robbie Robertson, Mitch Ryder, Jimi Hendrix und Paul Butterfield.

1965 begleitete Goldberg Bob Dylan, als dieser auf dem Newport Folk Festival die akustische durch die elektrische Gitarre ersetzte und den Folk Rock aus der Taufe hob. 1966 erschien ein Album der Barry Goldberg Blues Band.

Goldberg war Mitglied von Mike Bloomfields Band Electric Flag, die 1967 Monterey Pop Festival ihren ersten Auftritt hatte. Im gleichen Jahr begleite Goldberg Al Kooper und Mike Bloomfield auf deren Album Super Session. 1969 spielten Goldberg und Bloomfield das vielbeachtete Album Two Jews Blues ein.

In den 1970ern war Goldberg einer der Namensgeber des Projekts KGB. In der Folgezeit schrieb er immer wieder Musik für Film- und Fernsehproduktionen. Gelegentlich trat er mit einer eigenen Band auf oder begleitete Musikerkollegen bei ihren Auftritten.