Seine erste künstlerische Ausbildung erhielt Legrenzi durch seinen Vater, einem Geiger und Komponisten. Bereits mit 19 Jahren bekommt Legrenzi 1645 eine Anstellung als Organist der Kirche San Maria Maggiore in Bergamo. Als er 1651 zum Priester geweiht worden war, wurde er dort auch als Seelsorger eingesetzt. Mit dem ebenfalls hier tätigen Kapellmeister Maurizio Cazzati pflegte er eine enge Zusammenarbeit. Ihre Triosonaten im Kirchensonatenstil wurden während der Messen aufgeführt.

Aus dieser Zeit stammen seine ersten instrumental Werke, welche ihn gerade in der Kammermusik als Vorgänger von Arcangelo Corelli zeigen.

1656 wurde er als Kapellmeister an die Accademia dello Spirito Sancto nach Ferrara berufen. Dieses Amt hatte Legrenzi bis 1665 inne. Dort in Ferrara begann er auch unter dem Einfluss des Librettisten Hippolito Bentivoglio Opern zu komponieren. Legrenzi versuchte immer wieder, besser dotierte Ämter zu bekommen. Er bewarb sich vergeblich in Venedig (1665), Mailand (1669), Parma (1670), Bologna (1671), und das Amt eines Hofmusikers am französischen Hof konnte er krankheitshalber nicht annehmen.

1671 ließ sich Legrenzi in Venedig nieder. Dort wurde er 1681 zum Vize-Kapellmeister der Markuskirche berufen, und vier Jahre später avancierte er dort zum Maestro di capella. Zu seinen Schülern gehörten Antonio Lotti, Domenico Gabrielli, Antonio Caldara und möglicherweise der junge Antonio Vivaldi.