Moustaki wurde als Sohn des jüdisch-griechischen Buchhändlers Nissim Mustacchi und dessen Frau Sara in Alexandria, Ägypten geboren. Im kosmopolitischen Klima dieser Stadt lernte er neben seiner griechischen Muttersprache Italienisch, Arabisch und Französisch. Aufgrund der Affinität seiner Eltern zur französischen Kultur besuchte Moustaki eine französische Schule. Dort, und bei Konzerten, die er mit seinen Eltern besuchte, kam er in Kontakt mit dem französischen Chanson. Nach Beendigung der Schule ging er 1951 nach Paris. In dieser Zeit begann er, erste Chansons zu schreiben. Er begegnete Georges Brassens, dessen Ermutigung für Moustaki den Ausschlag gab, sich für eine Karriere als Musiker zu entscheiden. 1958 lernte er ein weiteres Idol seiner Jugend, Edith Piaf, kennen und begann mit der wesentlich älteren Frau eine kurze Liebesaffaire. Für Piaf schrieb er das bekannte Chanson Milord.

Die Werke des Musikers, Liedermachers und Dichters wurden von den Größten des Chanson gesungen: Edith Piaf, Barbara, Serge Reggiani, Dalida, Yves Montand, Juliette Gréco und Henri Salvador. In den 60er Jahren schrieb er für sie zahlreiche Chansons. Ende der 1960er Jahre arbeitete er eng mit der französischen Sängerin Barbara zusammen und ging mit ihr gemeinsam auf Tournee. Als Barbara eines Abends erkrankte, gab er 1968 sein erstes Solokonzert und begann damit seine Solokarriere als Sänger.

Georges Moustaki ist bis heute regelmäßig auf Tournee und auch in Deutschland zu Gast.

Zu seinen berühmtesten Chansons zählen Ma liberté, Le métèque, Ma solitude, En Mediterranée und Nadjejda.