1919 fliehen Joseph und Oletchka Ginsburg vor dem Bolschewismus aus Russland über Konstantinopel und Marseille nach Paris. Joseph ist Klavierspieler in Bars und Kabaretts. Die Familie wohnt in einfachen Stadtvierteln in Paris, Serge erhält von seinem Vater eine klassische Klavierausbildung. Der Vater versucht auch, seinen Sohn für die Kunstmalerei zu interessieren.

Während der Kriegsjahre zieht die Familie aufs Land. Als Jude ist er gezwungen, den Judenstern zu tragen, und muss sich während der deutschen Besatzung drei Tage lang vor der SS im Wald verstecken. Auf dem 1975 veröffentlichten Album Rock around the bunker thematisierte er Nazideutschland und den Nationalsozialismus.

Nach dem Krieg kehrte die Familie nach Paris zurück. Nach dem Abitur schreibt sich Gainsbourg an einer Universität ein, macht aber keinen Abschluss. Er lernte seine erste Frau Elisabeth Levitsky kennen, die Kontakte zu verschiedenen Künstlern des Surrealismus hatte.

Bis zum Alter von 30 Jahren lebt Gainsbourg von gelegentlichen Aufträgen und Arbeiten. Er gibt Unterricht in Zeichnen und Gesang. Seine Hauptbeschäftigung war die Malerei. Er möchte von seiner Malerei leben können und bewunderte Genies wie Francis Bacon und Fernand Léger. Später vernachlässigte er die Malerei und arbeitete als Pianist in den Casinos an der Küste wie Deauville und in Pariser Nachtklubs.

Er war sehr beeindruckt, als er einen Auftritt von Boris Vian sieht, der eigene Texte vorträgt und sich dabei selbst auf der Trompete begleitet.

1957 begleitete er die Sängerin Michèle Arnaud auf dem Klavier während mehrerer Auftritte in verschiedenen Pariser Nachtklubs. Die Künstlerin hörte Chansons ihres Begleiters und sang diese während der gemeinsamen Auftritte. 1958 nahm sie auch einige seiner Lieder auf Schallplatte auf und war damit die erste Künstlerin von vielen, die Chansons von Gainsbourg interpretierte.

Durch diesen Erfolg bestätigt, komponierte Gainsbourg eine große Menge Chansons und sogar eine Revue. Ab diesem Zeitpunkt ist er sehr beliebt bei den Frauen, aufgrund seiner zahlreichen Affären war seine Ehe nach sechs Jahren 1957 geschieden.

Bei André Lhote und Fernand Léger lernte er malen, mit Salvador Dalí war er befreundet und erst Boris Vian brachte ihn 1958 von der Malerei ab und führte ihn zum Chanson. Daneben war der schwarzhumorige Gainsbourg, der gelegentlich das Pseudonym „Gainsbarre“ annahm, um seine charakterliche Sperrigkeit zum Ausdruck zu bringen, aber auch als Fotograf, Schauspieler und Filmemacher erfolgreich.

Gainsbourg schrieb Lieder unter anderem für Juliette Gréco, Françoise Hardy, France Gall, Brigitte Bardot, Jacques Dutronc, Catherine Deneuve, Alain Chamfort, Alain Bashung, Isabelle Adjani, Vanessa Paradis und für seine zeitweilige Frau Jane Birkin, die Mutter seiner Tochter Charlotte Gainsbourg. 1965 gewann France Gall mit einer Interpretation seiner Komposition Poupée de cire, poupée de son den Eurovision Song Contest 1965.

Er sang mit Jane Birkin die bekannten Aufnahmen Je t'aime... moi non plus (1969) und La décadence (1972). Je t'aime... wurde ein weltweiter Hit, und empörte Moralisten bis hin zur vatikanischen Zeitschrift Osservatore Romano, welche das Lied und das darauf deutlich zu hörende lustvolle Gestöhne als „beschämende Obszönität“ bezeichnete. Diesen Titel hatte Gainsbourg zuvor mit Brigitte Bardot aufgenommen, ihn jedoch nicht mehr mit ihr veröffentlicht, da die Verbindung zu BB inzwischen beendet war. Schockierend empfanden die Franzosen anfänglich seine Reggae-Version ihrer Nationalhymne La Marseillaise, die er 1978 als Aux armes et caetera veröffentlichte.

1980 veröffentlichte Gainsbourg die Novelle Evguénie Sokolov (dt. Die Kunst des Furzens), eine frivole Künstlervita, die am Beispiel eines im Sterben liegenden Malers Fluch und Segen des Genies nachzeichnet.

Er war starker Raucher. Seine Lieblingsmarke waren Gitanes ohne Filter. Bei zahlreichen Gesangs- und Fernseh-Auftritten sah man ihn ständig mit Zigarette und einem Glas Whiskey.