Gounod, Sohn eines Malers, erhielt bereits früh Musikunterricht von seiner Mutter, einer Pianistin. Er studierte zunächst privat bei Anton Reicha und ab 1836 am Pariser Konservatorium bei Jacques Fromental Halévy, Ferdinando Paer, Pierre Zimmermann und Jean-François Le Sueur. 1839 erhielt er den Rompreis für seine Kantate Fernand und reiste nach Italien, um die Musik der alten Meister, vor allem Palestrinas, kennenzulernen. 1842 verließ er Rom Richtung Wien und gelangte 1843 über Berlin und Leipzig wieder nach Paris.

Nach seiner Rückkehr wurde Gounod Kirchenkapellmeister und Organist in Paris. Er wollte eigentlich Kleriker werden und studierte dementsprechend von 1846 bis 1848 an St. Sulpice. Doch schließlich wandte er sich der Opernkomposition zu, wenn auch seine erste Oper Sapho 1851 kein großer Erfolg war. 1852 heiratete er Anna Zimmermann, die Tochter seines Klavierlehrers am Konservatorium. Von 1852 bis 1860 war Gounod Direktor des L'Orphéon de la Ville de Paris, des größten Männerchores der Stadt. Erst seine Oper Faust brachte ihm 1859 den Durchbruch als angesehener Komponist und blieb bis heute sein Meisterwerk. (In Deutschland wird diese Oper gerne unter dem Titel Margarete gespielt, um den Unterschied zu Goethes Faust zu unterstreichen.) Gounod wurde einer der angesehensten Vertreter der typisch französischen „Opéra lyrique“, obwohl die meisten seiner 12 Opern heute nicht mehr auf dem Spielplan stehen.

Auf Grund des deutsch-französischen Krieges 1870/71 lebte er von 1870 bis 1874 in London und gründete dort den „Gounod's Choir“, aus dem später die „Royal Choral Society“ hervorging. Im Alter wandte sich der tief religiöse Gounod erneut der Kirchenmusik zu. Seine Oratorien machten ihn zu einem reichen Mann, doch ihr ans Sentimentale grenzender lyrischer Stil ließ sie schnell in Vergessenheit geraten. Berühmt und berüchtigt gleichermaßen ist seine Méditation sur le 1er prélude de Bach, eine Melodie, die er 1852 auf das Präludium C-Dur des 1. Teils des Wohltemperierten Klaviers von Johann Sebastian Bach für Violine und Klavier schrieb und 1859 mit dem Text des Ave Maria unterlegte.

Einem breiten Publikum bekannt ist die Titelmelodie der US-amerikanischen Fernsehserie Alfred Hitchcock presents, die das Hauptthema aus Gounods Marche funèbre d'une marionette („Trauermarsch einer Marionette“) zitiert.

Charles Francois Gounod starb am 18. Oktober 1893 in Saint-Cloud.