Beide Eltern traten als Entertainer in den Vaudeville-Musiktheatern der Jahrhundertwende auf, so dass Fernand bereits im Kindesalter auf der Bühne stand. Als Jugendlicher versuchte er sich mit Gelegenheitsarbeiten über Wasser zu halten, um später eine Bankkaufmannlehre abzuschließen. Doch mit 21 Jahren kehrte er zu den Wurzeln seiner Familie zurück. Als Sänger trat er fortan in den Cafés seiner Heimatstadt auf.

1928 zog es ihn nach Paris, wo er schon bald in zahlreichen Revuen und Operetten mitwirken konnte. Zwei Jahre später debütierte er das erste Mal in einem Film. Seinen Durchbruch erzielte er 1931 mit Der Tugendjüngling der Madame Husson.

In Deutschland ist er hauptsächlich durch fünf Don-Camillo-Filme bekannt, die nach den Büchern von Giovanni Guareschi gedreht wurden. In diesen Filmen ist er die Hauptfigur Don Camillo, Pfarrer eines kleinen Ortes in der italienischen Po-Ebene. Gino Cervi spielt den kommunistischen Bürgermeister Peppone des Ortes. Die beiden streiten als ewige Widersacher, die jedoch bei allen Gegensätzen stets das Wohl ihres Dörfchens Brescello im Auge haben und sich unerwartet oft gegen die äußeren Umstände verbrüdern. Guareschi hatte eine Mitbestimmung bei der Verfilmung erwirkt und Fernandel ausgewählt.

In Frankreich war er während 40 Jahren einer der beliebtesten Film- und Bühnenschauspieler und Sänger. Der Mann mit dem Pferdegebiss spielte in seinen 125 Filmen meistens die Hauptrollen.

In dem 1954 gedrehten Le Mouton à cinq pattes, in dem er Fünflinge darstellt, die anlässlich eines Jubiläums zu ihrem Vater - den er auch darstellt - geordert werden, kommt ein kleiner Seitenhieb auf die Don-Camillo-Filme vor, in dem einer der Fünflinge ein Pfarrer ist, der von seiner Gemeinde aufgrund der Ähnlichkeit mit dem Don-Camillo-Darsteller mit groben Scherzen dazu gebracht wird, eine Gemeinde zu wählen, die weit weg von der Zivilisation ist. In dem 1966 gedrehten Film Geld oder Leben spielen er und Heinz Rühmann zwei Bankangestellte, die ein Auge auf die krummen Geschäfte ihres Chefs haben und das Schlimmste verhindern wollen. Während Rühmann der überaus korrekte Oberbuchhalter ist, spielt Fernandel, der schließlich auf eigene Erfahrungen als Bankangestellter zurückblicken konnte, gewohnt schlitzohrig den Kassierer.

Während der Dreharbeiten zu einem sechsten, nie fertig gestellten Don-Camillo-Film starb Fernandel am späten Abend des 26. Februar 1971 in der Avenue Foch in Paris an Krebs. Er wurde auf dem Friedhof Passy in Paris begraben.