Jimmie Davis entstammte einer armen Farmerfamilie. Trotz widriger Umstände schaffte er einen Schulabschluss, der ihm ein Studium an der Louisiana State University ermöglichte. Während seiner Studienzeit trat er verschiedentlich als Sänger in lokalen Radiostationen auf. Nach seinem Abschluss als Bachelor 1927 lehrte er an einem College Geschichte.

1929 erhielt er vom Victor Label einen Schallplattenvertrag. Als einer von vielen Jimmie-Rodgers-Imitatoren spielte er fast vierzig Singles ein. Es war die Zeit der wirtschaftlichen Depression, und die Verkaufszahlen waren entsprechend schlecht. Stilistisch entwickelte sich Davis zunehmend in Richtung Blues. Einen gewissen Bekanntheitsgrad "erarbeitete" er sich durch schlüpfrige Texte. Wirkliche Erfolge stellten sich erst nach einem Wechsel zum Decca Label ein. 1934 gelang ihm dort mit Nobody's Darlin' But Mine der erste Hit.

Parallel zu seinen musikalischen Aktivitäten betätigte sich Davis politisch. 1938 wurde er zum Polizeichef von Shreveport gewählt. Zwei Jahre später gelang ihm der musikalische Durchbruch. Gemeinsam mit Charles Mitchell schrieb er den Welthit You Are My Sunshine, der von nahezu allen Großen der damaligen Zeit gecovert und später zu einer der offiziellen Hymnen Louisianas wurde. Dank seiner neuen Popularität wurde er 1942 Innenminister seines Heimatstaats. Die neue Aufgabe hielt ihn nicht davon ab, in mehreren Hollywood-Western mitzuwirken. 1944 wurde er zum Gouverneur Louisianas gewählt.

Während seiner vierjährigen Amtszeit setzte er seine musikalische Karriere mit unverminderter Energie fort. Mehrere seiner Singles schafften es in die Top Ten der Country-Charts. Ende der vierziger Jahre wandte er sich der Gospel-Musik zu. 1960 kandidierte der Demokrat erneut für das Amt des Gouverneurs und gewann. Es war die Zeit der Rassenunruhen. Davis, ein Befürworter der Segregation, gewann, nahm dann aber eine gemäßigte Haltung ein, die viel zur Entspannung der aufgeheizten Stimmung beitrug.

In regelmäßigen Abständen wurden weiterhin Schallplatten veröffentlicht. 1969, nach über vierzig Jahren, lief sein Vertrag mit Decca aus. Bei einem kleineren Label machte er weiter. 1971 wurde er in die Nashville Songwriters Hall of Fame aufgenommen, ein Jahr später in die prestigeträchtige Country Music Hall of Fame. Davis blieb bis in die neunziger Jahre hinein aktiv. Am 5. November 2000 verstarb er im Alter von 101 Jahren. Eine der längsten Karrieren der Musikgeschichte hatte ihr Ende erreicht.