Carmichael wuchs in ärmlichen Verhältnissen auf. Sein Vater war Arbeiter und zog mit der Familie immer wieder auf Arbeitssuche durch den Mittleren Westen. Zentrum der Familie blieb aber Bloomington, wo das Klavier seiner Mutter Lida stand, die durch Spiel in Kinos und auf Universitäts-Tanzbällen Geld hinzuverdiente. Nach seinen eigenen Worten war Ragtime sein Schlaflied. Carmichael studierte ab 1920 Jura an der Indiana University, spielte aber schon nebenbei in einer eigenen Band (Carmichaels Colleges) - das Jazz Fieber hatte ihn gepackt seit er 1919 in Indianapolis, wohin die Familie 1916 gezogen war, die Louie Jordan Band hörte. Ein Wendepunkt kam, als er 1922 Bix Beiderbecke hörte, der ihn dazu anregte selbst zu komponieren und ein enger Freund wurde. 1926 machte er seinen juristischen Abschluss und arbeitete kurz als Anwalt in West Palm Beach in Florida. Nach mäßigen Erfolgen mit Washboard blues (1927 vom Whiteman Orchester gespielt) und Riverboat shuffle (von Carmichael zunächst Freewheeling genannt), den er für Bix schrieb, versuchte er sein Glück 1929 in New York, musste sich aber zunächst als kleiner Anleihen-Verkäufer für Wallstreet Broker über Wasser halten. Der Durchbruch kam 1930, als Jazz-Größen wie Duke Ellington, Louis Armstrong und die Dorsey Brüder die von ihm komponierten Standards Georgia on My Mind, Lazy River und Rockin Chair aufgriffen (und natürlich sein zuerst im Oktober 1927 mit seiner Band aufgenommenes Stardust). In den 1930er Jahren wurde Carmichael selbst mit dem neuen Medium Radio und zahlreichen Aufnahmen für das damals führende Label Victor zum Star. Er tat sich mit dem Texter Johnny Mercer zusammen und beide hatten 1933 einen großen Hit mit Lazy Bones. 1936 ging er nach Hollywood, wo er auch in Filmen wie To have and have not 1942 (mit Lauren Bacall und Humphrey Bogart, Carmichael als Klavierspieler, mit Songs wie How little we know, Hongkong blues) und The best years of our lives (1946) auftrat. 1946 hatte er drei Hits in den Top Four und bekam eine eigene Radio-Show. 1951 gewann er mit Mercer einen Oscar (für In the cool cool cool of the evening). Mit The Saturday night review hatte er eine eigene TV Show. 1959/60 spielte er den Jonesy in der Western-TV Serie Laramie. Er schrieb weiter Songs, veröffentlichte 1971 ein Song-Buch für Kinder (Hoagy Carmichael Music Shop), spielte Golf und sammelte Münzen. 1981 starb er nach einem Herzanfall im Eisenhower Medical Center in Rancho Mirage.

1936 bis 1955 war er mit Ruth Meinardi verheiratet, mit der er zwei Söhne hatte.

Mit Mercer versuchte er sich 1939 auch einmal im Musical-Geschäft, Walk with Music wurde aber kein großer Erfolg.

1950 spielte er auch in der Film-Biografie seines 1931 gestorbenen Freundes Bix Beiderbecke Young Man With a Horn mit.