Karl Amadeus Hartmann war der jüngste Sohn des Lehrers und Malers Friedrich Richard Hartmann und dessen Frau Gertrud Hartmann. Er wuchs in einem bildungsbürgerlichen Elternhaus auf. Der älteste seiner drei Brüder war der Porträtmaler Adolf Hartmann.

1919 begann er eine Lehrerausbildung in Pasing, die er jedoch nach drei Jahren abbrach. Schon damals war die Musik sein eigentlicher Berufswunsch. Zwischen 1924 und 1929 studierte Hartmann an der Staatlichen Akademie der Tonkunst in München Posaune und Komposition bei Joseph Haas. Erste Werke stellte er ab 1928 im Rahmen des Opernstudios der Bayerischen Staatsoper und in Konzerten der "Juryfreien" einem größeren Publikum vor. Experimente mit dadaistischen und vom Jazz beeinflussten Kompositionen fielen ebenfalls in diese Zeit. Jedoch vernichtete Hartmann diese Werke später. Darüber hinaus lernte er Hermann Scherchen kennen, der zu einem Vorbild werden sollte und den er auch während des Zweiten Weltkrieges mehrfach in der Schweiz traf.

Im Jahr 1934 heiratete er Elisabeth Reussmann, die er im Kreis der Juryfreien kennen gelern hatte. Im folgenden Jahr kam Sohn Richard zur Welt.

1933 komponierte er sein Orchesterwerk Miserae, das er als Ausdruck des Protests gegen den Nationalsozialismus verstand. Ab diesem Zeitpunkt wurden seine Stücke nicht mehr aufgeführt; ein Zustand, der bis zum Fall des Nationalsozialismus 1945 anhielt. Hartmann selbst wurde nicht verfolgt, zog sich aber in die "innere Emigration" zurück, komponierte "für die Schublade" und lebte vor allem von der Unterstützung durch seine Schwiegereltern. In diese Zeit fiel unter anderem die Komposition des 1. Streichquartetts (1933), der 1. Sinfonie (1935/1936) und des Concerto funèbre (1939). Einigen Einfluss auf sein weiteres Werk hatte das Studium bei Anton Webern in Maria Enzersdorf bei Wien während des Krieges.

1945 wurde Hartmann zum Dramaturgen der bayerischen Staatstheater berufen. In den Folgejahren veröffentlichte er, größtenteils unter dem Arbeitstitel Symphonie, seine überarbeiteten Werke. Daneben gründete er mit Unterstützung der Alliierten und des neu geschaffenen Bayerischen Rundfunks die Münchner Konzertreihe Musica Viva für die Aufführung avangardistischer Musik, eine Aufgabe, der er bis zu seinem Tod viel Aufmerksamkeit schenkte. Die Reihe existiert noch heute.

Nach dem Krieg tilgte er die meisten politischen Bezüge aus seinem Werk und versöhnte sich nach anfänglichen Auseinandersetzungen mit den während der Nazizeit aktiv gebliebenen Komponisten Carl Orff und Werner Egk. Obwohl er der Restauration in der Bundesrepublik kritisch gegenüberstand, schlug er eine Einladung der DDR zur Übersiedlung aus.

Mit der steigenden Anzahl von Aufführungen seiner Werke stieg auch seine Anerkennung, die sich in vielen Ehrungen (u.a. der Musikpreis der Stadt München und die Ehrendoktorwürde des Spokane Conservatory, Washington) ausdrückte.

Am 5. Dezember 1963 starb Karl Amadeus Hartmann an den Folgen einer Krebserkrankung.