Er wurde am 27. November 1867 in Paris geboren und entstammte einer weit verzweigten Familie von Erfindern, Ingenieuren, Industriellen und Künstlern, die über Jahrhunderte im elsässischen Mulhouse ansässig war. Schon sehr früh war er mit Musik in Berührung gekommen. Das Klavierspiel der älteren Schwester regte seine kindliche Phantasie an. Erste Kompositionsversuche unternahm er als Fünfzehnjähriger, regelmäßige Konzert- und Opernbesuche erschlossen ihm die Musik von Charles Gounod, Hector Berlioz, Camille Saint-Saëns, César Franck, Georges Bizet, Jules Massenet, Richard Wagner oder Frédéric Chopin. Nachhaltigen Eindruck hinterließen eine Aufführung von Bachs Messe in h-Moll und – im Jahre 1884 – ein Konzert des russischen Pianisten Anton Rubinstein mit Chopins Sonate in b-Moll.

Allerdings kam Koechlin erst auf Umwegen zu dem Entschluss, die Musik zu seinem Beruf zu machen. Er sah in seinem Leben „eine Folge glücklicher Fügungen im Missgeschick, oder anders gesagt: "die Ereignisse wenden sich letztendlich doch zu meinen Gunsten." Die entscheidende Weichenstellung seines Lebens rührte aus solchem Missgeschick: Koechlin musste sein Studium an der Pariser École Polytechnique, das eine zivile Ingenieurslaufbahn vorsah, wegen einer lebensbedrohenden Tuberkulose im Jahre 1888 unterbrechen. Durch zwei jeweils mehrmonatige Algerienaufenthalte konnte er die Erkrankung auskurieren. Infolge der langen Unterbrechung verschlechterte sich seine Einstufung an der École Polytechnique jedoch erheblich, ein Umstand, der ihm den Zivilberuf verwehrt und nur die Wahl zwischen Artillerie- oder Marineoffizierslaufbahn gelassen hätte. Eine Militärkarriere war für Koechlin kaum denkbar, und so beendete er 1889 seine Ausbildung als „Polytechnicien“.

Den Weg zu seiner Entscheidung für die Musik beschreibt Koechlin so: „Nun war ich also frei. Ich besuchte Charles Lefebvre und zeigte ihm mein Orchesterlied Clair de lune, das ich gerade beendet hatte; er war davon ziemlich beeindruckt und gab mir Privatstunden in Kontrapunkt.“ Im Verlauf des Jahres 1891 schrieb Koechlin sich als Student am Pariser Conservatoire ein. Er belegte Harmonielehre und Kontrapunkt bei Antoine Taudou und bei André Gédalge, 1892 erfolgte die Aufnahme in die Kompositionsklasse von Jules Massenet. Bei Louis Bourgault-Ducoudray hörte er Vorlesungen, u.a. über Wagner. 1909 gründete er zusammen mit Gabriel Fauré, Maurice Ravel und Florent Schmitt die Societé Indépendante de Musique (S.I.M.).

Nicht nur im Wiener Kreis um Arnold Schönberg, sondern auch bei der Generation der zwischen 1860 und 1880 geborenen französischen Komponisten hatte die Erfahrung der komplexen, nicht mehr aufgelösten Dissonanzen in Wagners Tristan oder im Ring des Nibelungen die Horizonte erweitert: ein nachhaltiger Impuls, der vorwärts gewandtes Komponieren um die Jahrhundertwende auf ganz unterschiedlichen Wegen zum Verlassen des abgesicherten Terrains der Tonalität führen sollte. Zur Kompositionsklasse Massenet, die 1896 von Gabriel Fauré übernommen wurde, gehörten neben Koechlin auch Florent Schmitt, Reynaldo Hahn, der noch ganz junge George Enescu und Maurice Ravel. Die damals vorherrschende Aufbruchstimmung beschreibt Koechlin in seinen bereits zitierten Aufzeichnungen: „Es gab da ganz ungewöhnliche Einblicke, ähnlich einem sich öffnenden Fenster zu der geheimnisvollen Welt der Töne oder den Entdeckungsreisen in einen unerforschten Urwald vergleichbar. Genau so stellte sich für uns die Musik der Zukunft dar. Diese Einsichten, diesen Wunsch nach Übertretung der alten Regeln, diese neuen Klangentdeckungen fanden wir schon bei Franck, Chabrier und bei Fauré, vor allem aber bei einem merkwürdig-mysteriösen Kollegen, den Florent Schmitt und Ernest Le Grand in den Himmel hoben: Claude Debussy. Ich kannte, um genau zu sein, von ihm fast nichts, als ich Schüler von Taudou wurde, nur [das 1890 veröffentlichte Lied] Mandoline. Aber dieses ‚fast nichts’ war sehr viel; in diesem Lied gibt es zu Beginn ein paar modulierende Akkorde, die mir alle Arten von Modulationsmöglichkeiten erschlossen. Manchmal reicht ein einziger Takt eines genialen Kollegen aus, um uns das Tor zu den verzauberten Gärten zu öffnen, in denen wir dann vielleicht ganz andere Blumen als er selbst pflücken dürfen.“

Koechlins vielfältige Inspirationsquellen reichen von Gedichten der Antike, der Poesie der französischen Gruppe „Les Parnassiens“ über Heinrich Heine bis zu Kiplings Dschungelbüchern, von einer Novelle seines Onkels, des Philosophen Charles Dollfus (Le Docteur Fabricius op. 202) über