Als Ellroy zehn Jahre alt war, wurde seine Mutter erdrosselt aufgefunden. Fast vierzig Jahre später recherchierte er den Fall intensiv nach und schrieb darüber das Buch My Dark Places (Die Rothaarige), das auch eine Art Autobiographie von Ellroys frühen Jahren darstellt.

Ellroy verbrachte Nächte auf Parkbänken, war über 30-mal kurz im Gefängnis und war alkoholabhängig. Er hört 1975 mit dem Trinken auf und 1977 mit den Drogen. Im Alter von 31 Jahren begann er, seinen ersten Roman (Browns Grabgesang) in einem schäbigen Hotelzimmer zu schreiben (der Legende nach im Stehen). Ellroy, der Kriminalromane in großen Mengen gelesen hatte, setzte sich zum Ziel, "der größte Kriminalautor aller Zeiten" zu werden.

Seine erklärten Vorbilder sind Raymond Chandler und Ross Macdonald.