Seine teils italienischstämmigen Eltern emigrierten 1926 aus Ponce (Puerto Rico) und ließen sich in Spanish Harlem, einem lateinamerikanischen Ghetto, in Manhattan, nieder.

Palmieri musizierte bereits im Alter von fünf Jahren und interessierte sich schon früh für Jazz und nahm Klavierunterricht. Mit elf Jahren trat er in der Carnegie Hall auf. Mit 14 Jahren gründete Palmieri seine erste Gruppe und spielte auch in anderen Gruppen, etwa bei Tito Rodriguez.

Im Jahre 1962 gründete er die Gruppe La Perfecta, mit der er den Stil Charanga pupulär machte und nahm Lo Que Traigo Es Sabroso sowie Muñeca auf. 1968 löste sich die Gruppe auf.

1971 nahm er zusammen mit seinem Bruder (Orgel) Vamos Pa'l Monte und Eddie Palmieri & Friends in Concert, Live at the University of Puerto Rico auf. 1974 erhielt Palmieri als erster Südamerikaner einen Grammy für The Sun of Latin Music.

In den 1980er Jahren erhielt er zwei Grammys für Palo Pa Rumbo und Solito. Im Jahre 1987 nahm er La Verdad, ein Jahr später El Rumbo Del Piano auf. In den 1990ern konzertierte er u. a. mit den Fania All-Stars und den Tico All-Stars. 2000 kündigte er seinen Rückzug aus der Musik an. Er nahm jedoch noch gemeinsam mit Tito Puente das Album Masterpiece auf und erhielt dafür seinen insgesamt sechsten und siebten Grammy.