Die Band wurde 1984 gegründet. Seit dieser Zeit sind Ira Kaplan und Georgia Hubley dabei. Mit Dave Schramm und Mike Lewis wurde die erste Single The River Of Water eingespielt. In der selben Besetzung folgte 1986 das Album Ride The Tiger. Schramm und Lewis verließen die Band, während Stephen Wichnewski dazukam. Die 1987 veröffentlichte Platte New Wave Hot Dogs wurde von den Kritikern gelobt, war aber kein kommerzieller Erfolg. Dasselbe geschah mit der 1989 veröffentlichten Platte President Yo La Tengo.

1990 wurde Fakebook veröffentlicht, eine Platte ausschließlich mit Coverversionen. Es folgten May I Sing with Me (1992) und Painful (1993) mit dem neuen Bassisten James McNew. Die Band war bei Insidern und Kritikern bereits jetzt eine der wichtigsten Bands der 1990er Jahre. Mit Electr-O-Pura (1995) festigte sich dieser Ruf. Yo La Tengo wurden schon immer mit Velvet Underground verglichen - daher war es naheliegend, dass Yo La Tengo im Film I Shot Andy Warhol die Velvets spielten. Es folgten I Can Hear the Heart Beating as One (1997), And Then Nothing Turned Itself Inside-Out (2000) sowie Summer Sun (2003).

2005 veröffentlichte Yo La Tengo eine Zusammenstellung alter Songs auf zwei CDs unter dem Namen Prisoners of Love. Dazu gibt es eine A Smattering of Outtakes and Rarities genannte CD mit raren Stücken. 2006 erschien die CD Yo La Tengo Is Murdering the Classics (über die Website der Band erhältlich), auf denen Cover-Songs zu hören sind, die Yo La Tengo während der jährlichen WFMU-Spendenmarathons seit 1996 gespielt hatten.