Kristin Hersh gründete mit ihrer Stiefschwester Tanya Donelly und den Schulfreunden David Narcizo und Elaine Adamedes die Throwing Muses im Jahr 1980 in Newport, Rhode Island. Sie waren damals 14 Jahre alt. Bereits vier Jahre später brachten sie die gleichnamige EP heraus, die von der Kritik wohlwollend aufgenommen wurde. 1986 wurde die Bassgitarre von Leslie Langston übernommen, die 1990 von Fred Abong vertreten wurde. Die Band wurde von der britischen Plattenfirma 4AD Records unter Vertrag genommen. 1992 veränderte sich die Zusammensetzung der Band, als Donelly ausstieg (siehe Belly) und auch Langston sich in eine andere Richtung orientierte. Hersh war inzwischen zweifache Mutter geworden und ließ die Aktivitäten in der Band für längere Zeit ruhen. 1995 kehrten die Muses mit Georges am Bass zurück. Seit 1997 ist Hersh im Wesentlichen Solokünstlerin, die Band vereint sich jedoch zu gelegentlichen Konzerten und nahm noch zwei Alben auf.