Tanya ist die Stiefschwester von Kristin Hersh mit der sie zusammen die Band Throwing Muses gründete. Seit 1990 arbeitete sie mit Kim Deal von den Pixies in einem Nebenprojekt namens The Breeders, die sie 1991 jedoch wieder verließ. Sie gründete daraufhin die Band Belly, bevor sie auch diese nach zwei Alben auflöste um fortan (seit 1996) unter ihrem Namen solo weitermachte.

Sie ist verheiratet mit Dean Fisher, mit dem sie eine Tochter hat.