Kitt begann schon in jungen Jahren damit Gitarre zu spielen und zeichnete bereits im Alter von 10 eigene Songs auf einem Kassettenrecorder auf.

Seine musikalische Karriere begann während seines Musikstudiums am Trinity College in Dublin. Er trat regelmäßig in Bars und Kneipen auf. Parallel dazu sammelte er Songmaterial für sein erstes Album Small Moments, das er zum Großteil zu Hause aufnahm und das laut eigener Angabe in dieser Form gar nicht als Veröffentlichung gedacht war. Die Mischung aus akustischer Musik mit subtilen, volkstümlich irischen Elementen und Elektronik stieß auf reges Interesse der lokalen Fachpresse und der Musikindustrie, das ihm einen soliden Plattenvertrag einbrachte.

2001 erschien sein zweites Album (The Big Romance), das in ganz Großbritannien veröffentlicht wurde und ihn auch außerhalb von Dublin bekannt machte. In der darauf folgenden Zeit trat er im Vorprogramm von Bands wie Tindersticks und Superfurry Animals auf.

2002 erschienen seine beiden Alben auch im deutschsprachigen Raum.

2005 tourte er zusammen mit Emiliana Torrini durch Europa.