Vinterstø war kein Ursprungsmitglied, stieß aber später im Jahr 2000 dazu.

Das erste Album, ompa til du dør (Humppa bis du stirbst), wurde vom Untergrund-Label Broiler Farm 2001 herausgegeben. Es wurde ein enormer Erfolg, erst in Norwegen, später dann in Dänemark und den Niederlanden. Das zweite Album, Evig Pint (Ewig gepeinigt), kam Ende 2002/Anfang 2003 heraus. Das dritte Album, Maestro erschien Mitte August 2005 gleichzeitig in Norwegen und Europa.

Die Musik von Kaizers Orchestra ist inspiriert von Tom-Waits-Musik, osteuropäischer Zigeunermusik, Punkrock, Marsch/Humppa-Musik (auf norwegisch Ompa) bis hin zu Hardrock à la AC/DC. Die Texte von Ottesen und Zahl sind grundsätzlich Norwegisch. Kaizers Orchestra haben einen besonders guten Ruf als Live-Band und sind oft auf Tour, inzwischen auch verstärkt außerhalb von Norwegen.