1972 wechselte er zu Soft Machine. Auch hier stieg er neben Bandchef Mike Ratledge zum wichtigsten Komponisten auf und ersetzte ihn außerdem nach dessen Band-Ausstieg im Jahr 1976 an den Keyboards. Jenkins traf hier wieder auf John Marshall, mit dem er die Gruppe maßgeblich bis zu ihrem letzten LP-Projekt "The Land Of Cockayne" führte. Jenkins ließ sich außerdem von den Minimal Music-Experimenten der Band zu eigenen Stücken inspirieren. Ratledge und Soft Machine Bassist Hugh Hopper hatten sich beeinflusst von Terry Riley, Steve Reich und anderen zeitgenössischen Komponisten bereits intensiv mit Tape Loops befasst, die in Stücken wie "Outbloody Rageous" mit repetitiven Tonfolgen eine Trance-Atmosphäre erzeugten. Statt Tape Loops schichtete Jenkins mehrere manuell gespielte E-Pianos in Stücken wie "Soft Weed Factor", "Penny Hitch" und "The Floating World" übereinander, um meditative Klangbilder zu erzeugen. Die Soft Machine LPs "Seventh" und "Bundles" tragen maßgeblich Karl Jenkins kompositorische Handschrift. Gleiches gilt für die folgenden Alben "Softs" und "Alive And Well Recorded In Paris".

In den achtziger Jahren verfasste er überwiegend Werbemusiken (z. B. die berühmte Streichersuite "Palladio" - inspiriert von Bauten des Renaissance-Architekten Andrea Palladio in Venedig - für die Diamantenwerbung). Im Jahrzehnt darauf gelangen ihm mit dem Ensemble Adiemus große Erfolge. Hier führte er mit breit und konzertant angelegten Chor-Arrangements seine musikalischen Erfahrungen zusammen, die von Pop über Symphonik und geistliche Chormusik (Requiem) bis hin zu ethnischer Musik reichten. 2007 soll er maßgeblich an Mike Oldfields neuem Album "Music Of The Spheres" beteiligt sein, welches im Januar 2008 erscheinen soll.