Von 1933 an besuchte Jens das Hamburger Johanneum. Nach dem Abitur, das er kriegsbedingt bereits 1941 ablegte, studierte er bis 1945 Germanistik und Klassische Philologie, zunächst in seiner Heimatstadt Hamburg, danach in Freiburg. Wegen seines schweren Asthmaleidens blieb er von einem Kriegseinsatz verschont. Während des Dritten Reiches war Jens Mitglied in der Hitlerjugend und im NS-Studentenbund. Im Jahre 2003 wurde außerdem bekannt, dass er seit dem 1. September 1942 als Mitglied der NSDAP geführt wurde.

Jens wurde 1944 an der Albert-Ludwigs-Universität Freiburg über die sophokleische Tragödie promoviert und habilitierte sich 1949 im Alter von 26 Jahren mit der Arbeit Tacitus und die Freiheit an der Eberhard-Karls-Universität Tübingen. Jens ist Mitglied im Akademischen Turnbund.

1950 nahm er den Ruf auf einen Lehrstuhl für Klassische Philologie an der Eberhard-Karls-Universität Tübingen an. Ab 1950 gehörte Jens zur „Gruppe 47“ und in diesem Jahr gelang ihm auch der Durchbruch als Erzähler mit dem Roman „Nein. Die Welt der Angeklagten“.

Von 1963 bis 1988 hatte Jens den bundesweit ersten Lehrstuhl für Allgemeine Rhetorik an der Eberhard-Karls-Universität Tübingen inne, der eigens für ihn eingerichtet worden war. Sein Nachfolger wurde Gert Ueding.

Unter dem Pseudonym Momos verfasste er für die Wochenzeitung „Die Zeit“ Fernsehkritiken.

Von 1976 bis 1982 war Jens der Präsident des PEN-Zentrums der Bundesrepublik Deutschland. 1989–1997 war er Präsident der Akademie der Künste zu Berlin; jetzt ist er deren Ehrenpräsident. 1990–1995 war Jens Vorsitzender der Martin-Niemöller-Stiftung.

Jens versteckte während des zweiten Golfkriegs 1990 in seinem Haus desertierte US-Soldaten. Er ist Mitglied im Beirat der Humanistischen Union und Mitherausgeber der politisch-wissenschaftlichen Monatszeitschrift Blätter für deutsche und internationale Politik.

Jens war in den 1930er Jahren Fußball-Torhüter beim Eimsbütteler TV in der Gauliga Nordmark (höchste Spielklasse). Der Eimsbütteler TV war zu dieser Zeit einer der erfolgreichsten Vereine Norddeutschlands und wurde zwischen 1934 und 1942 fünfmal Meister der Gauliga Nordmark.