Früh spielte der in St. Louis aufgewachsene Hartford Banjo in lokalen Bluegrassgruppen, u.a. mit Doug und Rodney Dillard (The Dillards), mit denen er später zwei Alben Dillard-Hartford-Dillard (1977, 1980) einspielte und die einige seiner Stücke in ihr Repertoire übernahmen.

Nach Schule und Militärzeit arbeitete er als Radiodiskjockey und begann 1965, eigene Titel zu schreiben. Kurz darauf siedelte er nach Nashville über, moderierte eine Nachtsendung und versuchte tagsüber, seine Stücke an den Mann zu bringen. 1966 erhielt er einen Schallplattenvertrag bei RCA.

Mit John Hartford looks at Life hatte er Januar 1967 sein Debütalbum, dem bereits im Juli Earthwords and Music folgte. Mit dem daraus entnommenen Titel „Gentle On My Mind“, der Platz 60 der Billboard Country Charts wurde, war ihm ein schneller kommerzieller Erfolg beschieden. Die Coverversion von Glen Campbell wurde nicht nur Hit-Single, sondern danach Titelstück einer ebenfalls sehr erfolgreichen LP und brachte Hartford zwei Grammys ein.

Durch seine Arbeit als Studiomusiker in Nashville und mit den Byrds für das Sweetheart of the Rodeo-Album (1968) wurde er früh Teil der „progressiven“ Country- und Bluegrass-Bewegung, die begann, die traditionelle Form mit elektrischen Instrumenten anzureichern.

Die Einnahmen aus „Gentle on My Mind“ erlaubten es ihm 1972, eine Auszeit zu nehmen und sich seinen Jugendtraum zu erfüllen, ein Steuermann auf einem Mississippi-Raddampfer zu werden. 1976, mittlerweile zurück im Musikgeschäft, holte er mit seinem Album Mark Twang den dritten Grammy.

Über ein Vierteljahrhundert arbeitete er für den Erhalt traditioneller Musik und hatte kurz vor seinem frühen Krebstod mit seinen Beiträgen zum Soundtrack des Spielfilms O Brother, Where Art Thou? einen weiteren großen Erfolg mit seiner Arbeit erzielt, ursprüngliche, traditionelle Musik gegen den US-amerikanischen Mainstream der Jahrtausendwende zu erhalten.