Den ersten öffentlichen Auftritt hatte Larry im Alter von sechs Jahren. Begleitet von seinen jüngeren Brüdern Steve und Rudy nahm er an einem Talentwettbewerb teil. Bereits in frühen Jahren entwickelten die drei einen an die Everly Brothers angelehnten Close Harmony Stil, mit dem sie überwiegend Gospel-Songs vortrugen. Eine Zeit lang traten sie jeden Sonntag im Programm einer lokalen Radiostation auf.

Nach Schulabschluss wechselte Larry mit einem Stipendium zur University of Houston, wo er sich der Gospel-Gruppe „The Imperials“ anschloss. In Las Vegas, wo die Imperials im Rahmen der Jimmy Dean Show auftraten, lernte er Dottie West kennen und stellte ihr einige selbstgeschriebene Songs vor. West nahm zwei seiner Songs auf und wurde fortan zu seiner Förderin.

Dottie West holte ihn Anfang der siebziger Jahre nach Nashville und verschaffte ihm eine Anstellung als Songwriter in ihrem neu gegründeten Musikverlag. Daneben arbeitete er als Backup-Sänger in der Begleitband von Kris Kristofferson, für den er auch einige Songs schrieb. Auf Vermittlung von Kristofferson erhielt Gatlin 1973 vom Monument-Label einen Schallplattenvertrag. Zur Produktion seines ersten Albums, The Pilgrim, holte er seine Brüder nach Nashville, die zwischenzeitlich gemeinsam mit einer Schwester die Gruppe Young Country gegründet hatten. Aus dem Album wurden einige Singles ausgekoppelt, die sich im mittleren Bereich der Country-Top-100 platzieren konnten.

Auch beim nächsten und übernächsten Album wirkten seine Brüder mit. Die Single Broken Lady erreichte 1976 Platz Fünf und wurde mit einem Grammy als bester Country-Song des Jahre ausgezeichnet. Im gleichen Jahr trat er erstmals in der Grand Ole Opry auf. Den ersten Nummer-1-Hit schaffte er 1978 mit I Just Wish You Were Someone I Love.

1979 wechselte er zum Columbia-Label. Von diesem Moment an bezeichneten sich die Brüder als „Larry Gatlin & The Gatlin Brothers“. Aus dem Solisten mit Begleitgruppe war eine Band geworden. Bereits die erste Single, All The Gold In California, erreichte Platz Eins der Country-Charts und wurde Single des Jahres der Academy of Country Music. Die achtziger Jahre wurden zum erfolgreichsten Jahrzehnt der Gatlins. Allerdings konnte sich bei weitem nicht jeder Song in der Top-20 platzieren. Der nächste Nummer-1-Hit, Houston (Means I'm One Day Closer To You), gelang erst 1984. Anschließend kam es zu einer Karrierepause, als Larry seine Alkohol- und Drogensucht in einer Entzugsklinik bekämpfte. Auch seine Brüder schafften es, vom Alkohol loszukommen.

Das Come-Back gelang. Bereits 1986 hatten sie mit She Used To Be Somebody’s Baby ihren nächsten Top-10-Hit. Seit ihrem Wechsel zum Columbia-Label orientierte sich ihre Musik zunehmend Richtung Mainstream und Pop. Die Verkaufszahlen gaben ihnen Recht. Dennoch begann Ende des Jahrzehnts ihre Popularität zu schwinden. Ein Wechsel zum Capitol-Label 1989 konnte den Trend nicht aufhalten. 1992 unternahmen die Gatlins ihre offizielle Abschiedstournee (nach zehnjähriger Pause nahmen sie ab 2003 ihre öffentlichen Auftritte wieder auf). Sie spielten für kleinere Label aber weiterhin Alben ein. Larry Gatlin übernahm 1993 eine Rolle in dem Broadway-Musical Will Rogers Follies.