Urbie Green erhielt als Kind Klavierunterricht von seiner Mutter. Mit 12 Jahren begann er wie seine beiden älteren Brüder Posaune zu spielen. Zu dieser Zeit hörte er die Musik von so bekannten Posaunisten wie Tommy Dorsey, J. C. Higginbotham, Jack Jenny, Jack Teagarden und Trummy Young. Am meisten wurde er aber vom Trompeter Dizzy Gillespie sowie den Saxophonisten Charlie Parker und Lester Young beeinflusst. Weitere Einflüsse sind durch den Gesang von Perry Como und Louis Armstrong auszumachen. Mit 15 Jahren startete Green seine professionelle Musikerkarriere. Erst spielte er in Tommy Reynolds Band in Kalifornien, bevor er für einige Zeit bei Bob Strong und Frankie Carle mitspielte.

Im Jahr 1947 wurde Green Mitglied in Gene Krupas Band und 1950 in Woody Hermans dritter "Thundering Herd" Big Band, wo er neben seinem Bruder Jack spielte. 1954 wurde er mit dem "New Star" Critics Award" des Down Beat Magazins ausgezeichnet. Nach dem Umzug nach New York City 1953 etablierte er sich als einer der gefragtesten Posaunisten. Er wurde mehrmals von der National Academy of Recording Arts and Sciences zum "Most Valuable Player" gewählt. Green hat mit beinahe allen bekannten Jazzgrössen der 1950er und 1960er Jahre Aufnahmen gemacht. Zudem leitete er eigene Bands und tourte als Solist mit verschiedenen Bands, unter anderem bei Benny Goodman, Count Basie und Tommy Dorseys Orchester nach seinem Tod 1965. Er spielte mit dem innovativen Produzenten Enoch Light für die Plattenlabels Command und Project 3 Alben ein, die wahrscheinlich seine bekanntesten sind. Dazu gehören die jeweils auf zwei Teile angelegten Alben "The Persuasive Trombone of Urbie Green" sowie "21 Trombones."

In den 1970er Jahren begann Green Innovationen auf seinem Instrument zu entwickeln. Er entwickelte ein Mundstück für Jet Tone und zusammen mit Martin Brass Verbesserungen am Instrument selber. Zudem begann er mit einer "Green Monster" zu experimentieren, einer Posaune von King mit eingebauter Elektronik für Oktav- und Halleffekte. Einige seiner besten Aufnahmen aus dieser Zeit sind die mit Enoch Light and the Light Brigade, Dick Hyman, Maynard Ferguson sowie Doc Severinsen. Nach den sehr produktiven Jahren mit Enoch Light änderte sich Urbie Greens Spielstil etwas. Bei seinen Aufnahmen mit dem Plattenlabel CTI kam die Begleitband mehr zur Geltung und weniger der Solist Green.

Seit den 1980er Jahren hat Urbie Green nur noch zwei Alben eingespielt (Just Friends und Sea Jam Blues). Beide sind Liveaufnahmen.

Heutzutage verbringt er die meiste Zeit mit seiner zweiten Frau Kathy, einer Jazzsängerin in der Poconoregion von Pennsylvania. Sie haben zwei Kinder Jesse und Casey. Urbie Green gibt immer noch jeden September Konzerte am Celebration of the Arts (COTA) Festival in Delaware Water Gap, unweit seines Zuhauses. 1995 wurde er in die Alabama Jazz Hall of Fame gewählt.

Urbie Green ist bekannt für seinen weichen und warmen Sound, selbst in den hohen Tonlagen. Zudem verfügt er über eine Technik, die von vielen als makellos gepriesen wird.