Johann Julier war das dritte Kind von Franz Julier, einem akademischen Bildhauer, und seiner Frau Serafina. Er wuchs im 5. Wiener Gemeindebezirk (Margareten) auf der Rechten Wienzeile auf – dort ist heute eine Gedenktafel angebracht.

Johann Julier erhielt Sprechunterricht beim Hofschauspieler Josef Moser, dessen Familiennamen er annahm. Anschließend zog er mit Wanderbühnen durch das Land, 1897 hatte er ein erstes Engagement in Böhmen und im Jahre 1903 schien er es mit einer Berufung zum sehr angesehenen Theater in der Josefstadt (damals von Josef Jarno geleitet) in Wien geschafft zu haben. Er scheiterte jedoch, da sein Aussehen und seine Körpergröße (1,57 m) ihn für die seinem Alter gemäßen Liebhaber-Rollen ungeeignet machten. So zog er dann 1907 wieder mit Wanderbühnen durch die Länder Österreich-Ungarns; ab 1910 hatte er kleinere Revue-, Kabarett- und Theaterengagements in Wien. 1913 wurde seine erste Tochter, Margarete, geboren. In diesem Jahr hatte er endlich auch seine ersten Erfolge in Solorollen als Komiker in der Kellerbühne „Max und Moritz“.

Im 1. Weltkrieg an der Isonzo-Front diente er bei den Deutschmeistern und lenkte seine Kameraden mit Späßen so vortrefflich vom hässlichen Kriegsalltag ab, dass er von nun an seine Zukunft im komischen Fach sah. Nach dem Krieg hatte er regelmäßig Auftritte in den Wiener Kabaretts „Budapester Orpheum“, „Reklam“, „Hölle“, „Leopoldi-Wiesenthal“ und in Heinrich Eisenbachs „intimen Theater“. 1923 wurde dann Robert Stolz auf ihn aufmerksam, der ihn für eine Revue im Ronachertheater engagiert, und schließlich holte ihn Max Reinhardt 1925 zurück an das Theater in der Josefstadt, wo er in Stücken von Nestroy, Schnitzler und Horváth spielte. In diesem Jahr erschien auch der erste Artikel über Mosers Schaffen in der Neuen Freien Presse, wo er als jüngster und letzter wienerischer Hanswurst bezeichnet wurde.

Er wurde sehr schnell Reinhardts Lieblingsschauspieler und begleitete diesen auf seiner USA-Tournee im Jahre 1927-28, wo er in „Sommernachtstraum“ unter anderem am New Yorker Broadway spielte. In Wien sprach man bald schon nur noch von „Der Moser“ - so wie man einst vom beliebten Schauspieler und Komiker Alexander Girardi als „Der Girardi“ sprach. Er wurde zum vielbeschäftigten Schauspieler und Komiker an den Wiener Bühnen, wo er nuschelnd, polternd, raunzend (österreichische Eigenart des Lästerns und Jammerns) und mit kreisenden Bewegungen kauzige Typen, meistens Diener oder andere Kleinbürger wie Greißler, Schneider und Hausknechte, aber auch Zirkusfiguren, verkörperte. Seit 1922, als er einen Notar in „Kleider machen Leute“ darstellte, spielte er auch kleinere Rollen in Stummfilmen. Große Bekanntheit erreichte er auch mit seiner Rolle als „stummer“ Dienstmann in „Die Familie ohne Moral“. Aber erst im Tonfilm konnte er seine ganze Originalität, wie er sie bereits im Theater perfektionieren konnte, entfalten. Die erste Rolle in einem Tonfilm erhielt er 1930 als Nebendarsteller in „Geld auf der Straße“.

Er war wohl der einzige Schauspieler überhaupt, der solche Charaktere in Hauptrollen verkörperte und darin zum großen Publikumsliebling avancierte. Er liebte es dabei besonders, Personen darzustellen, die im Laufe des Filmes eine starke Wandlung vollziehen. So spielt er in Das Gäßchen zum Paradies einen Hundefänger, der zum Hundefreund wird, in Anton, der Letzte einen grenzenlosen Bewunderer des Adels, der zum Anwalt des kleinen Mannes mutiert, in Das Ferienkind einen vergrämten Pensionisten, der einst seine eigene Tochter wegen der Wahl ihres Ehemannes verstoßen hatte und durch seinen Enkel zum liebevollen Großvater wird, und in Der Herr Kanzleirat einen alten Weiberfeind, der auf seine späten Tage einer jungen Frau verfällt. Die Kombination aus einzigartiger Mimik, Gestik und Sprache machte ihn zum unsterblichen Original, welches selbst das übelste Drehbuch noch in einen gern gesehenen Film verwandeln konnte.

Während des Dritten Reiches weigerte sich Moser, sich von seiner jüdischen Frau Blanca Hirschler scheiden zu lassen. 1939 emigrierte sie nach Ungarn. Nur aufgrund seiner Popularität durfte Hans Moser trotz seiner Ehe mit einer Jüdin weiterhin als Filmschauspieler in deutschen Filmen tätig sein. Nach dem Krieg lebte das Ehepaar wieder zusammen. Beide Grabstellen liegen im Wiener Zentralfriedhof.