Inizia molto giovane a calcare il palcoscenico e viene notato da Visconti che lo chiama per il ruolo da protagonista per la messa in scena di Un tram che si chiama desiderio nel '48. Parallelamente comincia la sua carriera cinematografica in una piccola parte nel film di Freda I miserabili ('47). Dopo alcune interpretazioni non particolarmente rilevanti in Una domenica d'agosto ('50) e Le ragazze di piazza di Spagna ('52) dirette da Emmer, trova la giusta misura nelle opere successive: Cronache di poveri amanti ('54) di Lizzani, e in modo particolare Le notti bianche ('57) di Visconti, tratto da Dostoevskij, nel quale riesce a cogliere il registro adatto al suo personaggio malinconico e struggente. Lavora nel film capostipite della commedia all'italiana I soliti ignoti ('58), di Monicelli, che rende il suo volto popolare. La svolta definitiva avviene in virtù del lungo sodalizio artistico, che sarà anche una grande amicizia, con Fellini diventandone l'alter-ego sullo schermo. La dolce vita ('60) è la prima pellicola in cui è diretto dal maestro riminese. Nel '63 l'attore interpreta con la suo proverbiale naturalezza il personaggio di un regista di nome Guido, una sorta di doppio onirico di Fellini in uno dei film più significativi e strabilianti della storia del cinema, Otto e mezzo.Riesce senza problemi a calarsi nei panni del don giovanni impotente ne Il bell'antonio ('60) di Bolognini (da un romanzo di Brancati) e in quelli dell'uxoricida barone di Cefalù, che cerca di sfuggire alla pena dell'ergastolo elaborando un piano diabolicamente perfetto in Divorzio all'italiana ('61) di Germi. Lavora anche con Antonioni ne La notte ('61).

Mastroianni è l'attore ideale perché completamente al servizio dei grandi registi con i quali lavora: da Visconti a Fellini, da De Sica ad Antonioni, da Germi a Scola, da Monicelli a Petri da Dino Risi a Comencini passando per Ferreri, riuscendo (come nessuno nel panorama italiano) con i suoi personaggi ad essere punto di raccordo tra i due filoni principali del cinema italiano, la commedia e il film drammatico.

La sua estrema versatilità viene esaltata ne La grande abbuffata ('73) di Ferreri, scandalosa e grottesca storia di sesso, cibo e morte che mette in evidenza un attore perfettamente a suo agio anche in contesti in apparenza distanti dalle sue corde. Memorabili restano i suoi film in coppia con la Loren: Peccato che sia una canaglia ('54) di Blasetti; Ieri, oggi e domani ('63) di De Sica; La moglie del prete ('70) di Dino Risi. Una giornata particolare ('77) di Scola dimostra lo straordinario affiatamento raggiunto dalla coppia che ormai riesce a gestire tempi recitativi non soltanto comici e brillanti ma anche situazioni drammatiche, quasi da teatro naturalistico, in una forma impeccabile.Negli anni '80 e '90 pur diradando le sue apparizioni riesce ad interpretare ruoli di notevole profilo in Che ora è ('89) di Scola, Verso sera ('90) di Francesca Archibugi, e Sostiene Pereira ('95) di Roberto Faenza. Poco prima della sua morte ci lascia il suo testamento artistico ed umano, Mi ricordo, sì, io mi ricordo ('97) girato dalla sua compagna Anna Maria Tatò.