Cresciuto in una famiglia borghese (il padre è un ingegnere edile) passa la sua infanzia tra Genova, Palmi e Roma. Trasferitosi nella capitale in via definitiva si iscrive all'Accademia d'arte drammatica rivelandosi subito come uno dei migliori talenti della sua generazione. Lavora con le maggiori compagnie teatrali scritturato da registi del calibro di Visconti e Squarzina, riuscendo senza problemi a passare da un repertorio classico (Shakespeare, Eschilo, Sofocle) a uno moderno (Miller). A metà degli anni '50 fonda una propria compagnia e allestisce con coraggio alcuni spettacoli provocatori: Kean, genio e sregolatezza ('55) di Dumas senior (del quale codirigerà con Francesco Rosi anche una trasposizione cinematografica nel '56) sino ad Affabulazione ('77) di Pasolini.

La Televisione si accorge subito del suo eclettismo e lo lascia recitare a briglia sciolta nel programma Il mattatore ('59) dove intrattiene il pubblico televisivo con una miscellanea di testi, approccio che ricorda da vicino quello dei grandi attori teatrali dell' 800.

Con il cinema il suo rapporto è abbastanza problematico poiché il suo volto sembra adatto solo ad interpretare ruoli da cinico truffatore o da antipatico, e poi la tecnica impostata sui modi teatrali non si addice ai tempi filmici, infatti non sembra a suo agio neanche in film di spessore come Riso amaro ('49) di De Santis. Lavora per un breve periodo a Hollywood in alcuni produzioni che lo stesso attore definisce ignobili.

La svolta avviene grazie a Monicelli che lo chiama per interpretare Peppe il pugile suonato, a fianco di Totò e Mastroianni, ne I soliti ignoti ('58). Il regista intuendone il grande talento comico, lotta contro i produttori pur di averlo nella sua commedia, e Gassman, truccato in modo quasi irriconoscibile gli dà ragione grazie a una performance perfetta, da attore comico consumato. Con lo stesso Monicelli interpreta il soldato scansafatiche Busacca ne La grande guerra ('59) che muore da eroe, in coppia con Sordi. Nel '60 viene diretto da Pietrangeli nel film Fantasmi a Roma.

Da questo momento in poi la sua filmografia è ricchissima di personaggi sopra le righe, sfrontati o deformati in chiave grottesca. Le sue maschere vengono valorizzate in modo particolare da Dino Risi ne La marcia su Roma ('62), Il sorpasso ('62) e soprattutto I mostri ('63), in coppia con Ugo Tognazzi, in cui la galleria di personaggi si amplia come in un gioco di specchi deformanti sino a riproporre la figura del pugile suonato nell'ultimo episodio del film nel quale si raggiungono vertici assoluti di amara comicità. Nel '66 entra nell'immaginario collettivo grazie al personaggio di Brancaleone da Norcia del film di Monicelli L'Armata Brancaleone.

Nel '72 si cimenta per la prima volta da solo nella regia cinematografica con l'interessante Senza famiglia nullatenenti cercano affetto, esperienza che ripeterà altre due volte negli anni '80 con risultati al di sotto delle aspettative.

Anche negli anni '70 interpreta ruoli di notevole spessore, diretto da Risi: In nome del popolo italiano ('71), Profumo di donna ('74) con il quale riceve la palma d'oro a Cannes; Monicelli: Brancaleone alle crociate ('70); e Robert Altman che lo vuole con sé in due film: Il matrimonio e The Quintet, entrambi del '78. Inizia un lungo sodalizio con Ettore Scola: C'eravamo tanto amati ('74), alcuni episodi de I nuovi mostri ('77), La terrazza ('80), La famiglia ('87) e La cena ('98) Riesce ancora a lasciare il segno in Tolgo il disturbo ('90) di Risi, e in un cammeo hollywoodiano in Sleepers ('96) di Barry Levinson.