Studiò lettere e filosofia presso il Collegio Romano, per conseguirne la laurea nel 1843 all’Università “La Sapienza”. Conosciuto lo studioso Antonio Nibby, frequentò le escursioni archeologiche da lui dirette, incominciando a impostare le basi di quel contributo scientifico di notevole importanza che avrebbe fatto di lui il padre dell’archeologia cristiana. Nel 1850 riconobbe l’esatta ubicazione delle catacombe di Callisto nell’area della via Appia e nel 1852 ne iniziò lo scavo. A partire da 1844 diresse gli scavi degli antichi cimiteri e catacombe, grazie all’appoggio e al sostegno finanziario di Pio IX, che in seguito lo chiamò anche come consulente per i materiali di scavo durante i lavori di restauro della Basilica di San Lorenzo (1855-1864) e come responsabile dell’allestimento del Museo Cristiano Lateranense (1854). Rintracciò molte tombe di martiri (Santa Cecilia nelle catacombe di San Callisto, i SS. Nereo e Achilleo nell’omonima basilica, i SS. Gennaro e Felicissimo nella catacomba di Pretestato) mentre lo studio accurato delle iscrizioni datate gli permise di seguire la cronologia delle aree scavate e delle pitture che le ornavano. Nello stesso anno 1854 pubblicava il Corpus inscriptionum Latinarum e le ricerche nel cimitero di Callisto portavano alla luce la cripta dei papi del III secolo. Nel 1857 sposò Costanza Bruno di San Giorgio e portò a compimento la stampa del primo volume Inscriptiones christianae urbis Romae septimo saeculo antiquiores (Roma 1857-1861). Dal 1863 cominciò a pubblicare il Bollettino di archeologia cristiana, destinato a diventare una pubblicazione fondamentale per gli studi scientifici del campo, così nel 1864, il primo volume di Roma sotterranea, dedicato a Pio IX.Nominato secondo segretario della Pontificia Commissione di Archeologia Sacra e prefetto del Museo Cristiano in Vaticano nel 1878 (con breve di Leone XIII del 23 ottobre), diede alle stampe le Piante iconografiche e prospettiche di Roma anteriori al secolo XVI. Nel 1882 ormai presidente della Pontificia Accademia Romana di archeologia, venne insignito in Laterano della medaglia d’oro attribuitagli congiuntamente dalla Società dei cultori di archeologia cristiana, dall’Istituto archeologico germanico e dalla Scuola francese di Roma. Fu uno dei più intransigenti sostenitori dell’infallibilità papale, anche se non prese mai parte attiva alle vicende politiche del suo tempo. Sedette in Campidoglio per quasi dodici anni, quale consigliere comunale di seconda classe. Colpito dal 1893 da emiplegia destra, il De Rossi continuò tenacemente a lavorare e a scrivere con la mano sinistra; morì il 20 settembre dell’anno successivo. Enrico Stevenson dettò la seguente iscrizione per la sua lapide: «IOHANNI BAPTISTAE DE ROSSI/ CVIVS ROMANAE ANTIQVITATIS/ DOCTRINAM OMNIGENAM/ SOLA RELIGIO ANIMIQVE INTEGRITAS SVPERAVIT/ PAVPERIBVS DIVITI SIBI PARCO OMNIBUS CARISSIMO/ CONSTANTIA BRUNO A S. GEORGIO VXOR/ ET NATALIA FERRAIOLI FILIA/ MOERENTISSIMAE POSVERE/ NAT ROMAE IX KAL MART A. D. MDCCCXXII/ OB IN AEDIBVS PONTIFICIIS CASTRI GANDULPHI/ XII KAL OCT MDCCCXCIV/ PAX TIBI CVM SANCTIS». ( «A Giovanni Battista De Rossi/ di cui la sola religione e l’integrità dell’animo/ superarono la vastissima erudizione/ nel campo dell’antichità romana/ ricco con i poveri, sobrio con se stesso/ carissimo a tutti/ la moglie Costanza Bruno di S. Giorgio/ e la figlia Natalia Ferraioli/ dolentissime posero./ Nato a Roma il 23 febbraio 1822/ Morto nel Palazzo Pontificio di Castelgandolfo/ il 20 settembre 1894/ Pace a te con i Santi»).Nel 1992, in occasione dell’approssimarsi del centenario della morte e del XIII Congresso Internazionale di Archeologia Cristiana, la Pontificia Commissione di Archeologia Sacra si occupò di traslare la salma dello studioso dal Cimitero del Verano alla nuova, odierna sistemazione, la tricora orientale delle catacombe di San Callisto.