Dimostrò precocemente le sue inclinazioni artistiche e frequentò gli studi di F. Coghetti e F. Podesti, ricevendone una formazione secondo i principi della cultura neoclassico-romantica. Costa apparve sulla scena politica cittadina negli anni riformistici di Pio IX, in quella schiera di giovani che animava le più accese dimostrazioni antireazionarie e antiaustriache. Partì volontario per la guerra del 1848 e combatté nella difesa di Vicenza; fu poi, a Roma nel 1849, membro dello Stato Maggiore di Garibaldi e combatté sul Gianicolo. Dopo la restaurazione fuggì ad Ariccia, dove incontrò numerosi artisti tedeschi, inglesi, francesi. Qui conobbe, fra gli altri, Massimo d'Azeglio, i tedeschi P. von Comelius, F. Overbeck e A. Böcklin, il francese E. David, l'inglese Ch. Coleman. Fu questo un periodo di lavoro intenso e particolarmente proficuo per quella ricerca del "vero" che egli considerava basilare per rinnovare il linguaggio artistico italiano. Il distacco dalla veduta paesistica di matrice neoclassica avviene attraverso due esperienze fondamentali: la conoscenza della pittura di paesaggio di Corot (a Roma nel 1843) e di artisti quali Le Noble, Michallon, Valenciennes e la conoscenza, ancor più determinante, della scuola di Posillipo.Nel 1852-53 conobbe i pittori inglesi George Mason e Frederick Leighton e iniziò con entrambi un fruttuoso sodalizio intellettuale che durerà tutta la vita.Insieme a Mason dipinse nelle località fra Ardea e Pratica di Mare, realizzando paesaggi dal caratteristico taglio orizzontale, individuati nei diversi piani di lontananza con nuovissimi effetti di luce e atmosfera. Nel 1859 abbandonò Roma per arruolarsi volontario nell'esercito piemontese.Dopo l'armistizio di Villafranca, ritornò a Firenze. Qui si incontrò con Serafino De Tivoli, già conosciuto durante la difesa di Roma, e con gli altri artisti frequentatori del caffè Michelangelo.La sua pittura per lo studio dei rapporti di tono e valore, la precisa individuazione dei piani, fu un esempio stimolante per le esperienze dei macchiaioli. Sebbene alcune opere del periodo 1860-65, presentino punti di contatto con le ricerche macchiaiole, Costa proseguiva autonomamente su altra direzione. Nell'estate 1862 fu a Londra e F. Leighton lo introdusse nell'ambiente artistico inglese facendogli conoscere, fra gli altri, i pittori G. F. Watts e F. Burne-Jones. In compagnia di Mason ritornò a Parigi e si fermò a lavorare nei pressi della foresta di Fontainebleau.
La conoscenza ora più diretta della pittura romantica francese, in particolare di Corot e della scuola di Barbizon, unitamente alla contemporanea conoscenza delle correnti dello spiritualismo inglese di ambito preraffaellita, lo indirizzarono verso un approfondimento delle tendenze idealizzanti. Nell'insieme della sua produzione artistica si può individuare, infatti, un unico filo conduttore tra le prime esperienze romantiche e quelle neorinascimentali e simboliste delle sue ultime opere. Emblematica a questo proposito è una delle opere più a lungo elaborate, La Ninfa (1863-1895 c.; Roma, Gall. naz. d'arte mod.) che il pittore portò sempre con sé, non volle mai vendere e finì col rappresentare l'ideale di "eterno femminino" delle correnti del decadentismo di fine secolo.
Costa aveva conosciuto G. Howard (dal 1889 nono conte di Carlisle) a Londra nel 1865. Questi, appartenente alle tradizioni radicali dell'aristocrazia inglese, pittore dilettante e mecenate, legato a W. Morris e alla cerchia preraffaellita, in particolare a Crane e a Burne-Jones, divenne suo amico e protettore fino alla fine della vita, appoggiandolo nella attività politica e artistica. Nel 1867, insieme a F. Cucchi e ad altri, lavorò alla creazione di un centro insurrezionale, teso all'organizzazione di quella rivolta che aveva tentato di finanziare vendendo le sue opere con l'aiuto del Leighton e del Howard. Raggiunto Garibaldi a Monterotondo, combattè a Mentana.
Nel settembre del 1870 fu tra i primi ad entrare in Roma precedendo le truppe del gen. Cadorna. In quei convulsi giorni di transizione collaborò con M. Montecchi nel tentativo di assicurare alla popolazione il diritto d'una scelta democratica; fu tra gli organizzatori di quel comizio al Colosseo del 22 settembre da cui uscì eletta una giunta di governo (di cui egli era membro): il tentativo fu spazzato via dal governo di Firenze che provvide alla diretta nomina di una giunta. Eletto consigliere, rimase fino al 1877 nel Consiglio comunale, operando marginalmente per la requisizione dei beni ecclesiastici, per il riordinamento delle collezioni artistiche capitoline, per l'assistenza alla popolazione immiserita. Abbandonò poi ogni attività politica.
Nel 1876 fondò il Golden Club per promuovere lo studio diretto della natura, iniziativa suggerita forse dall'associazione, consimile negli intenti, istituita a Roma dal pittore inglese W. Crane per dipingere dal vero la Campagna romana. A partire dagli anni '80 tenne più stretti i rapporti con gli amici inglesi e con il loro aiuto organizzò alla Fine Arts Society di Londra, nel 1882, una personale con sessantasei opere, eseguite dopo il 1850. Nel 1886 organizzò a Roma una esposizione presentando tutte quelle forze, vecchie e nuove, unite negli stessi intenti di rinnovamento, ora e sempre più vicine alle contemporanee correnti letterarie e figurative dell'estetismo. Il gruppo, che comprendeva O. Carlandi, V. Cabianca, A. Morani, A. Ricci, G. Cellini, fu chiamato "In Arte Libertas". Si organizzarono mostre annuali fino al 1902, presentando artisti italiani insieme con artisti stranieri, in particolare inglesi e francesi. Nell'inverno 1892-93 il C. iniziò a dettare i suoi ricordi alla figlia, Giorgia Guerrazzi Costa, la quale li conservò in parecchi quaderni e ne curò la pubblicazione a Firenze, nel 1927, con il titolo Quel che vidi e quel che intesi.