Cuervo wuchs in Bogotá als Kind des zeitweiligen (1847) Staatspräsidenten Rufino Cuervo auf. Als er mit neun Jahren seinen Vater verlor und die Revolutionswirren eine normale Schullaufbahn unmöglich machten, bildete er sich als Autodidakt zum Philologen (Latinist und Romanist) heran, der mit 30 Jahren internationale Anerkennung fand (berühmt ist die Reaktion von August Friedrich Pott). Er erkannte die Notwendigkeit eines Europaaufenthaltes, verschaffte sich gemeinsam mit seinem älteren Bruder Angel (1838–1896) die nötigen Mittel durch Aufbau und Verkauf einer Bierbrauerei und wechselte (nach einer 15-monatigen Europareise 1878–1879) endgültig im Jahre 1882 nach Paris (rue Meissonnier) über, wo er die zweite Hälfte seines Lebens der Forschung und dem weitgespannten Briefkontakt (3000 Briefe) mit nahezu allen Fachvertretern der Welt widmete. Graziadio Ascoli nannte ihn 1900 den Fürsten der spanischen Philologen.
Cuervos Wörterbuch Diccionario de construcción y régimen de la lengua castellana (A–B, Paris 1886; C–D, 1893; A–D, 2 Bde., Bogotá 1953–1954, 2270 Seiten; A–Z, 8 Bde., Bogotá 1994, 8225 Seiten, Barcelona 1998), dessen Publikation er abbrach, obwohl sie bis zum Buchstaben L vorbereitet war, und das erst 80 Jahre nach seinem Tod vollendet wurde, bleibt dennoch eine der größten lexikografischen Ein-Mann-Leistungen überhaupt.
Apuntaciones críticas sobre el lenguaje bogotano, Bogotá 1867–1872, 9. Auflage 1955
(mit Miguel Antonio Caro) Gramática de la lengua latina para el uso de los que hablan castellano, Bogotá 1867, 1869; 10. Auflage, Bogotá 1972
(Bearbeiter) Andrés Bello, Gramática de la lengua castellana destinada al uso de los Americanos, Paris 1891, 1898; hrsg. von Ramón Trujillo, 2 Bde., Madrid 1988
(mit Angel Cuervo [1838–1896]) Vida de Rufino Cuervo [1801-1853] y noticias de su época, 2 Bde., Paris 1891
(Hrsg.) Angel Cuervo, Cómo se evapora un ejército, recuerdos personales de la campaña que concluyó el 18 de julio de 1861 con la toma de Bogotá por los revolucionarios, Chartres 1900
El Castellano en América, Bogotá 1935 (darin: Manuel Antonio Bonilla, Don Rufino José Cuervo y su obra)
Escritos literarios, hrsg. von Nicolás Bayona Posada, Bogotá 1939
Obras ineditas de Rufino J. Cuervo, hrsg. von Félix Restrepo, S.J. [1887-1965], Bogotá 1944
El castellano en América, Buenos Aires 1947 (mit einer Studie über Cuervo von Rodolfo N. Ragucci)
Disquisiciones sobre filología castellana, hrsg. von Rafael Torres Quintero, Bogotá 1950
Obras, 2 Bde., Bogotá 1954
Notas a la gramática de la lengua castellana de don Andrés Bello, hrsg. von Ignacio Ahumada Lada, Bogotá 1981
Fernando Antonio Martínez (Hrsg.), Ramón Menéndez Pidal y Rufino José Cuervo. Correspondencia epistolar (in: Thesaurus, XXIII, 1968, págs. 417-479); Bogotá 1969
Epistolario de Rufino José Cuervo y Emilio Teza [1831-1912], hrsg. von Ana Hauser y Jorge Páramo Pomareda, Bogotá 1965 (Archivo Epistolar Colombiano 1)
Epistolario de Rufino José Cuervo y Hugo Schuchardt, hrsg. von Dieter Bross, Bogotá 1968 (Archivo Epistolar Colombiano 2)
Epistolario de Rufino José Cuervo con Luis María Lleras [1842-1885] y otros amigos y familiares, hrsg. von Guillermo Hernández de Alba, Bogotá 1969 (Archivo Epistolar Colombiano 3)
Epistolario de Rufino José Cuervo y Belisario Peña [1834-1906], hrsg. von Vicente Pérez Silva, Bogotá 1972 (Archivo Epistolar Colombiano 4)
Epistolario de Rufino José Cuervo con los miembros de la Academia Colombiana, hrsg. von Mario Germán Romero, Bogotá 1972 (Archivo Epistolar Colombiano 5)
Epistolario de Rufino José Cuervo y Miguel Antonio Caro con Antonio Gómez Restrepo [1869-1947], hrsg. von Mario Germán Romero, Bogotá 1973 (Archivo Epistolar Colombiano 6)
Epistolario de Rufino José Cuervo con filólogos de Alemania, Austria y Suiza y noticias de las demás relaciones de Cuervo con estos países y sus representantes, hrsg. von Günther Schütz, 2 Bde., Bogotá 1976 (Archivo Epistolar Colombiano 8 und 9)
Epistolario de Ezequiel Uricoechea con Rufino José Cuervo y Miguel Antonio Caro, hrsg. von Mario Germán Romero, Bogotá 1976 (Archivo Epistolar Colombiano 10)
Epistolario de Rufino José Cuervo y Raymond Foulché-Delbosc, hrsg. von Charles Leselbaum, Bogotá 1977 (Archivo Epistolar Colombiano 11)
Epistolario de Rufino José Cuervo con Miguel Antonio Caro, hrsg. von Mario Germán Romero, Bogotá 1978 (Archivo Epistolar Colombiano 13)
Epistolario de Manuel Antonio Caro [1835-1903], Rufino José Cuervo y otros colombianos con Joaquín García Izcabalceta [1825-1894], hrsg. von Mario Germán Romero. (Introducción de Ignacio Bernal), Bogotá 1980 (Archivo Epistolar Colombiano 14)
Epistolario de Cecilio Acosta [1818-1881] con Miguel Antonio Caro, Rufino José Cuervo y otros colombianos, hrsg. von Mario Germán Romero, Bogotá 1981 (Archivo Epistolar Colombiano 15)
Epistolario de Miguel Antonio Caro y Rufino José Cuervo con Rafael Angel de la Peña [1837-1906] y otros mexicanos, hrsg. von Angelina Araújo Vélez, Bogotá 1983 (Archivo Epistolar Colombiano 18)
Epistolario de Rufino José Cuervo con Alfred Morel-Fatio, Gaston Paris y otros hispanistas de lengua francesa, hrsg. von Mario Germán Romero, Santafé de Bogotá 1987 (Archivo Epistolar Colombiano 19)
Epistolario de Rufino José Cuervo con corresponsales españoles, hrsg. von Carlos E. Mesa, C.M.F., Bogotá 1989 (Archivo Epistolar Colombiano 20)
Epistolario de Angel y Rufino José Cuervo con colombianos, hrsg. von Angelina Aráujo Vélez, Bogotá 1990 (Archivo Epistolar Colombiano 21)
Epistolario de Rufino José Cuervo con corresponsales hispano-americanos, hrsg. von Mario Germán Romero, Bogotá 1992 (Archivo Epistolar Colombiano 22)
Epistolario de Rufino J. y Angel Cuervo con corresponsales colombianos. Segunda parte, hrsg. von Angelina Aráujo Vélez, Bogotá 1993 (Archivo Epistolar Colombiano 24)