Cao Xuân Dục sinh năm 1843 tại thôn Thịnh Mỹ (Thịnh Khánh), xã Cao Xá, huyện Đông Thành, phủ Diễn Châu, tỉnh Nghệ An. Cao Xuân Dục nổi tiếng thông minh từ nhỏ, khi theo học được thầy dạy yêu mến, gả cho con gái. Nhưng về đường khoa cử, Cao Xuân Dục lại khá lận đận, muộn mằn, mãi đến năm ông 34 tuổi (1876) mới đỗ Cử nhân, năm sau đi thi Hội lại bị trượt. Từ sau đó trở đi, Cao Xuân Dục không tiếp tục con đường cử tử nữa, mà bước chân vào chính trường với chức quan đầu tiên là Hậu bổ Quảng Ngãi.
Trong quá trình làm quan, ông đã trải qua những chức:
Đông các Đại học sĩ là một trong Tứ trụ Triều đình, bốn vị quan lớn có nhiệm vụ bàn bạc với vua những chuyện quan trọng trong việc giữ gìn cơ sở đất nước. Đông các Đại học sĩ có nhiệm vụ lập dựng các văn thư quan trọng, coi sóc việc tuyển chọn nhân sự của triều đình.
Khi Trương Như Cương theo Pháp muốn làm Phó vương, bắt các quan trong triều phải ký vào biểu dâng lên Vua, Cao Xuân Dục đã không nghe theo, còn đề vào mấy câu:
天 無 二 日
國 無 兩 王
臣 高 春 育
不 可 記
Thiên Vô Nhị Nhật
Quốc Vô Lưỡng Vương
Thần Cao Xuân Dục
Bất Khả Ký
Trời không có hai mặt trời
Nước không có hai vua
Thần Cao Xuân Dục
Không thể ký
Do đó mà ông bị gièm, giáng chức về làm Tri phủ huyện Quốc Oai[1].
Hoàng Minh Giám, cháu ngoại (con ông Hoàng Tăng Bí), giữ các chức vụ Bộ trưởng Bộ Ngoại giao Việt Nam, Bộ trưởng Bộ Văn hoá, Chủ nhiệm Ủy ban Đối ngoại Quốc hội Việt Nam.
Phó giáo sư Chương Thâu (Quốc Triều Chính Biên Toát Yếu) có viết:
"Cao Xuân Dục có thể xứng đáng là một nhà văn hoá lớn ở nước ta cuối thế kỷ XIX và đầu thế kỷ XX. Đứng đầu bộ Học và Sử Quán, ông chỉ đạo và tham gia biên soạn cùng một số học giả ở hai cơ quan này nhiều bộ sách về sử và địa lý".[2]
Cao Xuân Dục rất có ý thức sưu tầm bảo lưu sách cổ, trong thời gian làm quan khắp nơi, cụ dày công tìm kiếm thuê người chép lại những bộ sách quý hiếm, xây dựng nên Long Cương Bảo tàng Thư viện, một trong vài thư viện lớn bậc nhất ở Nghệ Tĩnh (cùng với Mộng Thương thư trai của gia đình Nguyễn Chi ở Can Lộc).
Tại Thành phố Hồ Chí Minh có một con đường (trước là đường Cần Giuộc, ở Quận 8, gần cầu Chà Và trên đường đi ra phía cầu Nhị Thiên Đường) được đặt tên ông.