Khi làm quan, Từ Đạm là một cộng sự đắc lực của thực dân Pháp, đồng thời lại xem thường dư luận quần chúng, nên bị nhiều người chê trách[2]. Điều ấy đã bộc lộ trong hai câu thơ trong một bài vịnh Kiều:
Năm 1920, ông sửa sang cảnh trí ở núi Dục Thúy (tức núi Non Nước ở Ninh Bình). Nhân đó, ông cho sửa một chỗ đá nhằm làm ghế ngồi, trên có khắc bốn chữ: "Cúc nhân đoàn toạ", lại đục hình hai bàn chân mình vào đá, rồi còn khắc 4 câu thơ như sau:
Vì chuyện đục bàn chân, khắc đá đề thơ như trên, ông càng bị sĩ phu chê trách. Cho nên khi đến thăm núi Dục Thúy, biết việc làm này, thi sĩ Tản Đà cũng đã thuê thợ khắc đá bốn câu thơ đặt cạnh bài thơ của Từ Đạm:
^Từ Thiệp (1886-?), đỗ Phó bảng năm 1895, cùng khoa với anh ruột là Từ Đạm. Ông làm quan trải đến chức Tổng đốc Nam Ngãi (Quảng Nam và Quảng Ngãi), và từng được cử làm chủ khảo trường thi Hương năm 1906. Năm ấy, ông và Tạ Tương vì ăn của đút nên chấm thi bất công, nên có thơ chế giễu như sau: "Tích đã Thiệp rồi Từ điểm lấp/ Văn như Tương nát Tạ khuyên dồn". Đương thời sĩ phu yêu nước và nhân dân tiến bộ xem khinh con người và cuộc đời của hai anh em ông (theo Từ điển nhân vật lịch sử Việt Nam, tr. 935).
^Có một hoàng giáp làm chức Án sát ở Nam Định. Xảy có một tù phạm tự giới thiệu là học trò nghèo bị kết án. Quan hỏi: "Vậy học trò nghèo có biết làm thơ vịnh Kiều không"? Và quan cho ba ngày để làm xong một bài thơ vịnh Kiều. Chỉ mới một đêm, người tù phạm hàn sĩ đã làm xong bài thơ xin đọc cho quan nghe:
Trước đó chúng tôi đã thông báo rằng đây là chuyện đời tư của nghệ sĩ nên rất khó xác nhận. Tuy nhiên vì có nhiều suy đoán vô căn cứ nên chúng tôi thông báo lại 1 lần nữa