Năm 1499, ông thi đỗ Hoàng giáp khoa Kỷ Mùi (1499), niên hiệu Cảnh Thống, đời Lê Hiến Tông. Sau khi đỗ đại khoa, ông làm quan với nhà Lê đến chức Thượng thư Bộ Lại, tước Lan Xuyên Bá.
Năm 1527, Mạc Đăng Dung cướp ngôi nhà Lê, ông là người viết chiếu lên ngôi và được bổ nhiệm làm Thượng thư với nhà Mạc, phong tước Hầu nên các quan lại Nhà Lê coi thường ông.
Theo Thiên Lộc huyện phong thổ chí, lúc Phan Đình Tá về nghỉ hưu có cờ biển đề "Lưỡng triều Thượng thư", Nguyễn Văn Giai liền viết vào thân diều mấy chữ "Thiên cổ tội nhân" để đối chọi với mấy chữ trên lá cờ của ông Tá, có ý mỉa mai ông ăn ở hai lòng. Cũng có ý kiến cho rằng Nguyễn Văn Giai sinh năm 1555, sau Phan Đình Tá 87 năm. Nếu lúc Phan Đình Tá nghỉ hưu Nguyễn Văn Giai có thể viết chữ, thả diều thì ông Tá làm quan đến trên 90 tuổi. Đó cũng là điều khó có thời bấy giờ.