Bài toán ngược hay bài toán nghịch đảo (Inverse problem) trong khoa học là quá trình tính toán ra các nhân tố nhân quả (causal factors) dựa theo tập hợp các quan sát những đại lượng do chúng gây ra [1].
Ví dụ, tính toán hình ảnh trong chụp cắt lớp CT, truy tìm nguồn âm thanh khi nghe được, hoặc tính mật độ của Trái Đất từ các kết quả đo trường trọng lực.
Bài toán được gọi là bài toán nghịch đảo vì nó bắt đầu với kết quả và sau đó tính toán ra các nguyên nhân. Nó ngược với bài toán thuận (forward problem) là bài toán bắt đầu với các nguyên nhân và sau đó tính kết quả.
Bài toán ngược là một trong số các bài toán quan trọng nhất trong khoa học và toán học bởi vì chúng cho chúng ta biết về các tham số mà chúng ta không thể trực tiếp quan sát được. Chúng có ứng dụng rộng rãi trong quang học, radar, âm học, lý thuyết truyền thông, xử lý tín hiệu, hình ảnh y học, thị giác máy tính (computer vision), địa vật lý, hải dương học, thiên văn học, viễn thám, xử lý ngôn ngữ tự nhiên, học máy (machine learning), kiểm tra không phá hủy và nhiều lĩnh vực khác.
Tuy nhiên hầu hết các bài toán ngược lại thường là không giải được một cách tường minh. Jacques Hadamard phân loại rằng bài toán đặt vấn đề tốt (Well-posed problem) thì có nghiệm số tồn tại và đơn nhất, và dáng điệu nghiệm số thay đổi liên tục theo điều kiện ban đầu. Bài toán đặt vấn đề tồi (Ill-posed problem) thì có nghiệm số tồi. Đồng thời các phép điện toán số với số liệu đo rời rạc thì dẫn đến sự bất định số, và nghiệm số giải được chỉ có thể là gần đúng và không đơn nhất [2].
Nhà vật lí Liên Xô người Armenia Viktor Ambartsumian là người đầu tiên khám phá và giới thiệu bài toán ngược [3][4].
Khi còn là sinh viên Ambartsumian nghiên cứu lý thuyết cấu trúc nguyên tử, sự tồn tại các mức năng lượng, phương trình Schrödinger và các tính chất của nó. Ông đã chỉ ra sự tương đồng rõ ràng giữa các mức năng lượng rời rạc và các giá trị riêng của phương trình vi phân. Sau đó ông đưa ra bài toán, rằng với một họ các giá trị riêng cho trước, có thể tìm ra dạng của các phương trình mà các giá trị riêng của chúng là những giá trị đã cho đó? Về cơ bản Ambartsumian đang xem xét bài toán Sturm-Liouville nghịch đảo, điều này liên quan đến việc xác định các phương trình của một chuỗi rung động. Bài báo của ông được xuất bản năm 1929 trên tạp chí vật lý Đức Zeitschrift für Physik, nhưng rồi nằm trong bóng tối trong một thời gian khá dài. Mô tả tình huống này sau nhiều thập kỷ, Ambartsumian nói, "Nếu một nhà thiên văn học xuất bản một bài báo có nội dung toán học trong một tạp chí vật lý, thì điều có thể xảy ra nhất là nó sẽ bị quên lãng".
Tuy nhiên, vào cuối Thế chiến thứ hai, bài viết của Ambartsumian lúc 20 tuổi, đã được các nhà toán học người Thụy Điển tìm ra và tạo thành điểm xuất phát cho toàn bộ lĩnh vực nghiên cứu về các bài toán nghịch đảo, trở thành nền tảng của toàn bộ phân ngành.
Lúc mới ra đời thì bài toán ngược thuộc dạng thuần túy lý thuyết, với nghiệm số là các hàm hay trị. Ngày nay nó được mở rộng, gồm cả xác định nhân tố nhân quả theo tập hợp các quan sát các biểu hiện của nó, cũng như áp dụng vào các bài toán phi tuyến.
Các tạp chí: