Định lý Bayes

Định lý Bayes (Tiếng Anh: Bayes theorem) là một kết quả của lý thuyết xác suất. Nó phản ánh mối quan hệ giữa xác suất của một biến cố mà không quan tâm các yếu tố khác (gọi là xác suất biên hay xác suất tiền nghiệm) với xác suất của biến cố đó sau khi một biến cố khác đã xảy ra (gọi là xác suất có điều kiện hay xác suất hậu nghiệm). Cụ thể hơn, nó đề cập đến phân bố xác suất có điều kiện của biến ngẫu nhiên A, với giả thiết:

thông tin về một biến khác B: phân bố xác suất có điều kiện của B khi biết A, và
phân bố xác suất của một mình A.

Định lý Bayes là một khái niệm đặt nền tảng cho thống kê Bayes, một trường phái suy luận thống kê dựa trên bằng chứng và niềm tin và tồn tại song song với trường phái suy luận thống kê mẫu lặp (frequentist). Trong suy luận Bayes, xác suất được coi là một phép đo về niềm tin vào khả năng xảy ra một sự kiện, và được cập nhật liên tục mỗi khi quan sát được một bằng chứng (hay một điểm dữ liệu) mới.

Phát biểu định lý

Định lý Bayes cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra. Xác suất này được ký hiệu là P(A|B), và đọc là "xác suất của A nếu có B". Đại lượng này được gọi là xác suất có điều kiện hay xác suất hậu nghiệm vì nó được rút ra từ giá trị được cho của B hoặc phụ thuộc vào giá trị đó.

Theo định lý Bayes, xác suất xảy ra A khi biết B sẽ phụ thuộc vào 3 yếu tố:

Xác suất xảy ra A của riêng nó, không quan tâm đến B. Ký hiệu là P(A) và đọc là xác suất của A. Đây được gọi là xác suất biên duyên hay xác suất tiên nghiệm, nó là "tiên nghiệm" theo nghĩa rằng nó không quan tâm đến bất kỳ thông tin nào về B.
Xác suất xảy ra B của riêng nó, không quan tâm đến A. Ký hiệu là P(B) và đọc là "xác suất của B". Đại lượng này còn gọi là hằng số chuẩn hóa (normalising constant), vì nó luôn giống nhau, không phụ thuộc vào sự kiện A đang muốn biết.
Xác suất xảy ra B khi biết A xảy ra. Ký hiệu là P(B|A) và đọc là "xác suất của B nếu có A". Đại lượng này gọi là khả năng (likelihood) xảy ra B khi biết A đã xảy ra. Chú ý không nhầm lẫn giữa khả năng xảy ra B khi biết A và xác suất xảy ra A khi biết B.

Khi biết ba đại lượng này, xác suất của A khi biết B cho bởi công thức:

P(A|B)={\frac {P(B|A)P(A)}{P(B)}}={\frac {likelihood*prior}{normalizing\_constant}}

Từ đó dẫn tới

P(A|B)P(B)=P(A\cap B)=P(B|A)P(A)\,

Các dạng khác của định lý Bayes

Định lý Bayes thường cũng thường được viết dưới dạng

P(B)=P(A,B)+P(A^{C},B)=P(B|A)P(A)+P(B|A^{C})P(A^{C})\,

hay

P(A|B)={\frac {P(B|A)P(A)}{P(B|A)P(A)+P(B|A^{C})P(A^{C})}}\,,

trong đó A^C là biến cố bù của biến cố A (thường được gọi là "không A"). Tổng quát hơn, với {A_i} tạo thành một phân hoạch của không gian các biến cố,

P(A_{i}|B)={\frac {P(B|A_{i})P(A_{i})}{\sum _{j}P(B|A_{j})P(A_{j})}}\,,

với mọi A_i trong phân hoạch.

Công thức này còn được biết dưới tên công thức xác suất đầy đủ.

Định lý Bayes với hàm mật độ xác suất

Cũng có một dạng của định lý Bayes cho các phân bố liên tục. Đối với chúng, thay cho các xác suất trong định lý Bayes ta dùng hàm mật độ xác suất. Như vậy ta có các công thức tương tự định nghĩa xác suất điều kiện:

f(x|y)={\frac {f(y|x)\,f(x)}{f(y)}}

và công thức tương tự công thức xác suất đầy đủ:

f(x|y)={\frac {f(y|x)\,f(x)}{\int _{-\infty }^{\infty }f(y|x')\,f(x')\,dx'}}.

Ý nghĩa của các thành phần trong các công thức trên là f(x, y) là mật độ phân phối của phân phối đồng thời của các biến ngẫu nhiên X và Y, f(x|y) là mật độ phân phối xác suất hậu nghiệm của X với điều kiện Y=y, f(y|x) = L(x|y) là (một hàm của x) hàm khả năng của X với điều kiện Y=y, và f(x) và f(y) là các mật độ phân phối của X và Y tách biệt nhau, với f(x) là mật độ phân phối tiền nghiệm của X.

Điều kiện mặc định trong các công thức là hàm f khả vi và các tích phân công thức tồn tại.

Ứng dụng của định lý Bayes thường dựa trên một giả thiết có tính triết học Bayesian probability ngầm định rằng độ bất định và kỳ vọng có thể tính toán được giống như là xác suất. Định lý Bayes được đặt theo tên của Reverend Thomas Bayes (1702—1761), người nghiên cứu cách tính một phân bố với tham số là một phân bố nhị phân. Người bạn của ông, Richard Price, chỉnh sửa và giới thiệu công trình năm 1763, sau khi Bayes mất, với tựa đề An Essay towards solving a Problem in the Doctrine of Chances. Pierre-Simon Laplace mở rộng kết quả trong bài luận năm 1774.

Xem thêm

Tham khảo

Các phiên bản gốc của bài luận Bayes bằng tiếng Anh

Thomas Bayes (1763), "An Essay towards solving a Problem in the Doctrine of Chances", Philosophical Transactions of the Royal Society of London, 53.
Thomas Bayes (1763/1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:296-315 (Bayes's essay in modernized notation)
Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances" Lưu trữ 2011-04-10 tại Wayback Machine (Bayes's essay in the original notation)

Bình luận

G.A. Barnard. (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293-295 (biographical remarks)
Daniel Covarrubias "An Essay Towards Solving a Problem in the Doctrine of Chances" Lưu trữ 2005-05-14 tại Wayback Machine (an outline and exposition of Bayes's essay)
Stephen M. Stigler (1982) "Thomas Bayes' Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250-258 (Stigler argues for a revised interpretation of the essay -- recommended)
Isaac Todhunter (1865) A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

Tài liệu xem thêm

Pierre-Simon Laplace (1774), "Mémoire sur la Probabilité des Causes par les Événements," Savants Étranges 6:621-656, also Oeuvres 8:27-65.
Pierre-Simon Laplace (1774/1986), "Memoir on the Probability of the Causes of Events", Statistical Science, 1(3):364–378.
Stephen M. Stigler (1986), "Laplace's 1774 memoir on inverse probability," Statistical Science, 1(3):359–378.
Stephen M. Stigler (1983), "Who Discovered Bayes's Theorem?" The American Statistician, 37(4):290-296.
Jeff Miller. Earliest Known Uses of Some of the Words of Mathematics (B) (very informative -- recommended)
Athanasios Papoulis (1984), Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill.
James Joyce. "Bayes' Theorem", in the Stanford Encyclopedia of Philosophy.