Phân kỳ Kullback–Leibler

Lý thuyết thông tin
Entropy thông tin Differential entropy Conditional entropy Joint entropy Mutual information Conditional mutual information Phân kỳ Kullback–Leibler Entropy rate
Asymptotic equipartition property Rate–distortion theory
Shannon's source coding theorem Channel capacity Định lý mã hóa trên kênh nhiễu Shannon–Hartley theorem
x t s

Trong toán học thống kê, phân kỳ Kullback–Leibler (hay còn gọi là khoảng cách Kullback–Leibler, entropy tương đối) là một phép đo cách một phân phối xác suất khác biệt so với cái còn lại, phân phối xác suất tham chiếu.^[1][2] Các ứng dụng chứa đặc tính entropy thông tin quan hệ trong các hệ thống thông tin, ngẫu nhiên theo chuỗi thời gian liên tục, và thông tin đạt được khi so sánh các mô hình thống kê suy luận. Tương phản với sự thay đổi thông tin, phân kỳ Kullback–Leibler là một phép đo bất đối xứng phân phối thông minh và vì vậy không đủ điều kiện là một metric thống kê có tính lây lan. Trong trường hợp đơn giản, một phân kỳ Kullback–Leibler có giá trị 0 chỉ ra rằng hai phân phối là giống nhau. Nói cách đơn giản, phân kỳ Kullback–Leibler là một phép đo sự ngạc nhiên, với nhiều ứng dụng khác nhau như thống kê ứng dụng, cơ học chất lưu, khoa học thần kinh và học máy.

Tham khảo

1. Kullback, S.; Leibler, R.A. (1951). “On information and sufficiency” (PDF). Annals of Mathematical Statistics. 22 (1): 79–86. doi:10.1214/aoms/1177729694. MR 0039968.
2. Kullback, S. (1959), Information Theory and Statistics, John Wiley & Sons. Republished by Dover Publications in 1968; reprinted in 1978: ISBN 0-8446-5625-9.

Liên kết ngoài

• Information Theoretical Estimators Toolbox
• Ruby gem for calculating Kullback–Leibler divergence
• Jon Shlens' tutorial on Kullback–Leibler divergence and likelihood theory
• Matlab code for calculating Kullback–Leibler divergence for discrete distributions Lưu trữ 2007-09-29 tại Wayback Machine
• Sergio Verdú, Relative Entropy, Conference on Neural Information Processing Systems 2009. One-hour video lecture.
• A modern summary of info-theoretic divergence measures