Bất đẳng thức Pinsker

Trong lý thuyết thông tin, bất đẳng thức Pinsker, đặt tên theo Mark Semenovich Pinsker, là một bất đẳng thức liên hệ khoảng cách Kullback-Leibler và khoảng cách ${\displaystyle \ell _{1}}$. Nếu ${\displaystyle P,Q}$ là hai phân bố xác suất thì

${\displaystyle 2D(P\Vert Q)\geq \Vert P(A)-Q(A)\Vert _{1}^{2}}$

trong đó ${\displaystyle D(P\Vert Q)}$ là khoảng cách Kullback-Leibler theo đơn vị nat và ${\displaystyle \Vert P(A)-Q(A)\Vert _{1}}$ là khoảng cách ${\displaystyle \ell _{1}}$.

Tham khảo

• Cover, Thomas M.; Thomas, Joy A. (2006). Elements of Information Theory (ấn bản thứ 2). Willey-Interscience.
• Cesa-Bianchi, Nicolo; Lugosi, Gábor (2006). Prediction, Learning, and Games. Cambridge University Press.

Tham khảo