Bất đẳng thức Hoeffding

Trong lý thuyết xác suất, bất đẳng thức Hoeffding cho một chặn trên của xác suất một tổng các biến ngẫu nhiên sai lệch với giá trị kỳ vọng. Bất đẳng thức Hoeffding được chứng minh bởi Wassily Hoeffding.

Giả sử

${\displaystyle X_{1},\dots ,X_{n}\!}$

là các biến ngẫu nhiên độc lập. Giả sử ${\displaystyle X_{i}}$ gần như chắc chắn bị chặn; nghĩa là, với mọi ${\displaystyle 1\leq i\leq n}$ ta có

${\displaystyle \Pr(X_{i}\in [a_{i},b_{i}])=1.\!}$

Giá trị trung bình thực nghiệm của các biến đó là

${\displaystyle {\overline {X}}=(X_{1}+\cdots +X_{n})/n\!}$

Ta có các bất đẳng thức sau (Hoeffding 1963, định lý 2 ^[1]):

${\displaystyle \Pr({\overline {X}}-\mathrm {E} [{\overline {X}}]\geq t)\leq \exp \left(-{\frac {2t^{2}n^{2}}{\sum _{i=1}^{n}(b_{i}-a_{i})^{2}}}\right),\!}$

${\displaystyle \Pr(|{\overline {X}}-\mathrm {E} [{\overline {X}}]|\geq t)\leq 2\exp \left(-{\frac {2t^{2}n^{2}}{\sum _{i=1}^{n}(b_{i}-a_{i})^{2}}}\right),\!}$

cho mọi giá trị t dương. Ở đây ${\displaystyle \mathrm {E} [{\overline {X}}]}$ là giá trị kỳ vọng của ${\displaystyle {\overline {X}}}$.

Các bất đẳng thức này là trường hợp đặc biệt của bất đẳng thức Azuma–Hoeffding và của một bất đẳng thức tổng quát hơn nữa là bất đẳng thức Bernstein trong lý thuyết xác suất, chứng minh bởi Sergei Bernstein năm 1923. Chúng cũng là trường hợp đặc biệt của bất đẳng thức McDiarmid.

Các bất đẳng thức này cũng đúng khi ${\displaystyle X_{i}}$ được chọn không thay thế; trong trường hợp này chúng không còn độc lập. Bài báo của Hoeffding cũng chứa một chứng minh của mệnh đề này. Bài báo của Serfling ^[2] chứa một chặn trên chặt hơn một chút trong trường hợp lấy mẫu không thay thế.

Xem thêm

• Bất đẳng thức Bennett
• Bất đẳng thức Chebyshev
• Bất đẳng thức Markov
• Bất đẳng thức Chernoff
• Bổ đề Hoeffding

Tham khảo

1. Wassily Hoeffding, Probability inequalities for sums of bounded random variables, Journal of the American Statistical Association 58 (301): 13–30, tháng 3 năm 1963. (JSTOR)
2. R. J. Serfling, Probability Inequalities for the Sum in Sampling without Replacement, The Annals of Statistics Volume 2, Number 1 (1974), 39–48. (Project Euclid)