Bất đẳng thức Bernstein (lý thuyết xác suất)

Trong lý thuyết xác suất, các bất đẳng thức Bernstein cho chặn trên của xác suất tổng các biến ngẫu nhiên độc lập nhận giá trị lệch khỏi giá trị kì vọng. Trong trường hợp đơn giản nhất, nếu X₁, ..., X_n là các biến ngẫu nhiên Bernoulli độc lập nhận giá trị +1 và −1 với xác suất 1/2, thì với mọi số thực dương ${\displaystyle \varepsilon }$,

${\displaystyle \mathbf {P} \left\{\left|\;{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\;\right|>\varepsilon \right\}\leq 2\exp \left\{-{\frac {n\varepsilon ^{2}}{2(1+\varepsilon /3)}}\right\}.}$

Các bất đẳng thức Bernstein được chứng minh và xuất bản bởi Sergei Bernstein trong thập niên 1920 và 1930.^[1][2][3][4] Sau này các bất đẳng thức này được phát hiện lại ở nhiều dạng khác nhau. Do đó nhiều trường hợp đặc biệt của bất đẳng thức Bernstein còn được gọi là chặn Chernoff, bất đẳng thức Hoeffding và bất đẳng thức Azuma.

Một số bất đẳng thức

1. Đặt X₁, ..., X_n là các biến ngẫu nhiên độc lập có giá trị kì vọng bằng 0. Giả sử |X _i| ≤ M gần như chắc chắn, với mọi i. Khi đó, với mọi t dương,

${\displaystyle \mathbf {P} \left\{\sum _{i=1}^{n}X_{i}>t\right\}\leq \exp \left\{-{\frac {t^{2}/2}{\sum \mathbf {E} X_{j}^{2}+Mt/3}}\right\}.}$

2. Đặt X₁,..., X_n là các biến ngẫu nhiên độc lập. Giả sử với một số thực dương L nào đó và với mọi số nguyên k > 1,

${\displaystyle \mathbf {E} |X_{i}^{k}|\leq {\frac {\mathbf {E} X_{i}^{2}}{2}}L^{k-2}k!}$

thì

${\displaystyle \mathbf {P} \left\{\sum _{i=1}^{n}X_{i}\geq 2t{\sqrt {\sum \mathbf {E} X_{i}^{2}}}\right\}<\exp \left\{-t^{2}\right\},{\text{ khi }}0<t\leq {\frac {\sqrt {\sum \mathbf {E} X_{j}^{2}}}{2L}}.}$

3. Đặt X₁,..., X_n là các biến ngẫu nhiên độc lập. Giả sử

${\displaystyle \mathbf {E} |X_{i}^{k}|\leq {\frac {k!}{4!}}\left({\frac {L}{5}}\right)^{k-4}}$

với mọi số nguyên k > 3. Đặt ${\displaystyle A_{k}=\sum \mathbf {E} X_{i}^{k}}$. Thì,

${\displaystyle \mathbf {P} \left\{\left|\sum _{j=1}^{n}X_{j}-{\frac {A_{3}t^{2}}{3A_{2}}}\right|\geq {\sqrt {2A_{2}}}\,t\left[1+{\frac {A_{4}t^{2}}{6A_{2}^{2}}}\right]\right\}<2\exp \left\{-t^{2}\right\},{\text{ khi }}0<t\leq {\frac {5{\sqrt {2A_{2}}}}{4L}}.}$

4. Bernstein cũng chứng minh tổng quát hóa của các bất đẳng thức trên cho trường hợp các biến ngẫu nhiên phụ thuộc yếu. Chẳng hạn có thể mở rộng bất đẳng thức (2) như sau. Đặt X₁, ..., X_n là các biến ngẫu nhiên bất kì. Giả sử với mọi số nguyên i > 0,

1. ${\displaystyle \mathbf {E} \left\{X_{i}|X_{1},\dots ,X_{i-1}\right\}=0,}$
2. ${\displaystyle \mathbf {E} \left\{X_{i}^{2}|X_{1},\dots ,X_{i-1}\right\}\leq R_{i}\;\mathbf {E} X_{i}^{2},}$
3. ${\displaystyle \mathbf {E} \left\{X_{i}^{k}|X_{1},\dots ,X_{i-1}\right\}\leq {\frac {\mathbf {E} \left\{X_{i}^{2}|X_{1},\dots ,X_{i-1}\right\}}{2}}\;L^{k-2}k!}$

thì

${\displaystyle \mathbf {P} \left\{\sum _{i=1}^{n}X_{i}\geq 2t{\sqrt {\sum _{i=1}^{n}R_{i}\mathbf {E} X_{i}^{2}}}\right\}<\exp(-t^{2}),{\text{ khi }}0<t\leq {\frac {\sqrt {\sum _{i=1}^{n}R_{i}\mathbf {E} X_{i}^{2}}}{2L}}.}$

Ý tưởng của chứng minh

Chứng minh sử dụng bất đẳng thức Markov cho biến ngẫu nhiên ${\displaystyle \exp \left\{\lambda \sum _{j=1}^{n}X_{j}\right\}}$, với giá trị thích hợp cho tham số ${\displaystyle \lambda >0}$.

Xem thêm

• Bất đẳng thức McDiarmid
• Bất đẳng thức Markov
• Bất đẳng thức Hoeffding
• Bất đẳng thức Chebyshev
• Bất đẳng thức Azuma
• Bất đẳng thức Bennett

Tham khảo

(Theo: S.N.Bernstein, Collected Works, Nauka, 1964)

1. S.N.Bernstein, "On a modification of Chebyshev's inequality and of the error formula of Laplace" vol. 4, #5 (original publication: Ann. Sci. Inst. Sav. Ukraine, Sect. Math. 1, 1924)
2. Bernstein, S. N. (1937). "Об определенных модификациях неравенства Чебышева" [On certain modifications of Chebyshev's inequality]. Doklady Akademii Nauk SSSR. Quyển 17 số 6. tr. 275–277.
3. S.N.Bernstein, "Theory of Probability" (Russian), Moscow, 1927
4. J.V.Uspensky, "Introduction to Mathematical Probability", McGraw-Hill Book Company, 1937

Có thể xem một bản dịch của các kết quả này ở Prokhorov, A.V.; Korneichuk, N.P. (2001), "Bernstein inequality", trong Hazewinkel, Michiel (biên tập), Bách khoa toàn thư Toán học, Springer, ISBN 978-1-55608-010-4