Неравенство Гаусса

В теории вероятностей неравенство Гаусса даёт верхнюю границу вероятности того, что одномодальная случайная величина выходит за пределы интервала с центром в её моде.

Пусть X — одномодальная случайная величина с модой m и пусть τ ² есть математическое ожидание (X − m)². (τ² может также быть выражено как (μ − m)² + σ², где μ и σ являются средним значением и стандартным отклонением X.)

${\displaystyle \Pr(|X-m|>k)\leq {\begin{cases}\left({\frac {2\tau }{3k}}\right)^{2},&{\text{if }}k\geq {\frac {2\tau }{\sqrt {3}}};\\[6pt]1-{\frac {k}{\tau {\sqrt {3}}}},&{\text{if }}0\leq k\leq {\frac {2\tau }{\sqrt {3}}}.\end{cases}}}$

Эта теорема была впервые доказана Гауссом в 1823 году.

Доказательство

Без ограничения общности можно считать, что мода находится в нуле, то есть ${\displaystyle m=0}$.

Переход к квантилям

Рассмотрим вероятность того, что выполняется неравенство ${\displaystyle \left\vert X\right\vert \leq x}$, как функцию от ${\displaystyle x}$:

${\displaystyle p\left(x\right)=\int \limits _{-x}^{x}f\left(z\right)dz.}$

Так как ${\displaystyle f\left(x\right)}$ является неотрицательной функцией, то ${\displaystyle p(x)}$растёт с ростом ${\displaystyle x}$.

Кроме того, по определению определённого интеграла:

${\displaystyle p\left(0\right)=0.}$

В силу формулы Лейбница:

${\displaystyle {\frac {dp}{dx}}=f\left(x\right)+f\left(-x\right).}$

Рассмотрим обратную функцию (квантиль) распределения случайной величины ${\displaystyle \left\vert X\right\vert }$:

${\displaystyle x=q\left(p\right).}$

В силу теоремы о производной обратной функции:

${\displaystyle q^{\prime }\left(p\right)={\frac {dx}{dp}}=\left[{\frac {dp}{dx}}\right]^{-1}={\frac {1}{f\left(x\right)+f\left(-x\right)}}.}$

Заметим, что с ростом ${\displaystyle p}$возрастает и ${\displaystyle x}$, в силу унимодальности с ростом по модулю ${\displaystyle x}$функция ${\displaystyle f\left(x\right)}$не возрастает, значит с ростом ${\displaystyle x}$функция ${\displaystyle q^{\prime }\left(p\right)}$не убывает.

Линеаризация функции ${\displaystyle q\left(p\right)}$

Выберем произвольную точку ${\displaystyle q_{0}=q\left(p_{0}\right)}$ и линеаризуем ${\displaystyle q\left(p\right)}$ точке ${\displaystyle p_{0}}$, то есть рассмотрим уравнение касательной прямой к этой функции в данной точке:

${\displaystyle L\left(p\right)=q\left(p_{0}\right)+q^{\prime }\left(p_{0}\right)\left(p-p_{0}\right)=q_{0}+q^{\prime }\left(p_{0}\right)\left(p-p_{0}\right).}$

Данное уравнение можно переписать следующим образом:

${\displaystyle L\left(p\right)=q^{\prime }\left(p_{0}\right)\left(p-p_{1}\right),}$

где

${\displaystyle p_{1}=p_{0}-{\frac {q_{0}}{q^{\prime }\left(p_{0}\right)}}=p_{0}\left(1-{\frac {q_{0}}{p_{0}\cdot q^{\prime }\left(p_{0}\right)}}\right)=g\cdot p_{0}.}$

Поскольку величины ${\displaystyle p_{0}}$, ${\displaystyle q_{0}}$и ${\displaystyle q^{\prime }\left(p_{0}\right)}$являются неотрицательными, то

${\displaystyle 0\leq p_{1}\leq p_{0},}$

а значит

${\displaystyle 0\leq g\leq 1.}$

Так как ${\displaystyle q^{\prime }\left(p\right)}$ не убывает с ростом ${\displaystyle p}$, а ${\displaystyle L^{\prime }\left(p\right)=q^{\prime }\left(p_{0}\right)=\operatorname {const} ,}$то разность ${\displaystyle q^{\prime }\left(p\right)-L^{\prime }\left(p\right)}$ имеет тот же знак, что ${\displaystyle p-p_{0}}$. Из этого следует, что величина ${\displaystyle q\left(p\right)-L\left(p\right)}$ всегда является неотрицательной, а следовательно:

${\displaystyle q\left(p\right)\geq L\left(p\right).}$

Поскольку ${\displaystyle q\left(p\right)\geq 0}$ то из ${\displaystyle L\left(p\right)\geq 0}$ (то есть из ${\displaystyle p\geq p_{1}}$) следует

${\displaystyle L^{2}\left(p\right)\leq q^{2}\left(p\right)}$.

Получение оценки

Проинтегрируем последнее неравенство в пределах от ${\displaystyle p_{1}}$до ${\displaystyle 1}$:

${\displaystyle \int _{p_{1}}^{1}L^{2}\left(p\right)dp\leq \int _{p_{1}}^{1}q^{2}\left(p\right)dp\leq \int _{0}^{1}q^{2}\left(p\right)dp=\int _{-\infty }^{+\infty }x^{2}\cdot f\left(x\right)dx.}$

Последнее выражение обозначим как ${\displaystyle \tau ^{2}}$:

${\displaystyle \tau ^{2}=\int _{-\infty }^{+\infty }x^{2}\cdot f\left(x\right)dx.}$

Данная величина есть математическое ожидание квадрата случайной величины ${\displaystyle X}$. По свойствам дисперсии:

${\displaystyle \tau ^{2}=\mu ^{2}+\sigma ^{2},}$

где ${\displaystyle \sigma ^{2}}$— дисперсия случайной величины ${\displaystyle X}$, ${\displaystyle \mu }$ — её математическое ожидание.

Вычислим теперь интеграл в левой части последнего неравенства:

${\displaystyle \int _{p_{1}}^{1}L^{2}\left(p\right)dp=\int _{p_{1}}^{1}\left[q^{\prime }\left(p_{0}\right)\right]^{2}\left(p-p_{1}\right)^{2}dp=\left[q^{\prime }\left(p_{0}\right)\right]^{2}\left.{\frac {\left(p-p_{1}\right)^{3}}{3}}\right|_{p_{1}}^{1}=\left[q^{\prime }\left(p_{0}\right)\right]^{2}{\frac {\left(1-p_{1}\right)^{3}}{3}}\leq \tau ^{2}}$

${\displaystyle p_{1}=p_{0}-{\frac {q_{0}}{q^{\prime }\left(p_{0}\right)}}.}$

${\displaystyle p_{0}-p_{1}={\frac {q_{0}}{q^{\prime }\left(p_{0}\right)}}}$

${\displaystyle q^{\prime }\left(p_{0}\right)={\frac {q_{0}}{p_{0}-p_{1}}}}$

${\displaystyle \left[{\frac {q_{0}}{p_{0}-p_{1}}}\right]^{2}{\frac {\left(1-p_{1}\right)^{3}}{3}}\leq \tau ^{2}}$

Преобразуем это неравенство к виду

${\displaystyle {\frac {q_{0}^{2}}{\tau ^{2}}}\leq {\frac {3\left(p_{0}-p_{1}\right)^{2}}{\left(1-p_{1}\right)^{3}}}={\frac {3\left(p_{0}-gp_{0}\right)^{2}}{\left(1-gp_{0}\right)^{3}}}={\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}.}$

Исследование верхней границы

Исследуем верхнюю границу на экстремальные значения (в зависимости от значения ${\displaystyle g}$). Начнём с нахождения корней производной:

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial g}}\left[{\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}\right]=\\&=3p_{0}^{2}\cdot {\frac {2\left(1-g\right)\cdot \left(-1\right)\cdot \left(1-gp_{0}\right)^{3}-\left(1-g\right)^{2}\cdot 3\left(1-gp_{0}\right)^{2}\cdot \left(-p_{0}\right)}{\left(1-gp_{0}\right)^{6}}}=\\&={\frac {3p_{0}^{2}\left(1-g\right)\left(1-gp_{0}\right)^{2}\left[-2\left(1-gp_{0}\right)+3\left(1-g\right)p_{0}\right]}{\left(1-gp_{0}\right)^{6}}}=\\&={\frac {3p_{0}^{2}\left(1-g\right)}{\left(1-gp_{0}\right)^{4}}}\left[-2+2gp_{0}+3p_{0}-3gp_{0}\right]=\\&=-{\frac {3p_{0}^{2}\left(1-g\right)}{\left(1-gp_{0}\right)^{4}}}\left[2-3p_{0}+gp_{0}\right]\\\end{aligned}}}$

Множитель перед квадратными скобками всегда отрицателен. Определим, когда выражения в квадратных скобках обращается в нуль:

${\displaystyle 2-3p_{0}+g_{0}\cdot p_{0}=0.}$

Решая данное уравнение, получим:

${\displaystyle g_{0}\cdot p_{0}=3p_{0}-2.}$

${\displaystyle g_{0}=3-{\frac {2}{p_{0}}}.}$

Величина ${\displaystyle g}$ также должно удовлетворять условию ${\displaystyle 0\leq g\leq 1}$ :

${\displaystyle 0\leq 3-{\frac {2}{p_{0}}}\leq 1}$

Решая данное неравенство, получим:

${\displaystyle -3\leq -{\frac {2}{p_{0}}}\leq -2}$

${\displaystyle 2\leq {\frac {2}{p_{0}}}\leq 3}$

${\displaystyle {\frac {1}{3}}\leq {\frac {p_{0}}{2}}\leq {\frac {1}{2}}}$

${\displaystyle {\frac {2}{3}}\leq p_{0}\leq 1.}$

Правое неравенство не даёт дополнительной информации. Левое же говорит, что корень будет принадлежать ${\displaystyle \left[0;1\right]}$ только при ${\displaystyle p_{0}\geq {\frac {2}{3}}.}$

Рассмотрим сначала случай ${\displaystyle p_{0}\leq {\frac {2}{3}}}$.

В этом случае всегда

${\displaystyle {\frac {\partial }{\partial g}}\left[{\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}\right]\leq 0,}$

а следовательно максимум выражения в квадратных скобках достигается при ${\displaystyle g=0}$:

${\displaystyle {\frac {q_{0}^{2}}{\tau ^{2}}}\leq 3p_{0}^{2}}$

или

${\displaystyle p_{0}\leq {\frac {q_{0}}{\tau {\sqrt {3}}}}.}$

Если же ${\displaystyle p_{0}>{\frac {2}{3}}}$, то максимум будет в точке ${\displaystyle g_{0}=3-{\frac {2}{p_{0}}}={\frac {3p_{0}-2}{p_{0}}}.}$ Вычислим необходимые нам величины:

${\displaystyle 1-g_{0}=1-3+{\frac {2}{p_{0}}}={\frac {2}{p_{0}}}-2={\frac {2\left(1-p_{0}\right)}{p_{0}}}}$

и

${\displaystyle 1-g_{0}p_{0}=1-\left(3p_{0}-2\right)=3\left(1-p_{0}\right).}$

Подставляя эти выражения в исследуемое неравенство, получим:

${\displaystyle {\frac {q_{0}^{2}}{\tau ^{2}}}\leq {\frac {3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}}={\frac {3p_{0}^{2}}{3^{3}\left(1-p_{0}\right)^{3}}}{\frac {2^{2}\left(1-p_{0}\right)^{2}}{p_{0}^{2}}}=\left({\frac {2}{3}}\right)^{2}{\frac {1}{1-p_{0}}}}$

или

${\displaystyle 1-p_{0}\leq \left({\frac {2}{3}}\right)^{2}{\frac {\tau ^{2}}{q_{0}^{2}}}.}$

Объединим полученные неравенства:

${\displaystyle {\frac {q_{0}^{2}}{\tau ^{2}}}\leq {\begin{cases}3p_{0}^{2},&p_{0}\leq {\frac {2}{3}}\\{\frac {4}{9}}{\frac {1}{\left(1-p_{0}\right)}},&p_{0}>{\frac {2}{3}}\end{cases}}}$

Извлекая квадратный корень, окончательно получим:

${\displaystyle {\frac {q_{0}}{\tau }}\leq {\begin{cases}{\sqrt {3}}p_{0},&p_{0}\leq {\frac {2}{3}}\\{\frac {2}{3}}{\frac {1}{\sqrt {1-p_{0}}}},&p_{0}>{\frac {2}{3}}\end{cases}}}$

Обращение неравенств

Если ${\displaystyle p_{0}\leq {\frac {2}{3}}}$, то

${\displaystyle {\frac {q_{0}^{2}}{\tau ^{2}}}\leq 3p_{0}^{2}\leq 3\left({\frac {2}{3}}\right)^{2}={\frac {4}{3}}.}$

Откуда получаем

${\displaystyle q_{0}\leq {\frac {2\tau }{\sqrt {3}}}.}$

Это позволяет получить следующее неравенство:

${\displaystyle 1-p_{0}={\begin{cases}1-{\frac {q_{0}}{{\sqrt {3}}\tau }},&q_{0}\leq {\frac {2\tau }{\sqrt {3}}}\\{\frac {4}{9}}{\frac {\tau ^{2}}{q_{0}^{2}}},&q_{0}\geq {\frac {2\tau }{\sqrt {3}}}\end{cases}}}$

Обозначая ${\displaystyle p_{0}=p}$ и ${\displaystyle q_{0}=x}$, получим:

${\displaystyle \Pr \left\{\left|X\right|>x\right\}={\begin{cases}1-{\frac {x}{{\sqrt {3}}\tau }},&x\leq {\frac {2\tau }{\sqrt {3}}}\\{\frac {4}{9}}{\frac {\tau ^{2}}{x^{2}}},&x\geq {\frac {2\tau }{\sqrt {3}}}\end{cases}}.}$

Завершение доказательства

Выше мы предполагали, что мода случайной величины ${\displaystyle X}$ равна нулю. В случае произвольной моды ${\displaystyle m}$, нужно приведённые выше рассуждения применить к случайной величине ${\displaystyle X-m}$, мода которой, очевидно, равна нулю. Тогда последняя формула примет вид:

${\displaystyle \Pr \left\{\left|X-m\right|>x\right\}={\begin{cases}1-{\frac {x}{{\sqrt {3}}\tau }},&x\leq {\frac {2\tau }{\sqrt {3}}}\\{\frac {4}{9}}{\frac {\tau ^{2}}{x^{2}}},&x\geq {\frac {2\tau }{\sqrt {3}}}\end{cases}}.}$

Величина ${\displaystyle \tau ^{2}}$перейдём, по свойствам математического ожидания и дисперсии, в

${\displaystyle \tau ^{2}=\left(\mu -m\right)^{2}+\sigma ^{2}.}$

Таким образом, теорема полностью доказана.

См. также

• Неравенство Высочанского — Петунина, похожий результат, но интервал строится с центром в среднем значении, а не в моде.
• Неравенство Чебышёва, интервал строится с центром в среднем значении и отсутствует условие одномодальности.

Ссылки

• Gauss, C. F. Theoria Combinationis Observationum Erroribus Minimis Obnoxiae, Pars Prior (англ.) // Commentationes Societatis Regiae Scientiarum Gottingensis Recentiores : journal. — 1823. — Vol. 5.
• Gauss C. F. Gauss’s work 1803-1826) on the Theory of Least Squares / English translation by H. F. Trotter. — Princeton, NJ: Princeton University Press, 1957. — С. 10—13. Архивировано 24 декабря 2016 года. Архивная копия от 24 декабря 2016 на Wayback Machine
• Upton, Graham; Cook, Ian. Gauss inequality // A Dictionary of Statistics (англ.). — Oxford University Press, 2008.
• Sellke, T.M.; Sellke, S.H. Chebyshev inequalities for unimodal distributions (англ.) // American Statistician^[англ.] : journal. — American Statistical Association, 1997. — Vol. 51, no. 1. — P. 34—40. — doi:10.2307/2684690. — JSTOR 2684690.
• Pukelsheim, F. The Three Sigma Rule (англ.) // American Statistician^[англ.] : journal. — American Statistical Association, 1994. — Vol. 48, no. 2. — P. 88—91. — doi:10.2307/2684253. — JSTOR 2684253.