Ядерная регрессия

Ядерная регрессия (англ. kernel regression) — непараметрический статистический метод, позволяющий оценить условное математическое ожидание случайной величины. Его смысл заключается в поиске нелинейного отношения между парой случайных величин X и Y.

В любой непараметрической регрессии условное матожидание величины ${\displaystyle Y}$ относительно величины ${\displaystyle X}$ можно записать так:

${\displaystyle \operatorname {E} (Y|X)=m(X)}$

где ${\displaystyle m}$ — некая неизвестная функция.

Ядерная регрессия Надарая — Уотсона

Надарая и Уотсон одновременно (в 1964 году) предложили оценивать ${\displaystyle m}$ как локально взвешенное среднее, где веса определялись бы ядром^[1][2][3]. Оценка Надарая — Уотсона:

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

где ${\displaystyle K}$ — ядро с шириной окна ${\displaystyle h}$. Знаменатель представляет собой весовой член с единичной суммой.

Получение

${\displaystyle \operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy}$

Находя ядерную оценку плотности для совместного распределения f(x,y) и распределения f(x) с ядром K,

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}$,
${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}$,

получаем

${\displaystyle \operatorname {\hat {E}} (Y|X=x)=\int {\frac {y\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}}dy,}$

${\displaystyle \operatorname {\hat {E}} (Y|X=x)={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}},}$

${\displaystyle \operatorname {\hat {E}} (Y|X=x)={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}},}$

это и есть оценка Надарая — Уотсона.

Ядерная оценка Пристли — Чжао

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=1}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

Ядерная оценка Гассера — Мюллера

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)du\right]y_{i}}$

где ${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}}$

В статистических пакетах

• MATLAB: свободно распространяемый инструментарий для ядерных регрессий, оценок плотности и проч. доступны по ссылке (является приложением к книге^[4]).
• Stata: kernreg2
• R: функция npreg в пакете np способна построить ядерную регрессию^[5][6].
• Python: пакет kernel_regression (расширение sklearn).
• GNU Octave: математический программный пакет.

Примечания

1. Nadaraya, E. A. On Estimating Regression (англ.) // Theory of Probability and its Applications^[англ.] : journal. — 1964. — Vol. 9, no. 1. — P. 141—142. — doi:10.1137/1109020.
2. Watson, G. S. Smooth regression analysis (неопр.) // Sankhyā: The Indian Journal of Statistics, Series A. — 1964. — Т. 26, № 4. — С. 359—372. — JSTOR 25049340.
3. Bierens, Herman J. The Nadaraya–Watson kernel regression function estimator // Topics in Advanced Econometrics (неопр.). — New York: Cambridge University Press, 1994. — С. 212—247. — ISBN 0-521-41900-X.
4. Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing (англ.). — Singapore: World Scientific Publishing, 2012. — ISBN 978-981-4405-48-5.
5. np: Nonparametric kernel smoothing methods for mixed data types  (неопр.). Дата обращения: 31 августа 2017. Архивировано 17 августа 2020 года.
6. Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R (англ.). — CRC Press, 2014. — P. 98—106. — ISBN 978-1-4398-7343-4.

Литература

• Henderson, Daniel J.; Parmeter, Christopher F. Applied Nonparametric Econometrics (неопр.). — Cambridge University Press, 2015. — ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice (англ.). — Princeton University Press, 2007. — ISBN 0-691-12161-3.
• Pagan, A.; Ullah, A. Nonparametric Econometrics (неопр.). — Cambridge University Press, 1999. — ISBN 0-521-35564-8.
• Simonoff, Jeffrey S. Smoothing Methods in Statistics (неопр.). — Springer, 1996. — ISBN 0-387-94716-7.

Ссылки

• Scale-adaptive kernel regression (with Matlab software).
• Tutorial of Kernel regression using spreadsheet (with Microsoft Excel).
• An online kernel regression demonstration Requires .NET 3.0 or later.
• Kernel regression with automatic bandwidth selection (with Python)