Метод релевантных векторов

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации^[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации^[англ.]:

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$,

где ${\displaystyle \varphi }$ является ядерной функцией^[англ.] (обычно, гауссианом), ${\displaystyle \alpha _{j}}$ являются априорными дисперсиями вектора весов ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, а ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ являются входными векторами тренировочного набора^{[англ.][2]}.

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации^[англ.], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США^[англ.] компанией Microsoft^[3].

См. также

• Ядерный метод
• Масштабирование Платта^[англ.]: превращает SVM в вероятностную модель

Примечания

1. Tipping, 2001, с. 211-244.
2. Candela, 2004.
3. Michael E. Tipping, "Relevance vector machine", US 6633857

Литература

• Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research. — 2001. — Т. 1.
• Joaquin Quiñonero Candela. Sparse Probabilistic Linear Models and the RVM // Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines. — Technical University of Denmark, 2004. — (Ph.D.).

Программное обеспечение

• dlib Библиотека на языке C++
• Библиотека ядерных машин
• rvmbinary: пакет на языке R для двоичной классификации
• scikit-rvm
• fast-scikit-rvm, Обучающий курс по методу релевантных векторов

Ссылки

• WEB-страничка Типпинга о Разреженных байесовских моделях и Методе релевантных векторов
• Обучающий курс по методу релевантных векторов Тристана Флетчера
• Обучающий курс по методу релевантных векторов
• Сравнение метода релевантных векторов и метода опорных векторов