Màquina vectorial de rellevància

En matemàtiques, una màquina vectorial de rellevància (RVM) és una tècnica d'aprenentatge automàtic que utilitza la inferència bayesiana per obtenir solucions parsimonioses per a la regressió i la classificació probabilística.^[1] El RVM té una forma funcional idèntica a la màquina vectorial de suport, però proporciona una classificació probabilística.^[2]

En realitat és equivalent a un model de procés gaussià amb funció de covariància:

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

on ${\displaystyle \varphi }$ és la funció del nucli (generalment gaussiana), ${\displaystyle \alpha _{j}}$ són les variàncies de l'a priori sobre el vector pes ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, i ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ són els vectors d'entrada del conjunt d'entrenament.^[3]

En comparació amb les màquines de vectors de suport (SVM), la formulació bayesiana de la RVM evita el conjunt de paràmetres lliures de la SVM (que normalment requereixen post-optimitzacions basades en validació creuada). Tanmateix, els RVM utilitzen un mètode d'aprenentatge semblant a la maximització de les expectatives (EM) i, per tant, corren el risc de tenir mínims locals. Això és a diferència dels algorismes estàndard basats en l'optimització mínima seqüencial (SMO) utilitzats per les SVM, que es garanteixen trobar un òptim global (del problema convex).^[4]

La màquina vectorial de rellevància va ser patentada als Estats Units per Microsoft (la patent va caducar el 4 de setembre de 2019).

Referències

1. Tipping, Michael E. Journal of Machine Learning Research, 1, 2001, pàg. 211–244.
2. «Relevance Vector Machines: An Introduction» (en anglès). [Consulta: 13 febrer 2024].
3. Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines (Tesi) (en anglès), 2004. 
4. Jabbari, Mohammad Reza; Dorafshan, Mohammad Mahdi; Eslamian, Saeid. Chapter 22 - Relevance vector machine (RVM) (en anglès). Elsevier, 2023, p. 365–384. ISBN 978-0-12-821285-1.