Funcions de pèrdua per a la classificació

(Vermell) estàndard Pèrdua logística (${\displaystyle \gamma =1,\mu =2}$) i (Blau) augment del marge Pèrdua logística (${\displaystyle \gamma =0.2}$

En l'aprenentatge automàtic i l'optimització matemàtica, les funcions de pèrdua per a la classificació són funcions de pèrdua computacionalment factibles que representen el preu pagat per la imprecisió de les prediccions en problemes de classificació (problemes per identificar a quina categoria pertany una observació particular).^[1] Donat ${\displaystyle {\mathcal {X}}}$ com l'espai de totes les entrades possibles (normalment ${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$), i ${\displaystyle {\mathcal {Y}}=\{-1,1\}}$ com el conjunt d'etiquetes (sortides possibles), un objectiu típic dels algorismes de classificació és trobar una funció ${\displaystyle f:{\mathcal {X}}\to {\mathcal {Y}}}$ que prediu millor una etiqueta ${\displaystyle y}$ per a una entrada determinada ${\displaystyle {\vec {x}}}$.^[2] Tanmateix, a causa de la informació incompleta, el soroll en la mesura o els components probabilístics en el procés subjacent, és possible que el mateix ${\displaystyle {\vec {x}}}$ per generar diferents ${\displaystyle y}$.^[3] Com a resultat, l'objectiu del problema d'aprenentatge és minimitzar la pèrdua esperada (també coneguda com a risc), definida com:

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy}$

on ${\displaystyle V(f({\vec {x}}),y)}$ és una funció de pèrdua donada, i ${\displaystyle p({\vec {x}},y)}$ és la funció de densitat de probabilitat del procés que ha generat les dades, que de manera equivalent es pot escriure com:

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

Dins de la classificació, diverses funcions de pèrdua d'ús habitual s'escriuen únicament en termes del producte de l'etiqueta veritable ${\displaystyle y}$ i l'etiqueta prevista ${\displaystyle f({\vec {x}})}$. Per tant, es poden definir com a funcions d'una sola variable ${\displaystyle \upsilon =yf({\vec {x}})}$, i que ${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$ amb una funció adequadament escollida ${\displaystyle \phi :\mathbb {R} \to \mathbb {R} }$. Aquestes s'anomenen funcions de pèrdua basades en marges. Escollir una funció de pèrdua basada en el marge equival a triar ${\displaystyle \phi }$. La selecció d'una funció de pèrdua en aquest marc afecta l'òptima ${\displaystyle f_{\phi }^{*}}$ que minimitza el risc esperat.

Exemples: ^[4]

Nom de la pèrdua	${\displaystyle \phi (v)}$	${\displaystyle C(\eta )}$	${\displaystyle f^{-1}(v)}$
Exponencial	${\displaystyle e^{-v}}$	${\displaystyle 2{\sqrt {\eta (1-\eta )}}}$	${\displaystyle {\frac {e^{2v}}{1+e^{2v}}}}$
Logística	${\displaystyle {\frac {1}{\log(2)}}\log(1+e^{-v})}$	${\displaystyle {\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$
Quadrat	${\displaystyle (1-v)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle {\frac {1}{2}}(v+1)}$
Salvatge	${\displaystyle {\frac {1}{(1+e^{v})^{2}}}}$	${\displaystyle \eta (1-\eta )}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$
Tangent	${\displaystyle (2\arctan(v)-1)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle \arctan(v)+{\frac {1}{2}}}$

Referències

1. Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. Neural Computation, 16, 5, 2004, pàg. 1063–1076. DOI: 10.1162/089976604773135104. PMID: 15070510.
2. Shen, Yi (2005), Loss Functions For Binary Classification and Class Probability Estimation, <http://stat.wharton.upenn.edu/~buja/PAPERS/yi-shen-dissertation.pdf>. Consulta: 6 desembre 2014
3. Rosasco, Lorenzo & Poggio, Tomaso (2014), A Regularization Tour of Machine Learning, vol. Manuscript
4. Brownlee, Jason. «How to Choose Loss Functions When Training Deep Learning Neural Networks» (en anglès). https://machinelearningmastery.com,[phone].+[Consulta: 3 novembre 2022].