Aprenentatge de característiques

Diagrama del paradigma d'aprenentatge de funcions en aprenentatge automàtic per a l'aplicació a tasques posteriors, que es pot aplicar a dades en brut, com ara imatges o text, o a un conjunt inicial de funcions per a les dades. L'aprenentatge de funcions té com a objectiu un entrenament més ràpid o un millor rendiment en la configuració específica de la tasca que si les dades s'introduïssin directament.^[1]

En l'aprenentatge automàtic, l'aprenentatge de característiques o l'aprenentatge de representacions ^[2] és un conjunt de tècniques que permeten a un sistema descobrir automàticament les representacions necessàries per a la detecció o classificació de característiques a partir de dades en brut. Això substitueix l'enginyeria manual de funcions i permet que una màquina aprengui les funcions i les utilitzi per realitzar una tasca específica.

L'aprenentatge de característiques està motivat pel fet que les tasques d'aprenentatge automàtic, com ara la classificació, sovint requereixen una entrada que sigui matemàtica i computacionalment convenient de processar. Tanmateix, les dades del món real, com ara imatges, vídeo i dades de sensors, no han cedit als intents de definir algorítmicament característiques específiques. Una alternativa és descobrir aquestes característiques o representacions mitjançant l'examen, sense dependre d'algorismes explícits.

L'aprenentatge de funcions pot ser supervisat, no supervisat o autosupervisat.

• En l'aprenentatge de funcions supervisat, les funcions s'aprenen mitjançant dades d'entrada etiquetades. Les dades etiquetades inclouen parells d'entrada-etiqueta on l'entrada es dona al model i ha de produir l'etiqueta de veritat bàsica com a resposta correcta.^[3] Això es pot aprofitar per generar representacions de característiques amb el model que donen lloc a una alta precisió de predicció de l'etiqueta. Alguns exemples inclouen xarxes neuronals supervisades, perceptró multicapa i aprenentatge de diccionaris (supervisat).
• En l'aprenentatge de funcions no supervisat, les funcions s'aprenen amb dades d'entrada sense etiqueta mitjançant l'anàlisi de la relació entre els punts del conjunt de dades.^[4] Els exemples inclouen l'aprenentatge de diccionaris, l'anàlisi de components independents, la factorització matricial i diverses formes d'agrupació.^[5][6]
• En l'aprenentatge de característiques autosupervisades, les característiques s'aprenen utilitzant dades no etiquetades com l'aprenentatge no supervisat, però es construeixen parells d'etiquetes d'entrada a partir de cada punt de dades, cosa que permet aprendre l'estructura de les dades mitjançant mètodes supervisats com ara el descens de gradients.^[7] Els exemples clàssics inclouen incrustacions de paraules i codificadors automàtics.^[8][9] Des de llavors, SSL s'ha aplicat a moltes modalitats mitjançant l'ús d'arquitectures de xarxes neuronals profundes com ara CNN i Transformers.^[7]

Referències

1. Goodfellow, Ian (2016). Deep learning. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 524–534. ISBN 0-262-03561-8. OCLC 955778308.
2. Y. Bengio; A. Courville; P. Vincent IEEE Transactions on Pattern Analysis and Machine Intelligence, 35, 8, 2013, pàg. 1798–1828. arXiv: 1206.5538. DOI: 10.1109/tpami.2013.50. PMID: 23787338.
3. Stuart J. Russell, Peter Norvig (2010) Artificial Intelligence: A Modern Approach, Third Edition, Prentice Hall ISBN 978-0-13-604259-4.
4. Hinton, Geoffrey; Sejnowski, Terrence (1999). Unsupervised Learning: Foundations of Neural Computation. MIT Press. ISBN 978-0-262-58168-4.
5. "[1]" a ECCV Workshop on Statistical Learning in Computer Vision.  
6. Daniel Jurafsky. Speech and Language Processing (en anglès). Pearson Education International, 2009, p. 145–146. 
7. Ericsson, Linus; Gouk, Henry; Loy, Chen Change; Hospedales, Timothy M. IEEE Signal Processing Magazine, 39, 3, 5-2022, pàg. 42–62. DOI: 10.1109/MSP.2021.3134634. ISSN: 1558-0792.
8. Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg S; Dean, Jeff Advances in Neural Information Processing Systems, 26, 2013.
9. Goodfellow, Ian (2016). Deep learning. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 499–516. ISBN 0-262-03561-8. OCLC 955778308.