BERT

BERT, acronimo di Bidirectional Encoder Representations from Transformers, è un modello di apprendimento automatico basato su trasformatori utilizzato nell'elaborazione del linguaggio naturale (NLP). BERT è stato creato e pubblicato nel 2018 da Jacob Devlin e dai suoi colleghi di Google.^[1]^[2] Nel 2019, Google annunciò di aver cominciato a utilizzare BERT per il suo motore di ricerca, e verso la fine del 2020 pressoché ogni richiesta in lingua inglese utilizzava BERT. Un'analisi pubblicata nel 2020 in letteratura concluse che BERT diventò il riferimento per gli esperimenti di NLP in poco più di un anno, contando oltre 150 pubblicazioni che provavano a migliorare o ad analizzare il modello.^[3]

Il BERT originale in lingua inglese consisteva in due modelli:

BERT_BASE: composto da 12 encoder, ciascuno dei quali prevede 12 teste di auto-attenzione bidirezionale (bidirectional self-attention).
BERT_LARGE: composto da 24 encoder, ciascuno con 16 teste.

Entrambi i modelli sono pre-addestrati su testo non supervisionato proveniente dagli insiemi di dati di BooksCorpus^[4] (un insieme di 11.083 libri non pubblicati, comprendenti un totale di 800 milioni di parole) e Wikipedia in lingua inglese (che comprende, escludendo tabelle e figure, 2500 milioni di parole).^[5]

Note

^ Jacob Devlin, Ming-Wei Chang e Kenton Lee, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018, DOI:10.48550/ARXIV.1810.04805. URL consultato il 16 settembre 2022.
^ (EN) Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing, su Google AI Blog. URL consultato il 16 settembre 2022.
^ Anna Rogers, Olga Kovaleva e Anna Rumshisky, A Primer in BERTology: What we know about how BERT works, in arXiv, 9 novembre 2020, arXiv:2002:12327. URL consultato il 16 settembre 2022.
«in a little over a year, BERT has become a ubiquitous baseline in NLP experiments»
^ Yukun Zhu, Ryan Kiros e Richard Zemel, Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books, in arXiv[cs], 22 giugno 2015, arXiv:1506.06724. URL consultato il 16 settembre 2022.
^ bert-base-uncased, su huggingface.co. URL consultato il 16 settembre 2022.

Altri progetti

Wikimedia Commons contiene immagini o altri file su BERT

Collegamenti esterni

Sito ufficiale, su arxiv.org.
Repository sorgenti di BERT, su github.com.

[1] Jacob Devlin, Ming-Wei Chang e Kenton Lee, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018, DOI:10.48550/ARXIV.1810.04805. URL consultato il 16 settembre 2022.

[2] (EN) Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing, su Google AI Blog. URL consultato il 16 settembre 2022.

[3] Anna Rogers, Olga Kovaleva e Anna Rumshisky, A Primer in BERTology: What we know about how BERT works, in arXiv, 9 novembre 2020, arXiv:2002:12327. URL consultato il 16 settembre 2022.
«in a little over a year, BERT has become a ubiquitous baseline in NLP experiments»

[4] Yukun Zhu, Ryan Kiros e Richard Zemel, Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books, in arXiv[cs], 22 giugno 2015, arXiv:1506.06724. URL consultato il 16 settembre 2022.

[5] rt-base-uncased, su huggingface.co. URL consultato il 16 settembre 2022.

[1]

[2]

[3]

[4]

[5]