ELMo

ELMo — це одна з систем вкладання слів для представляння слів та фраз як векторів.[1] Лексеми рівня символів беруть як входи до двоспрямованої ДКЧП, що виробляє вкладення рівня слів. Як і BERT (але на відміну від вкладень слів, які виробляють підходи «торби слів» та раніші векторні підходи, такі як word2vec та GloVe), вкладання ELMo є чутливими до контексту, виробляючи відмінні представлення для слів, що мають однакове написання, але різні значення (омоніми), такі як англ. bank у англ. river bank (річковий берег) та англ. bank balance (банківський залишок).[2]

Її побудував та підтримує Інститут Аллена науки про мозок[en] та Вашингтонський університет[3].

Примітки

[ред. | ред. код]
  1. ↑ Peters ME, Neumann M, Iyyer M, Gardner M, Clark C, Lee K, Zettlemoyer L (2018). Deep contextualized word representations. arXiv:1802.05365. (англ.)
  2. ↑ How to use ELMo Embedding in Bidirectional LSTM model architecture?. www.insofe.edu.in (амер.). 2020-02-11GMT+000007:28:49+00:00. Процитовано 4 квітня 2023.
  3. ↑ Архівована копія. Архів оригіналу за 29 жовтня 2020. Процитовано 27 жовтня 2020.{{cite web}}: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title (посилання)


Програмне забезпечення Це незавершена стаття про програмне забезпечення.
Ви можете допомогти проєкту, виправивши або дописавши її.