Vectơ từ

Một phần của loạt bài về
Học máy và khai phá dữ liệu
Các vấn đề Phân loại Phân cụm Hồi quy Xác định bất thường AutoML Quy tắc kết hợp Học tăng cường Dự đoán cấu trúc Học đặc trưng Học máy online Học nửa giám sát Học tự giám sát Học không có giám sát Học xếp hạng Grammar induction
Học có giám sát (Phân loại bằng thống kê • Phân tích hồi quy) Học cây quyết định Học tập thể Bagging Boosting Rừng ngẫu nhiên k-NN Hồi quy tuyến tính Bộ phân loại Bayes đơn giản Mạng thần kinh nhân tạo Hồi quy logistic Perceptron Máy vectơ tương quan (RVM) Máy vectơ hỗ trợ (SVM)
Phân cụm BIRCH CURE Thứ bậc k-means Thuật toán cực đại hóa kỳ vọng (EM) DBSCAN OPTICS Dịch chuyển trung bình
Giảm chiều dữ liệu Phân tích nhân tố CCA ICA LDA NMF PCA PGD t-SNE
Dự đoán cấu trúc Mô hình xác suất dạng đồ thị Mạng Bayes Trường điều kiện ngẫu nhiên Mô hình Markov ẩn
Phát hiện bất thường k-NN Nhân tố ngoại lai cục bộ
Mạng thần kinh nhân tạo Bộ tự mã hóa Điện toán nhận thức Học sâu DeepDream Perceptron đa lớp Mạng thần kinh hồi quy LTSM GRU ESN Máy Boltzmann hạn chế GAN SOM Mạng thần kinh tích chập U-Net Transformer Mạng thần kinh dạng xung Memtransistor RAM điện hóa (ECRAM)
Học tăng cường Q-learning (học tăng cường) SARSA Chênh lệch thời gian (TD)
Lý thuyết Cân bằng độ lệch-phương sai Lý thuyết học tập tính toán Giảm thiểu rủi ro bằng kinh nghiệm Học Occam Học PAC Lý thuyết học thống kê Lý thuyết VC
Diễn đàn/tạp chí NeurIPS ICML ML JMLR ArXiv:cs.LG
Bài viết liên quan Danh sách các bộ dữ liệu cho nghiên cứu học máy Danh sách các khái niệm học máy Thuật ngữ trí tuệ nhân tạo
x t s

Trong xử lý ngôn ngữ tự nhiên (NLP), vectơ từ (còn được gọi là biểu diễn từ, nhúng từ, hay word embedding) là một cách biểu diễn từ ngữ. Vectơ từ được sử dụng trong phân tích văn bản. Thông thường, cách biểu diễn này là một vectơ giá trị thực mã hóa ý nghĩa của từ theo cách mà các từ gần nhau trong không gian vectơ được kỳ vọng là có ý nghĩa tương tự nhau.^[1] Vectơ từ có thể thu được bằng cách sử dụng các kỹ thuật mô hình ngôn ngữ và học đặc trưng (feature learning), trong đó các từ hoặc cụm từ trong từ điển được ánh xạ (mapping) thành các vectơ của số thực.

Các phương pháp ánh xạ này bao gồm mạng nơ-ron,^[2] sự giảm chiều dữ liệu trên ma trận đồng xuất hiện (co-occurrence matrix) của từ,^[3][4][5] các mô hình xác suất,^[6] phương pháp sử dụng cơ sở tri thức có thể giải thích được,^[7] và những ngữ cảnh rõ ràng mà từ xuất hiện.^[8]

Các vectơ từ và cụm từ, khi được sử dụng làm biểu diễn đầu vào cơ bản, đã được chứng minh là nâng cao hiệu suất trong các nhiệm vụ NLP như phân tích cú pháp^[9] và phân tích tình cảm.^[10]

Sự phát triển và lịch sử của phương pháp

Trong ngữ nghĩa phân bố (distributional semantics), một phương pháp tiếp cận định lượng để hiểu nghĩa trong ngôn ngữ quan sát, các vectơ từ hoặc mô hình không gian đặc trưng ngữ nghĩa (semantic feature space model) đã được sử dụng như một "biểu diễn tri thức" (knowledge representation) từ khá lâu.^[11] Các mô hình này nhằm định lượng và phân loại các sự tương đồng về ngữ nghĩa giữa các đơn vị ngôn ngữ dựa trên tính chất phân bố của chúng trong các mẫu dữ liệu ngôn ngữ lớn. Ý tưởng cơ bản là "một từ được xác định qua những từ ngữ mà nó đi kèm", và đã được đề xuất trong một bài viết năm 1957 bởi John Rupert Firth,^[12] nhưng ý tưởng này cũng có nguồn gốc từ các nghiên cứu đương thời về hệ thống tìm kiếm^[13] và trong tâm lý học nhận thức.^[14]

Khái niệm về không gian ngữ nghĩa với các mục từ (từ hoặc các cụm từ có nhiều từ) được biểu diễn dưới dạng các vectơ hoặc vectơ từ dựa trên những thách thức trong việc tính toán các đặc tính phân bố và sử dụng chúng cho các ứng dụng thực tế để đo lường sự tương đồng giữa các từ, cụm từ, hoặc toàn bộ văn bản. Thế hệ đầu tiên của các mô hình không gian ngữ nghĩa là mô hình không gian vectơ dành cho truy xuất thông tin.^[15][16][17] Các mô hình không gian vectơ này dành cho từ và dữ liệu phân bố của chúng, khi được triển khai dưới dạng đơn giản nhất, tạo ra một không gian vectơ rất thưa thớt với độ chiều lớn (còn được gọi là lời nguyền của chiều không gian - curse of dimensionality). Việc giảm số lượng chiều bằng cách sử dụng các phương pháp đại số tuyến tính như phân rã giá trị suy biến (singular value decomposition - SVD) đã dẫn đến sự ra đời của phân tích ngữ nghĩa tiềm ẩn vào cuối những năm 1980 và phương pháp chỉ số ngẫu nhiên (random indexing) để thu thập các ngữ cảnh đồng xuất hiện của từ.^{[18][19][20][21]} Năm 2000, Yoshua Bengio và cộng sự đã cung cấp một loạt các bài báo có tựa đề "Các mô hình ngôn ngữ xác suất thần kinh" nhằm giảm số chiều lớn của các biểu diễn từ trong các ngữ cảnh bằng cách "học một biểu diễn phân tán cho các từ".^[22][23][24]

Một nghiên cứu được xuất bản tại NeurIPS (NIPS) 2002 đã giới thiệu việc sử dụng cả vectơ từ và vectơ tài liệu bằng cách áp dụng phương pháp kernel CCA cho các kho ngữ liệu song ngữ (và đa ngữ), đồng thời cung cấp một ví dụ sớm về học tự giám sát (self-supervised learning) của các vectơ từ.^[25]

Vectơ từ có hai kiểu khác nhau. Một kiểu, trong đó các từ được biểu diễn dưới dạng các vectơ của các từ cùng xuất hiện. Kiểu khác, trong đó các từ được biểu diễn dưới dạng các vectơ ngữ cảnh ngôn ngữ mà các từ xuất hiện; các kiểu này được nghiên cứu bởi Lavelli và cộng sự năm 2004.^[26] Roweis và Saul đã công bố trên Science về cách sử dụng "nhúng tuyến tính cục bộ" (locally-linear embedding - LLE) để khám phá các biểu diễn của các cấu trúc dữ liệu có độ chiều lớn.^[27] Hầu hết các kỹ thuật vectơ từ mới sau khoảng năm 2005 đều dựa vào kiến trúc mạng nơ-ron thay vì các mô hình xác suất và đại số, sau các công trình nền tảng của Yoshua Bengio và các đồng nghiệp.^[28][29]

Cách tiếp cận này đã được nhiều nhóm nghiên cứu áp dụng sau các tiến bộ lý thuyết vào năm 2010 về chất lượng của các vectơ và tốc độ huấn luyện mô hình, cũng như sau khi các tiến bộ về phần cứng cho phép khám phá một không gian tham số rộng hơn một cách có lợi. Vào năm 2013, một nhóm tại Google do Tomas Mikolov dẫn dắt đã tạo ra word2vec, một bộ công cụ vectơ từ có thể huấn luyện các mô hình không gian vectơ nhanh hơn các phương pháp trước đó. Phương pháp word2vec đã được sử dụng rộng rãi trong thử nghiệm và đóng vai trò quan trọng trong việc nâng cao sự quan tâm đến vectơ từ như một công nghệ, đưa hướng nghiên cứu này từ lĩnh vực chuyên biệt sang thử nghiệm rộng rãi hơn và cuối cùng mở đường cho các ứng dụng thực tiễn.^[30]

Đa nghĩa và đồng âm

Lịch sử cho thấy, một trong những hạn chế chính của các vectơ từ tĩnh hoặc các mô hình không gian vectơ từ là những từ có nhiều nghĩa bị hợp nhất thành một biểu diễn duy nhất (một vectơ duy nhất trong không gian ngữ nghĩa). Nói cách khác, các hiện tượng từ đa nghĩa và từ đồng âm không được xử lý đúng cách. Ví dụ, trong câu "The club I tried yesterday was great!" (Câu lạc bộ tôi thử hôm qua rất tuyệt!), không rõ liệu từ club có liên quan đến club sandwich, clubhouse, golf club hay bất kỳ từ nào khác mà từ club có thể có. Nhu cầu xử lý nhiều nghĩa cho mỗi từ trong các vectơ khác nhau (vectơ từ đa nghĩa) là động lực cho nhiều đóng góp trong Xử lý Ngôn ngữ Tự nhiên (NLP) để chia nhỏ các biểu diễn đơn nghĩa thành các biểu diễn đa nghĩa.^[31][32]

Hầu hết các cách tiếp cận để tạo ra các vectơ từ đa nghĩa có thể chia thành hai loại chính trong việc biểu diễn nghĩa của từ, đó là không giám sát và dựa trên kiến thức.^[33] Dựa trên word2vec skip-gram, Multi-Sense Skip-Gram (MSSG)^[34] thực hiện việc phân biệt và biểu diễn nghĩa từ một cách đồng thời, cải thiện thời gian huấn luyện, đồng thời giả định một số lượng nghĩa nhất định cho mỗi từ. Trong Multi-Sense Skip-Gram không tham số (NP-MSSG), số lượng nghĩa này có thể thay đổi tùy thuộc vào từng từ. Kết hợp kiến thức trước đó từ các cơ sở dữ liệu từ vựng (ví dụ, WordNet, ConceptNet, BabelNet), Most Suitable Sense Annotation (MSSA)^[35] gán nhãn các nghĩa từ thông qua phương pháp không giám sát và dựa trên kiến thức, xem xét ngữ cảnh của từ trong một cửa sổ trượt được định trước. Sau khi các từ được phân biệt, chúng có thể được sử dụng trong một kỹ thuật vectơ từ chuẩn, nhờ đó các vectơ từ đa nghĩa được tạo ra. Kiến trúc của MSSA cho phép quy trình phân biệt và gán nhãn được thực hiện lặp lại một cách tự cải thiện.^[36]

Việc sử dụng các vectơ từ đa nghĩa được biết đến là giúp cải thiện hiệu suất trong một số nhiệm vụ NLP, chẳng hạn như gán nhãn từ loại, xác định quan hệ ngữ nghĩa, liên quan ngữ nghĩa, nhận dạng thực thể có tên và phân tích cảm xúc.^[37][38]

Từ cuối thập niên 2010, các biểu diễn ngữ nghĩa ngữ cảnh như ELMo và BERT đã được phát triển.^[39] Khác với các vectơ từ tĩnh, những biểu diễn này ở mức token, nghĩa là mỗi lần xuất hiện của một từ sẽ có biểu diễn riêng của nó. Các vectơ này phản ánh tốt hơn bản chất đa nghĩa của các từ, vì các lần xuất hiện của từ trong các ngữ cảnh tương tự sẽ được đặt trong các vùng tương tự của không gian vectơ BERT.^[40][41]

Đối với chuỗi sinh học: BioVectors

Vectơ từ cho các n-grams trong các chuỗi sinh học (ví dụ: DNA, RNA và Protein) đã được đề xuất bởi Asgari và Mofrad cho các ứng dụng tin sinh học.^[42] Được gọi là bio-vectors (BioVec) để chỉ chung các chuỗi sinh học với protein-vectors (ProtVec) cho các protein (chuỗi axit amin) và gene-vectors (GeneVec) cho các chuỗi gen, biểu diễn này có thể được sử dụng rộng rãi trong các ứng dụng học sâu trong proteomics và genomics. Kết quả được trình bày bởi Asgari và Mofrad^[42] cho thấy rằng BioVectors có thể mô tả các chuỗi sinh học theo các giải thích hóa sinh và vật lý sinh học về các mẫu tiềm ẩn.

Thiết kế trò chơi

Vectơ từ với các ứng dụng trong thiết kế trò chơi đã được đề xuất bởi Rabii và Cook^[43] như một cách để khám phá lối chơi phát sinh (emergent gameplay) bằng cách sử dụng các nhật ký dữ liệu trò chơi. Quá trình này yêu cầu phiên âm các hành động xảy ra trong một trò chơi thành ngôn ngữ hình thức và sau đó sử dụng văn bản kết quả để tạo vectơ từ. Kết quả do Rabii và Cook^[43] trình bày cho thấy rằng các vectơ kết quả có thể nắm bắt kiến thức chuyên môn về các trò chơi như cờ vua mà không được nêu rõ ràng trong quy tắc của trò chơi.

Vectơ câu (sentence embedding)

Ý tưởng này đã được mở rộng để biểu diễn cả các câu hoàn chỉnh hoặc thậm chí tài liệu, cũng gần giống như khái niệm "vectơ suy nghĩ" (thought vector). Vào năm 2015, một số nhà nghiên cứu đã đề xuất "vectơ bỏ qua câu" (skip-thought vector) như một phương pháp cải thiện chất lượng của dịch máy.^[44] Một phương pháp phổ biến hơn gần đây để biểu diễn câu là Sentence-BERT, hay SentenceTransformers, phương pháp này cải tiến BERT bằng cách sử dụng cấu trúc mạng siamese và triplet.^[45]

Phần mềm

Phần mềm để huấn luyện và sử dụng vectơ từ bao gồm Word2vec của Tomáš Mikolov, GloVe của Đại học Stanford,^[46] GN-GloVe,^[47] biểu diễn Flair (Flair embedding),^[37] ELMo của AllenNLP,^[48] BERT,^[49] fastText, Gensim,^[50] Indra,^[51] và Deeplearning4j. Phép phân tích thành phần chính (PCA) và T-Distributed Stochastic Neighbour Embedding (t-SNE) đều được sử dụng để giảm chiều của không gian vectơ từ và trực quan hóa vectơ từ và cụm từ.^[52]

Ví dụ ứng dụng

Ví dụ, fastText cũng được sử dụng để tính toán vectơ từ cho ngữ liệu văn bản trong Sketch Engine có sẵn trực tuyến.^[53]

Những hệ quả đạo đức

Vectơ từ có thể chứa đựng các định kiến và khuôn mẫu có trong bộ dữ liệu huấn luyện, như Bolukbasi và các cộng sự đã chỉ ra trong bài báo năm 2016 "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings" rằng một bộ vectơ từ word2vec có sẵn công khai (và phổ biến) được huấn luyện trên văn bản Google News (một tập dữ liệu phổ biến), mặc dù được viết bởi các nhà báo chuyên nghiệp, vẫn cho thấy các liên kết từ ngữ không cân xứng phản ánh những định kiến giới tính và chủng tộc khi trích xuất các phép tương đồng từ.^[54] Ví dụ, một trong những phép tương đồng được tạo ra bằng cách sử dụng vectơ từ đã đề cập là "man is to computer programmer as woman is to homemaker".^[55][56]

Nghiên cứu của Jieyu Zhou và các cộng sự cho thấy rằng việc áp dụng các vectơ từ được huấn luyện này mà không giám sát cẩn thận có khả năng duy trì các định kiến hiện có trong xã hội, điều này được giới thiệu thông qua dữ liệu huấn luyện không thay đổi. Hơn nữa, vectơ từ thậm chí có thể làm gia tăng những định kiến này.^[57][58]

Tham khảo

1. Jurafsky, Daniel; H. James, Martin (2000). Speech and language processing : an introduction to natural language processing, computational linguistics, and speech recognition. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0-13-095069-7.
2. Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013). "Distributed Representations of Words and Phrases and their Compositionality". arΧiv:1310.4546 [cs.CL]. 
3. Lebret, Rémi; Collobert, Ronan (2013). “Word Emdeddings through Hellinger PCA”. Conference of the European Chapter of the Association for Computational Linguistics (EACL). 2014. arXiv:1312.5542.
4. Levy, Omer; Goldberg, Yoav (2014). Neural Word Embedding as Implicit Matrix Factorization (PDF). NIPS.
5. Li, Yitan; Xu, Linli (2015). Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective (PDF). Int'l J. Conf. on Artificial Intelligence (IJCAI).
6. Globerson, Amir (2007). “Euclidean Embedding of Co-occurrence Data” (PDF). Journal of Machine Learning Research.
7. Qureshi, M. Atif; Greene, Derek (4 tháng 6 năm 2018). “EVE: explainable vector based embedding technique using Wikipedia”. Journal of Intelligent Information Systems (bằng tiếng Anh). 53: 137–165. arXiv:1702.06891. doi:10.1007/s10844-018-0511-x. ISSN 0925-9902. S2CID 10656055.
8. Levy, Omer; Goldberg, Yoav (2014). Linguistic Regularities in Sparse and Explicit Word Representations (PDF). CoNLL. tr. 171–180.
9. Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). Parsing with compositional vector grammars (PDF). Proc. ACL Conf. Bản gốc (PDF) lưu trữ ngày 11 tháng 8 năm 2016. Truy cập ngày 14 tháng 8 năm 2014.
10. Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Chris; Ng, Andrew; Potts, Chris (2013). Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank (PDF). EMNLP.
11. Sahlgren, Magnus. “A brief history of word embeddings”.
12. Firth, J.R. (1957). “A synopsis of linguistic theory 1930–1955”. Studies in Linguistic Analysis: 1–32. Reprinted in F.R. Palmer biên tập (1968). Selected Papers of J.R. Firth 1952–1959. London: Longman.
13. Luhn, H.P. (1953). “A New Method of Recording and Searching Information”. American Documentation. 4: 14–16. doi:10.1002/asi.5090040104.
14. Osgood, C.E.; Suci, G.J.; Tannenbaum, P.H. (1957). The Measurement of Meaning. University of Illinois Press.
15. Salton, Gerard (1962). “Some experiments in the generation of word and document associations”. Proceedings of the December 4-6, 1962, fall joint computer conference on - AFIPS '62 (Fall). tr. 234–250. doi:10.1145/1461518.1461544. ISBN 9781450378796. S2CID 9937095.
16. Salton, Gerard; Wong, A; Yang, C S (1975). “A Vector Space Model for Automatic Indexing”. Communications of the ACM. 18 (11): 613–620. doi:10.1145/361219.361220. hdl:1813/6057. S2CID 6473756.
17. Dubin, David (2004). “The most influential paper Gerard Salton never wrote”. Bản gốc lưu trữ ngày 18 tháng 10 năm 2020. Truy cập ngày 18 tháng 10 năm 2020.
18. Kanerva, Pentti, Kristoferson, Jan and Holst, Anders (2000): Random Indexing of Text Samples for Latent Semantic Analysis, Proceedings of the 22nd Annual Conference of the Cognitive Science Society, p. 1036. Mahwah, New Jersey: Erlbaum, 2000.
19. Karlgren, Jussi; Sahlgren, Magnus (2001). Uesaka, Yoshinori; Kanerva, Pentti; Asoh, Hideki (biên tập). “From words to understanding”. Foundations of Real-World Intelligence. CSLI Publications: 294–308.
20. Sahlgren, Magnus (2005) An Introduction to Random Indexing, Proceedings of the Methods and Applications of Semantic Indexing Workshop at the 7th International Conference on Terminology and Knowledge Engineering, TKE 2005, August 16, Copenhagen, Denmark
21. Sahlgren, Magnus, Holst, Anders and Pentti Kanerva (2008) Permutations as a Means to Encode Order in Word Space, In Proceedings of the 30th Annual Conference of the Cognitive Science Society: 1300–1305.
22. Bengio, Yoshua; Réjean, Ducharme; Pascal, Vincent (2000). “A Neural Probabilistic Language Model” (PDF). NeurIPS.
23. Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Jauvin, Christian (2003). “A Neural Probabilistic Language Model” (PDF). Journal of Machine Learning Research. 3: 1137–1155.
24. Bengio, Yoshua; Schwenk, Holger; Senécal, Jean-Sébastien; Morin, Fréderic; Gauvain, Jean-Luc (2006). “A Neural Probabilistic Language Model”. Studies in Fuzziness and Soft Computing. 194. Springer. tr. 137–186. doi:10.1007/3-540-33486-6_6. ISBN 978-3-540-30609-2.
25. Vinkourov, Alexei; Cristianini, Nello; Shawe-Taylor, John (2002). Inferring a semantic representation of text via cross-language correlation analysis (PDF). Advances in Neural Information Processing Systems. 15.
26. Lavelli, Alberto; Sebastiani, Fabrizio; Zanoli, Roberto (2004). Distributional term representations: an experimental comparison. 13th ACM International Conference on Information and Knowledge Management. tr. 615–624. doi:10.1145/1031171.1031284.
27. Roweis, Sam T.; Saul, Lawrence K. (2000). “Nonlinear Dimensionality Reduction by Locally Linear Embedding”. Science. 290 (5500): 2323–6. Bibcode:2000Sci...290.2323R. CiteSeerX 10.1.1.111.3313. doi:10.1126/science.290.5500.2323. PMID 11125150. S2CID 5987139.
28. Morin, Fredric; Bengio, Yoshua (2005). “Hierarchical probabilistic neural network language model” (PDF). Trong Cowell, Robert G.; Ghahramani, Zoubin (biên tập). Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics. Proceedings of Machine Learning Research. R5. tr. 246–252.
29. Mnih, Andriy; Hinton, Geoffrey (2009). “A Scalable Hierarchical Distributed Language Model”. Advances in Neural Information Processing Systems. Curran Associates, Inc. 21 (NIPS 2008): 1081–1088.
30. “word2vec”. Google Code Archive. Truy cập ngày 23 tháng 7 năm 2021.
31. Reisinger, Joseph; Mooney, Raymond J. (2010). Multi-Prototype Vector-Space Models of Word Meaning. Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Los Angeles, California: Association for Computational Linguistics. tr. 109–117. ISBN 978-1-932432-65-7. Truy cập ngày 25 tháng 10 năm 2019.
32. Huang, Eric. (2012). Improving word representations via global context and multiple word prototypes. OCLC 857900050.
33. Camacho-Collados, Jose; Pilehvar, Mohammad Taher (2018). "From Word to Sense Embeddings: A Survey on Vector Representations of Meaning". arΧiv:1805.04032 [cs.CL]. 
34. Neelakantan, Arvind; Shankar, Jeevan; Passos, Alexandre; McCallum, Andrew (2014). “Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space”. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics. tr. 1059–1069. arXiv:1504.06654. doi:10.3115/v1/d14-1113. S2CID 15251438.
35. Ruas, Terry; Grosky, William; Aizawa, Akiko (1 tháng 12 năm 2019). “Multi-sense embeddings through a word sense disambiguation process”. Expert Systems with Applications. 136: 288–303. arXiv:2101.08700. doi:10.1016/j.eswa.2019.06.026. hdl:2027.42/145475. ISSN 0957-4174. S2CID 52225306.
36. Agre, Gennady; Petrov, Daniel; Keskinova, Simona (1 tháng 3 năm 2019). “Word Sense Disambiguation Studio: A Flexible System for WSD Feature Extraction”. Information (bằng tiếng Anh). 10 (3): 97. doi:10.3390/info10030097. ISSN 2078-2489.
37. ^ Akbik, Alan; Blythe, Duncan; Vollgraf, Roland (2018). “Contextual String Embeddings for Sequence Labeling”. Proceedings of the 27th International Conference on Computational Linguistics. Santa Fe, New Mexico, USA: Association for Computational Linguistics: 1638–1649.
38. Li, Jiwei; Jurafsky, Dan (2015). “Do Multi-Sense Embeddings Improve Natural Language Understanding?”. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics. tr. 1722–1732. arXiv:1506.01070. doi:10.18653/v1/d15-1200. S2CID 6222768.
39. Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (tháng 6 năm 2019). “Proceedings of the 2019 Conference of the North”. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics: 4171–4186. doi:10.18653/v1/N19-1423. S2CID 52967399.
40. Lucy, Li, and David Bamman. "Characterizing English variation across social media communities with BERT." Transactions of the Association for Computational Linguistics 9 (2021): 538-556.
41. Reif, Emily, Ann Yuan, Martin Wattenberg, Fernanda B. Viegas, Andy Coenen, Adam Pearce, and Been Kim. "Visualizing and measuring the geometry of BERT." Advances in Neural Information Processing Systems 32 (2019).
42. ^ Asgari, Ehsaneddin; Mofrad, Mohammad R.K. (2015). “Continuous Distributed Representation of Biological Sequences for Deep Proteomics and Genomics”. PLOS ONE. 10 (11): e0141287. arXiv:1503.05140. Bibcode:2015PLoSO..1041287A. doi:10.1371/journal.pone.0141287. PMC 4640716. PMID 26555596.
43. ^ Rabii, Younès; Cook, Michael (4 tháng 10 năm 2021). “Revealing Game Dynamics via Word Embeddings of Gameplay Data”. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment (bằng tiếng Anh). 17 (1): 187–194. doi:10.1609/aiide.v17i1.18907. ISSN 2334-0924. S2CID 248175634.
44. Kiros, Ryan; Zhu, Yukun; Salakhutdinov, Ruslan; Zemel, Richard S.; Torralba, Antonio; Urtasun, Raquel; Fidler, Sanja (2015). "skip-thought vectors". arΧiv:1506.06726 [cs.CL]. 
45. Reimers, Nils, and Iryna Gurevych. "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992. 2019.
46. “GloVe”.
47. Zhao, Jieyu (2018). "Learning Gender-Neutral Word Embeddings". arΧiv:1809.01496 [cs.CL]. 
48. “Elmo”.
49. Pires, Telmo; Schlinger, Eva; Garrette, Dan (2019-06-04). "How multilingual is Multilingual BERT?". arΧiv:1906.01502 [cs.CL]. 
50. “Gensim”.
51. “Indra”. GitHub. 25 tháng 10 năm 2018.
52. Ghassemi, Mohammad; Mark, Roger; Nemati, Shamim (2015). “A visualization of evolving clinical sentiment using vector representations of clinical notes” (PDF). 2015 Computing in Cardiology Conference (CinC). Computing in Cardiology. 2015. tr. 629–632. doi:10.1109/CIC.2015.7410989. ISBN 978-1-5090-0685-4. PMC 5070922. PMID 27774487.
53. “Embedding Viewer”. Embedding Viewer. Lexical Computing. Bản gốc lưu trữ ngày 8 tháng 2 năm 2018. Truy cập ngày 7 tháng 2 năm 2018.
54. Bolukbasi, Tolga; Chang, Kai-Wei; Zou, James; Saligrama, Venkatesh; Kalai, Adam (2016). "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings". arΧiv:1607.06520 [cs.CL]. 
55. Bolukbasi, Tolga; Chang, Kai-Wei; Zou, James; Saligrama, Venkatesh; Kalai, Adam (2016-07-21). "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings". arΧiv:1607.06520 [cs.CL]. 
56. Dieng, Adji B.; Ruiz, Francisco J. R.; Blei, David M. (2020). “Topic Modeling in Embedding Spaces”. Transactions of the Association for Computational Linguistics. 8: 439–453. arXiv:1907.04907. doi:10.1162/tacl_a_00325.
57. Zhao, Jieyu; Wang, Tianlu; Yatskar, Mark; Ordonez, Vicente; Chang, Kai-Wei (2017). “Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints”. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. tr. 2979–2989. doi:10.18653/v1/D17-1323.
58. Petreski, Davor; Hashim, Ibrahim C. (26 tháng 5 năm 2022). “Word embeddings are biased. But whose bias are they reflecting?”. AI & Society (bằng tiếng Anh). 38 (2): 975–982. doi:10.1007/s00146-022-01443-w. ISSN 1435-5655. S2CID 249112516.