Con vẹt ngẫu tính

Trong học máy, thuật ngữ stochastic parrot, tức con vẹt ngẫu tính hay con vẹt ngẫu nhiên, là phép ẩn dụ để mô tả cái lý thuyết cho rằng các mô hình ngôn ngữ lớn mặc dù có thể tạo ra câu chữ có vẻ hợp lý, nhưng không hề hiểu được ý nghĩa của ngôn từ mà bản thân xử lý.^[1][2] Thuật ngữ này được Emily M. Bender^[2][3] đặt ra trong bài báo nghiên cứu trí tuệ nhân tạo năm 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" (Về sự nguy hiểm của loài vẹt ngẫu tính: Mô hình ngôn ngữ có thể lớn quá không? 🦜) do Bender, cùng với Timnit Gebru, Angelina McMillan-Major và Margaret Mitchell viết.^[4]

Nguồn gốc và định nghĩa

Thuật ngữ này lần đầu tiên được sử dụng trong bài báo "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" do Bender, Timnit Gebru, Angelina McMillan-Major và Margaret Mitchell (sử dụng bút danh "Shmargaret Shmitchell") viết.^[4] Nhóm tác giả lập luận rằng các mô hình ngôn ngữ lớn (Large Language Model - LLM) gây ra các nguy hiểm như chi phí về môi trường và tài chính, dữ liệu chứa đầy các thành kiến nguy hiểm không rõ nhưng rất khó phát hiện, có khả năng lừa dối, và chúng còn không hề hiểu được các khái niệm bên dưới những thứ mà chúng học.^[5]

Từ nguyên của thuật ngữ stochastic parrot

Từ ngữ "stochastic" – từ tiếng Hy Lạp cổ đại "stokhastikos" ('dựa trên phỏng đoán') – là thuật ngữ từ lý thuyết xác suất có nghĩa là "được xác định ngẫu nhiên".^[6] Từ "parrot" chỉ năng lực bắt chước tiếng người của loài vẹt, mà không hề hiểu ý nghĩa gì.^[6] Thuật ngữ "stochastic parrot" trong bài viết này được dịch thành "con vẹt ngẫu tính".

Mục đích

Trong bài báo của mình, Bender và cộng sự lập luận rằng LLM liên kết các từ và câu lại với nhau theo xác suất mà không hề xem xét ý nghĩa. Do đó, chúng được liệt vào hàng "loài vẹt ngẫu tính" (stochastic parrots) mà thôi.^[4] Theo các chuyên gia về máy học là Lindholm, Wahlström, Lindsten và Schön, phép loại suy này làm nổi bật hai hạn chế quan trọng:^[1][7]

• LLM bị hạn chế bởi dữ liệu mà chúng được huấn luyện, và chỉ đơn thuần lặp lại nội dung của tập dữ liệu một cách ngẫu tính.
• Vì chúng chỉ tạo dựng đầu ra dựa trên dữ liệu huấn luyện, nên LLM không hề hiểu được những gì chúng nói ra là sai trái hay không phù hợp.

Lindholm và cộng sự lưu ý rằng, với các tập dữ liệu chất lượng kém cùng với những hạn chế khác, máy học có thể tạo ra những kết quả "sai lầm một cách nguy hiểm".^[1]

Google can dự

Google đã yêu cầu Gebru rút lại bài báo hoặc xóa tên các nhân viên Google khỏi bài báo. Theo Jeff Dean, bài báo "không đạt tiêu chuẩn xuất bản của chúng tôi". Để đáp lại, Gebru đã liệt kê các điều kiện cần phải đáp ứng, nói rõ rằng bằng không thì họ có thể sẽ "làm việc ngày cuối". Dean viết rằng một trong những điều kiện này là Google phải tiết lộ danh tính những người đánh giá bài báo kèm với phản hồi cụ thể của họ, nhưng Google đã từ chối. Ngay sau đó, cô nhận được email thông báo rằng Google đã "chấp nhận đơn từ chức của cô". Việc sa thải cô đã khiến những nhân viên Google biểu tình, các nhân viên đó tin rằng ý định của Google là bịt lời chỉ trích của Gebru.^[8]

Sử dụng sau này

Vào tháng 7 năm 2021, Viện Alan Turing đã tổ chức một buổi thuyết trình ý chính và tọa đàm về bài báo.^[9] Tính đến tháng 9 năm 2024^{[cập nhật]}, bài báo đã được trích dẫn trong 4.789 xuất bản.^[10] Thuật ngữ này đã được sử dụng trong các xuất bản trong lĩnh vực luật pháp,^[11] ngữ pháp,^[12] tự sự,^[13] và nhân văn.^[14] Các tác giả tiếp tục duy trì mối lo ngại của họ về những nguy hiểm của chatbot dựa trên các mô hình ngôn ngữ lớn, chẳng hạn như GPT-4.^[15]

"Con vẹt ngẫu tính" hiện là một 'tân tạo ngữ' (neologism) được những người hoài nghi A.I dùng để chỉ việc máy móc không hiểu ý nghĩa của kết quả đầu ra của chúng, và đôi khi được người ta coi là "lời để nói xấu A.I".^[6] Việc sử dụng nó được mở rộng hơn nữa khi Sam Altman, CEO của Open AI, sử dụng thuật ngữ này một cách mỉa mai khi ông đăng dòng tweet, "i am a stochastic parrot and so r u" (tôi là con vẹt ngẫu tính và bạn cũng thế).^[6] Sau đó thuật ngữ này được Hiệp hội Phương ngữ Hoa Kỳ chọn làm "Từ Của Năm có liên quan đến A.I" năm 2023, thậm chí còn vượt hơn cả các từ "ChatGPT" và "LLM".^[6][16]

Cụm từ này thường được một số nhà nghiên cứu nhắc đến để mô tả LLM là các "pattern matcher" có thể tạo ra văn bản trôi chảy giống con người thông qua lượng dữ liệu huấn luyện vô bờ của chúng, nhưng chỉ đơn thuần là nhại lại một cách ngẫu tính. Tuy nhiên, các nhà nghiên cứu khác biện luận rằng LLM thực tế có khả năng hiểu ngôn ngữ ít nhất phần nào.^[17]

Tranh luận

Một số LLM, chẳng hạn như ChatGPT, đã có khả năng tương tác với người dùng trong các cuộc trò chuyện giống con người một cách thuyết phục.^[17] Sự phát triển của các hệ thống mới này đã làm sâu sắc thêm cuộc thảo luận về mức độ mà LLM hiểu đến được hay chỉ đơn giản là "nhại lại".

Thể nghiệm chủ quan

Trong tâm trí con người, từ ngữ và ngôn ngữ tương ứng với những điều mà người ta đã trải nghiệm.^[18] Đối với LLM, các từ chỉ có thể tương ứng với các từ khác và tương ứng với các 'mô thức sử dụng' được cho vào trong dữ liệu huấn luyện của chúng.^[19][20][4] Những người ủng hộ ý tưởng con vẹt ngẫu tính do đó kết luận rằng các LLM không hề có khả năng thực sự hiểu được ngôn ngữ.^[19][4]

Ảo giác và mắc lỗi

Xu hướng 'đưa thông tin giả như là sự thật' LLM được dùng làm cơ sở ủng hộ.^[18] Hiện tượng như vậy được gọi là ảo giác (hallucination), các LLM thỉnh thoảng sẽ tổng hợp thông tin mà khớp với một số mô thức, nhưng không ứng với thực tế.^[19][20][18] Việc các LLM không thể phân biệt được sự thật và hư cấu dẫn đến nhận định rằng chúng không thể kết nối từ ngữ với sự lĩnh hội nào về thế giới giống như ngôn ngữ con người.^[19][18] Hơn nữa, LLM thường không giải mã được các trường hợp ngữ pháp phức tạp hoặc mơ hồ dựa trên việc hiểu ý nghĩa của ngôn từ.^[19][20] Ví dụ, trích từ Saba et al., là lời nhắc (prompt) như sau:^[19]

The wet newspaper that fell down off the table is my favorite newspaper. But now that my favorite newspaper fired the editor I might not like reading it anymore. Can I replace ‘my favorite newspaper’ by ‘the wet newspaper that fell down off the table’ in the second sentence?

Dịch nghĩa: Cái tờ báo ướt bị rơi ra khỏi bàn xuống là tờ báo ưa thích của tôi. Nhưng giờ vì tờ báo ưa thích của tôi đã sa thải người biên tập viên thành ra có khi tôi không thích đọc nó nữa. Vậy trong câu thứ hai tôi thay thế "tờ báo yêu thích của tôi" thành "cái tờ báo ướt bị rơi ra khỏi bàn xuống" có được không?

Các LLM trả lời câu hỏi này theo hướng khẳng định, không hiểu rằng ý nghĩa của "tờ báo" là khác nhau trong hai ngữ cảnh này (cái đầu tiên là vật thể còn cái thứ hai là cơ quan báo chí).^[19] Dựa trên những lỗi này, một số chuyên gia A.I kết luận rằng chúng không hơn gì những con vẹt ngẫu tính.^[19][18][4]

Benchmark và thử nghiệm

Một lập luận phản bác lại giả thuyết cho rằng các LLM là loài vẹt ngẫu tính là dựa trên kết quả của họ từ các benchmark kiểm tra suy luận, lẽ thường và hiểu nắm ngôn ngữ. Vào năm 2023, một số LLM đã cho thấy kết quả tốt trong nhiều bài kiểm tra hiểu ngôn ngữ, chẳng hạn như Super General Language Understanding Evaluation (SuperGLUE).^[20][21] Các bài kiểm tra như vậy, cùng với phản hồi trôi chảy của nhiều LLM, khiến đến 51% chuyên gia A.I tin rằng với đủ dữ liệu thì chúng thực sự có thể hiểu được ngôn ngữ, theo một khảo sát năm 2022.^[20]

Khi thử nghiệm lên ChatGPT-3, một nhà khoa học lập luận rằng mô hình này không phải là một con vẹt ngẫu tính, nhưng có những hạn chế nghiêm trọng về khả năng suy luận.^[17] Ông thấy rằng khi thử dự đoán các sự kiện tương lai dựa trên thông tin trong lời prompt thì mô hình này mạch lạc và thông tin hữu ích.^[17] ChatGPT-3 còn thường xuyên có thể phân tích thông tin tiềm ẩn trong các prompt văn bản nữa. Tuy nhiên, khi được giao tác vụ logic và suy luận thì mô hình này thường xuyên làm không được, nhất là khi prompt đính đến việc nhận thức không gian.^[17] Chất lượng phản hồi lúc thế này lúc thế kia của mô hình cho thấy các LLM có thể có một dạng "hiểu" trong các phạm trù tác vụ nhất định còn trong các tác vụ khác thì lại hành động như con vẹt ngẫu tính.^[17]

Khả năng diễn giải

Kỹ thuật khác để điều tra xem liệu LLM có thể 'hiểu' hay không thì được đặt tên là "khả năng diễn giải cơ giới" (mechanistic interpretability). Ý tưởng là reverse-engineer một mô hình ngôn ngữ lớn để xem bên trong nó xử lý thông tin như thế nào.

Một ví dụ là Othello-GPT, trong đó một con transformer nhỏ được huấn luyện để dự đoán các nước đi hợp lệ trong cờ Othello. Người ta nhận thấy rằng bên trong mô hình này có biểu diễn của bàn cờ Othello, và việc sửa đổi biểu diễn này sẽ thay đổi các 'nước đi hợp lệ dự đoán của Othello' một cách tương ứng. Điều này ủng hộ cho ý tưởng rằng LLM có "mô hình thế giới" và không hề chỉ thực hiện thống kê hời hợt.^[22][23]

Trong một ví dụ khác, một con transformer nhỏ được huấn luyện trên các chương trình máy tính được viết bằng ngôn ngữ lập trình Karel. Tương tự như ví dụ Othello-GPT, bên trong mô hình này đã phát triển ra được biểu diễn về ngữ nghĩa chương trình Karel. Việc sửa đổi cách biểu diễn này sẽ kéo theo những thay đổi tương ứng ở đầu ra. Thêm vào đó, mô hình này tạo ra các chương trình chính xác, mà trung bình lại ngắn hơn các chương trình tương ứng trong tập huấn luyện.^[24]

Các nhà nghiên cứu cũng có tìm tòi về "grokking", hiện tượng mà mô hình A.I ban đầu ghi nhớ dữ liệu huấn luyện trong đầu ra, xong rồi sau khi huấn luyện thêm, đột nhiên tìm ra giải pháp khái quát hóa cho dữ liệu chưa thấy.^[25]

Suy luận bằng cách đi đường tắt

Tuy nhiên, khi các bài kiểm tra được tạo ra để kiểm tra khả năng lĩnh hội ngôn ngữ của con người được sử dụng để kiểm tra LLM, đôi khi chúng dẫn đến kết quả 'dương tính giả' do các mối tương quan không thật trong dữ liệu văn bản.^[26] Các mô hình đã cho thấy các ví dụ về việc 'học theo lối tắt', đó là khi hệ thống tạo dựng các 'mối tương quan không liên quan nhau' trong dữ liệu thay vì sử dụng sự hiểu biết giống như con người.^[27] Một thí nghiệm như vậy được tiến hành vào năm 2019 đã kiểm tra BERT LLM của Google bằng cách sử dụng 'tác vụ lĩnh hội về suy lý lập luận'. BERT được nhận prompt lựa chọn giữa 2 câu phát biểu, và tìm câu phù hợp nhất với lập luận. Dưới đây là một ví dụ về một trong những lời prompt đó:^[20][28]

Argument: Felons should be allowed to vote. A person who stole a car at 17 should not be barred from being a full citizen for life.
Statement A: Grand theft auto is a felony.
Statement B: Grand theft auto is not a felony.

Dịch nghĩa:
Lập luận: Trọng tội nhân nên được phép bỏ phiếu. Người ăn trộm xe khi 17 tuổi không nên bị tước bỏ toàn bộ quyền công dân cả đời.
Phát biểu A: Trộm cắp ô-tô là trọng tội.
Phát biểu B: Trộm cắp ô-tô không phải trọng tội.

Các nhà nghiên cứu phát hiện ra rằng những từ cụ thể như "not" gợi ý cho mô hình hướng về câu trả lời đúng, cho phép đạt điểm gần như tuyệt đối khi đưa những từ đó vào, nhưng khi loại bỏ các từ gợi ý đó ra thì kết quả lại là lựa chọn ngẫu nhiên đáp án.^[20][28] Vấn đề này, cùng với khó khăn đã biết trong việc định nghĩa 'trí thông minh là gì', khiến một số người biện luận rằng mọi benchmark để tìm xem liệu LLM có hiểu không thì đều có thiếu sót trong đó, rằng tất cả benchmark đều cho phép "đi đường tắt" để giả vờ là có hiểu.

Xem thêm

• Căn phòng tiếng Trung
• Định lý con khỉ vô hạn
• A.I tạo sinh

Tham khảo

1. ^ Lindholm và đồng nghiệp 2022, tr. 322–3.
2. ^ Uddin, Muhammad Saad (20 tháng 4 năm 2023). “Stochastic Parrots: A Novel Look at Large Language Models and Their Limitations”. Towards AI (bằng tiếng Anh). Truy cập ngày 12 tháng 5 năm 2023.
3. Weil, Elizabeth (1 tháng 3 năm 2023). “You Are Not a Parrot”. New York. Truy cập ngày 12 tháng 5 năm 2023.
4. ^ Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (1 tháng 3 năm 2021). “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜”. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. FAccT '21. New York, NY, USA: Association for Computing Machinery. tr. 610–623. doi:10.1145/3442188.3445922. ISBN 978-1-4503-8309-7. S2CID 232040593.
5. Hao, Karen (4 tháng 12 năm 2020). “We read the paper that forced Timnit Gebru out of Google. Here's what it says”. MIT Technology Review (bằng tiếng Anh). Lưu trữ bản gốc ngày 6 tháng 10 năm 2021. Truy cập ngày 19 tháng 1 năm 2022.
6. ^ Zimmer, Ben. “'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent”. Wall Street Journal (bằng tiếng Anh). Truy cập ngày 1 tháng 4 năm 2024.
7. Uddin, Muhammad Saad (20 tháng 4 năm 2023). “Stochastic Parrots: A Novel Look at Large Language Models and Their Limitations”. Towards AI (bằng tiếng Anh). Truy cập ngày 12 tháng 5 năm 2023.
8. Lyons, Kim (5 tháng 12 năm 2020). “Timnit Gebru's actual paper may explain why Google ejected her”. The Verge.
9. Weller (2021).
10. “Bender: On the Dangers of Stochastic Parrots”. Google Scholar. Truy cập ngày 12 tháng 5 năm 2023.
11. Arnaudo, Luca (20 tháng 4 năm 2023). “Artificial Intelligence, Capabilities, Liabilities: Interactions in the Shadows of Regulation, Antitrust – And Family Law”. SSRN. doi:10.2139/ssrn.4424363. S2CID 258636427.
12. Bleackley, Pete; BLOOM (2023). “In the Cage with the Stochastic Parrot”. Speculative Grammarian. CXCII (3). Truy cập ngày 13 tháng 5 năm 2023.
13. Gáti, Daniella (2023). “Theorizing Mathematical Narrative through Machine Learning”. Journal of Narrative Theory. Project MUSE. 53 (1): 139–165. doi:10.1353/jnt.2023.0003. S2CID 257207529.
14. Rees, Tobias (2022). “Non-Human Words: On GPT-3 as a Philosophical Laboratory”. Daedalus. 151 (2): 168–82. doi:10.1162/daed_a_01908. JSTOR 48662034. S2CID 248377889.
15. Goldman, Sharon (20 tháng 3 năm 2023). “With GPT-4, dangers of 'Stochastic Parrots' remain, say researchers. No wonder OpenAI CEO is a 'bit scared'”. VentureBeat (bằng tiếng Anh). Truy cập ngày 9 tháng 5 năm 2023.
16. Corbin, Sam (15 tháng 1 năm 2024). “Among Linguists, the Word of the Year Is More of a Vibe”. The New York Times (bằng tiếng Anh). ISSN 0362-4331. Truy cập ngày 1 tháng 4 năm 2024.
17. ^ Arkoudas, Konstantine (21 tháng 8 năm 2023). “ChatGPT is no Stochastic Parrot. But it also Claims that 1 is Greater than 1”. Philosophy & Technology (bằng tiếng Anh). 36 (3): 54. doi:10.1007/s13347-023-00619-6. ISSN 2210-5441.
18. ^ Fayyad, Usama M. (26 tháng 5 năm 2023). “From Stochastic Parrots to Intelligent Assistants—The Secrets of Data and Human Interventions”. IEEE Intelligent Systems. 38 (3): 63–67. doi:10.1109/MIS.2023.3268723. ISSN 1541-1672.
19. ^ Saba, Walid S. (2023). “Stochastic LLMS do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMS”. Trong Almeida, João Paulo A.; Borbinha, José; Guizzardi, Giancarlo; Link, Sebastian; Zdravkovic, Jelena (biên tập). Conceptual Modeling. Lecture Notes in Computer Science (bằng tiếng Anh). 14320. Cham: Springer Nature Switzerland. tr. 3–19. arXiv:2309.05918. doi:10.1007/978-3-031-47262-6_1. ISBN 978-3-031-47262-6.
20. ^ Mitchell, Melanie; Krakauer, David C. (28 tháng 3 năm 2023). “The debate over understanding in AI's large language models”. Proceedings of the National Academy of Sciences (bằng tiếng Anh). 120 (13): e2215907120. arXiv:2210.13966. Bibcode:2023PNAS..12015907M. doi:10.1073/pnas.2215907120. ISSN 0027-8424. PMC 10068812. PMID 36943882.
21. Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; Singh, Amanpreet; Michael, Julian; Hill, Felix; Levy, Omer; Bowman, Samuel R. (2019-05-02). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems" (en). arΧiv:1905.00537 [cs.CL]. 
22. Li, Kenneth; Hopkins, Aspen K.; Bau, David; Viégas, Fernanda; Pfister, Hanspeter; Wattenberg, Martin (27 tháng 2 năm 2023), Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task, arXiv:2210.13382
23. Li, Kenneth (21 tháng 1 năm 2023). “Large Language Model: world models or surface statistics?”. The Gradient (bằng tiếng Anh). Truy cập ngày 4 tháng 4 năm 2024.
24. Jin, Charles; Rinard, Martin (24 tháng 5 năm 2023), Evidence of Meaning in Language Models Trained on Programs, arXiv:2305.11169
25. Schreiner, Maximilian (11 tháng 8 năm 2023). “Grokking in machine learning: When Stochastic Parrots build models”. the decoder (bằng tiếng Anh). Truy cập ngày 25 tháng 5 năm 2024.
26. Choudhury, Sagnik Ray; Rogers, Anna; Augenstein, Isabelle (15 tháng 9 năm 2022), Machine Reading, Fast and Slow: When Do Models "Understand" Language?, arXiv:2209.07430
27. Geirhos, Robert; Jacobsen, Jörn-Henrik; Michaelis, Claudio; Zemel, Richard; Brendel, Wieland; Bethge, Matthias; Wichmann, Felix A. (10 tháng 11 năm 2020). “Shortcut learning in deep neural networks”. Nature Machine Intelligence (bằng tiếng Anh). 2 (11): 665–673. arXiv:2004.07780. doi:10.1038/s42256-020-00257-z. ISSN 2522-5839.
28. ^ Niven, Timothy; Kao, Hung-Yu (16 tháng 9 năm 2019), Probing Neural Network Comprehension of Natural Language Arguments, arXiv:1907.07355

Tác phẩm có trích dẫn

• Lindholm, A.; Wahlström, N.; Lindsten, F.; Schön, T. B. (2022). Machine Learning: A First Course for Engineers and Scientists. Nhà xuất bản Đại học Cambridge. ISBN 978-1108843607.
• Weller, Adrian (13 tháng 7 năm 2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (video). Viện Alan Turing. Emily Bender diễn thuyết chính. Kế sau thuyết trình là tọa đàm.

Đọc thêm

• Bogost, Ian (7 tháng 12 năm 2022). “ChatGPT Is Dumber Than You Think: Treat it like a toy, not a tool”. The Atlantic. Truy cập ngày 17 tháng 1 năm 2024.
• Chomsky, Noam (8 tháng 3 năm 2023). “The False Promise of ChatGPT”. The New York Times. Truy cập ngày 17 tháng 1 năm 2024.
• Glenberg, Arthur; Jones, Cameron Robert (6 tháng 4 năm 2023). “It takes a body to understand the world – why ChatGPT and other language AIs don't know what they're saying”. The Conversation. Truy cập ngày 17 tháng 1 năm 2024.
• McQuillan, D. (2022). Resisting AI: An Anti-fascist Approach to Artificial Intelligence. Nhà xuất bản Đại học Bristol. ISBN 978-1-5292-1350-8.
• Thompson, E. (2022). Escape from Model Land: How Mathematical Models Can Lead Us Astray and What We Can Do about It. Basic Books. ISBN 978-1-5416-0098-0.
• Zhong, Qihuang; Ding, Liang; Liu, Juhua; Du, Bo; Tao, Dacheng (2023). "Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT". arΧiv:2302.10198 [cs.CL]. 

Liên kết ngoài

• "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" tại Wikimedia Commons