Mạng thần kinh đệ quy

Đừng nhầm lẫn với Mạng thần kinh hồi quy.

Một mạng thần kinh đệ quy là một dạng mạng thần kinh học sâu được tạo ra bằng cách áp dụng cùng tập các trọng lượng đệ quy trên một đầu vào có cấu trúc, để sản sinh một dự đoán cấu trúc với các cấu trúc đầu vào kích thước thay đổi, hoặc một dự đoán scalar trên nó, theo cách duyệt qua một cấu trúc cho trước trong sắp xếp tô pô.

Mạng thần kinh đệ quy đã và đang thành công trong việc học theo trình tự và các cấu trúc cây trong lĩnh vực xử lý ngôn ngữ tự nhiên, chủ yếu là các thể hiện cụm từ hay câu liên tiếp nhau dựa trên kỹ thuật nhúng từ.

Mạng thần kinh đệ quy lần đầu được giới thiệu để học các cấu trúc thể hiện phân phối, chẳng hạn như logic toán.^[1] Các framework mô hình và framework tổng quát đã và đang được phát triển ở các công trình trước đó từ năm 1990.^[2][3]

Tham khảo

1. Goller, C.; Küchler, A. (1996). “Learning task-dependent distributed representations by backpropagation through structure”. Proceedings of International Conference on Neural Networks (ICNN'96). 1. tr. 347–352. CiteSeerX 10.1.1.52.4759. doi:10.1109/ICNN.1996.548916. ISBN 978-0-7803-3210-2.
2. Sperduti, A.; Starita, A. (ngày 1 tháng 5 năm 1997). “Supervised neural networks for the classification of structures”. IEEE Transactions on Neural Networks. 8 (3): 714–735. doi:10.1109/72.572108. ISSN 1045-9227. PMID 18255672.
3. Frasconi, P.; Gori, M.; Sperduti, A. (ngày 1 tháng 9 năm 1998). “A general framework for adaptive processing of data structures”. IEEE Transactions on Neural Networks. 9 (5): 768–786. CiteSeerX 10.1.1.64.2580. doi:10.1109/72.712151. ISSN 1045-9227. PMID 18255765.