Bộ tự mã hóa

Đừng nhầm lẫn với Autocoder hoặc Autocode.

Bộ tự mã hóa (tiếng Anh: autoencoder) là một dạng mạng thần kinh nhân tạo được dùng để học các mã hóa dữ liệu hiệu quả theo cách học không có giám sát.^[1] Mục tiêu của một bộ tự mã hóa là học một học đặc tính (mã hóa) từ một tập dữ liệu, thông thường dành cho giảm chiều dữ liệu (dimensionality reduction), bằng cách huấn luyện mạng thần kinh bỏ qua các tín hiệu "lỗi". Cùng với mặt rút gọn, một mặt tái tạo cũng được học, trong đó bộ tự mã hóa cố gắng tạo ra từ mã hóa rút gọn một thể hiện gần nhất có thể với đầu vào ban đầu của nó. Một vài biến thể tồn tại đối với mô hình cơ bản, với mục đích ép buộc các thể hiện đã được học của đầu vào để giả định các thuộc tính hữu ích.^[2] Các ví dụ là các bộ tự mã hóa chính quy (thưa thớt, giảm nhiễu, và các bộ tự mã hóa có tính chất co rút), chứng minh là hiệu trong các thể hiện học dành cho các tác vụ phân loại theo sau,^[3] và các bộ tự mã hóa đa dạng, với các ứng dụng gần đây là các mô hình sinh mẫu.^[4] Các bộ tự mã hóa có hiệu quả khi dùng cho việc giải quyết nhiều vấn đề có tính ứng dụng, từ hệ thống nhận dạng khuôn mặt^[5] cho đến tiếp thu ý nghĩa ngữ nghĩa của các từ vựng.^[6][7]

Xem thêm

• Học đặc tính
• Học từ điển thưa thớt
• Học sâu

Tham khảo

1. Kramer, Mark A. (1991). “Nonlinear principal component analysis using autoassociative neural networks” (PDF). AIChE Journal. 37 (2): 233–243. doi:10.1002/aic.690370209.
2. Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0262035613.
3. Vincent, Pascal; Larochelle, Hugo (2010). “Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion”. Journal of Machine Learning Research. 11: 3371–3408.
4. Welling, Max; Kingma, Diederik P. (2019). “An Introduction to Variational Autoencoders”. Foundations and Trends in Machine Learning. 12 (4): 307–392. arXiv:1906.02691. Bibcode:2019arXiv190602691K. doi:10.1561/2200000056.
5. Hinton GE, Krizhevsky A, Wang SD. Transforming auto-encoders. In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.
6. Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). “Modeling word perception using the Elman network”. Neurocomputing. 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.
7. Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). “Autoencoder for words”. Neurocomputing. 139: 84–96. doi:10.1016/j.neucom.2013.09.055.