Chính quy hóa (toán học)

Hai hàm màu xanh lá và xanh dương đều xảy ra lỗi mất mát zero trên các điểm dữ liệu. Một mô hình được học có thể chọn hàm màu xanh lá, vì hàm này tổng quát hóa nhiều điểm dữ liệu hơn từ nền tảng phân phối không xác định, bằng cách thích ứng giá trị ${\displaystyle \lambda }$, trọng lượng của thuật ngữ chính quy hóa.

Trong toán học, thống kê, và khoa học máy tính, đặc biệt là trong học máy và các bài toán ngược, chính quy hóa là quá trình thêm thông tin để giải quyết một bài toán giả định sai hoặc để ngăn chặn sự quá khớp (overfitting).^[1] Có thể hiểu chính quy hóa là bất kỳ thay đổi nào mà chúng ta tạo ra với một thuật toán học thuật nhằm giảm lỗi tổng quát chứ không phải là lỗi huấn luyện. Chính quy hóa ứng dụng cho các hàm mục tiêu trong các bài toàn tối ưu giả định sai. ^[2]

Ghi chú

1. Bühlmann, Peter; Van De Geer, Sara (2011). “Statistics for High-Dimensional Data”. Springer Series in Statistics: 9. doi:10.1007/978-3-642-20192-9. ISBN 978-3-642-20191-2. If p > n, the ordinary least squares estimator is not unique and will heavily overfit the data. Thus, a form of complexity regularization will be necessary.
2. Goodfellow, Ian; Bengio, Yoshua (2016). “Chapter 5. Machine Learning Basis”. Deep Learning. MIT Press. tr. 117.

Tham khảo

• A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636–666. Available in pdf Lưu trữ 2012-02-04 tại Wayback Machine from author's website.