Học đặc trưng

Sơ đồ mô hình học đặc trưng trong học máy, được áp dụng cho các nhiệm vụ hạ nguồn, có thể được áp dụng cho dữ liệu thô như hình ảnh hoặc văn bản, hoặc một tập hợp ban đầu các đặc trưng của dữ liệu. Học đặc trưng nhằm giúp quá trình huấn luyện nhanh hơn hoặc hiệu suất tốt hơn trong các bài toán cụ thể so với việc sử dụng dữ liệu đầu vào trực tiếp, so sánh với kỹ thuật "chuyển giao học tập" (transfer learning).^[1]

Trong học máy, học đặc trưng (feature learning) hay học biểu diễn (representation learning)^[2] là tập hợp các kỹ thuật cho phép hệ thống tự động khám phá các biểu diễn cần thiết cho việc phát hiện hoặc phân loại đặc trưng từ dữ liệu thô. Điều này thay thế cho việc xây dựng đặc trưng (feature engineering) thủ công và cho phép máy học cả đặc trưng lẫn thực hiện nhiệm vụ cụ thể.

Học đặc trưng được thúc đẩy bởi thực tế rằng các bài toán trong học máy như phân loại thường yêu cầu đầu vào dễ dàng và thuận tiện cho việc xử lý toán học và tính toán. Tuy nhiên, dữ liệu thực tế như hình ảnh, video và dữ liệu từ cảm biến không thể dễ dàng xác định các đặc trưng cụ thể thông qua các thuật toán rõ ràng. Một phương pháp thay thế là khám phá các đặc trưng hoặc biểu diễn này thông qua quá trình quan sát, mà không phụ thuộc vào các thuật toán cụ thể.

Học đặc trưng có thể là có giám sát, không giám sát hoặc tự giám sát.

• Trong học có giám sát, các đặc trưng được học từ dữ liệu đã gán nhãn. Dữ liệu có nhãn bao gồm cặp "đầu vào-nhãn", trong đó đầu vào được đưa vào mô hình và nó phải tạo ra nhãn đúng.^[3] Điều này có thể tận dụng để tạo ra các biểu diễn đặc trưng giúp mô hình đạt độ chính xác cao trong dự đoán nhãn. Ví dụ bao gồm mạng thần kinh nhân tạo, perceptron nhiều lớp và supervised dictionary learning (học từ điển có giám sát).
• Trong học không có giám sát, các đặc trưng được học từ dữ liệu không có nhãn bằng cách phân tích mối quan hệ giữa các điểm trong tập dữ liệu.^[4] Ví dụ bao gồm học từ điển, phân tích thành phần độc lập (independent component analysis), phân rã ma trận^[5] và các dạng khác của phân tích cụm.^[6][7][8]
• Trong học tự giám sát, các đặc trưng được học từ dữ liệu không có nhãn như học không giám sát, nhưng các cặp "đầu vào-nhãn" được tạo ra từ mỗi điểm dữ liệu. Điều này cho phép học cấu trúc của dữ liệu thông qua các phương pháp có giám sát như suy giảm độ dốc (gradient descent).^[9] Ví dụ kinh điển bao gồm các vectơ từ và bộ tự mã hóa.^[10][11] Học tự giám sát từ đó đã được áp dụng cho nhiều dạng dữ liệu thông qua việc sử dụng các kiến trúc mạng nơ-ron sâu như mạng thần kinh tích chập và transformer.^[9]

Học có giám sát

Học đặc trưng có giám sát là học các đặc trưng từ dữ liệu có nhãn. Nhãn dữ liệu cho phép hệ thống tính toán một đại lượng lỗi, mức độ mà hệ thống không thành công trong việc tạo ra nhãn. Đại lượng lỗi này sau đó được sử dụng làm phản hồi để điều chỉnh quá trình học (giảm/ tối thiểu hóa lỗi). Các phương pháp tiếp cận bao gồm:

Học từ điển có giám sát

Học từ điển phát triển một tập hợp (từ điển) các phần tử đại diện từ dữ liệu đầu vào sao cho mỗi điểm dữ liệu có thể được biểu diễn dưới dạng tổng trọng số của các phần tử đại diện. Các phần tử của từ điển và các trọng số có thể được tìm thấy bằng cách giảm thiểu lỗi trung bình trong quá trình biểu diễn (trên dữ liệu đầu vào), cùng với chính quy hóa L1 (L1 regularization) đối với các trọng số để tạo ra độ thưa (tức là, biểu diễn của mỗi điểm dữ liệu chỉ có một vài trọng số khác không).

Học từ điển có giám sát khai thác cả cấu trúc cơ bản của dữ liệu đầu vào và các nhãn để tối ưu hóa các phần tử từ điển. Ví dụ, phương pháp^[12] học từ điển có giám sát này áp dụng học từ điển vào các bài toán phân loại bằng cách tối ưu hóa đồng thời các phần tử từ điển, các trọng số để biểu diễn các điểm dữ liệu, và các tham số của bộ phân loại dựa trên dữ liệu đầu vào. Cụ thể, một bài toán tối ưu hóa được hình thành, trong đó hàm mục tiêu bao gồm lỗi phân loại, lỗi biểu diễn, chính quy hóa L1 trên các trọng số biểu diễn của mỗi điểm dữ liệu (để tạo ra biểu diễn thưa của dữ liệu), và chính quy hóa L2 trên các tham số của bộ phân loại.

Mạng thần kinh

Mạng thần kinh nhân tạo là một họ các thuật toán học sử dụng một "mạng" gồm nhiều lớp các nút kết nối với nhau. Nó được lấy cảm hứng từ hệ thần kinh của động vật, trong đó các nút được xem như là các tế bào thần kinh và các cạnh là các khớp thần kinh. Mỗi cạnh có một trọng số liên kết, và mạng định nghĩa các quy tắc tính toán để chuyển dữ liệu đầu vào từ lớp đầu vào của mạng đến lớp đầu ra. Một hàm mạng (network function) liên quan đến mạng thần kinh đặc trưng hóa mối quan hệ giữa các lớp đầu vào và đầu ra, được tham số hóa bởi các trọng số. Với các hàm mạng được định nghĩa một cách hợp lý, có thể thực hiện các nhiệm vụ học bằng cách giảm thiểu một hàm mất mát (cost function) trên hàm mạng (các trọng số).

Các mạng thần kinh đa tầng có thể được sử dụng để thực hiện học đặc trưng, vì chúng học một biểu diễn của đầu vào tại các lớp ẩn, sau đó được sử dụng để phân loại hoặc hồi quy ở lớp đầu ra. Kiến trúc mạng phổ biến nhất thuộc loại này là "mạng thần kinh song sinh" (Siamese neural network).

Học không giám sát

Học đặc trưng không giám sát là quá trình học các đặc trưng từ dữ liệu không được gán nhãn. Mục tiêu của học đặc trưng không giám sát thường là khám phá ra các đặc trưng có kích thước thấp hơn mà nắm bắt được một số cấu trúc cơ bản trong dữ liệu đầu vào có kích thước cao. Khi học đặc trưng được thực hiện theo cách không giám sát, nó cho phép một dạng học bán giám sát, nơi các đặc trưng học được từ tập dữ liệu không có nhãn được sử dụng để cải thiện hiệu suất trong môi trường học có giám sát với dữ liệu có nhãn.^[13][14] Một số phương pháp được giới thiệu dưới đây.

Phân cụm K-means

Phân cụm K-means là một phương pháp lượng hóa vectơ. Cụ thể, với một tập hợp gồm n vectơ, phân cụm K-means sẽ nhóm chúng vào k cụm (tức là các tập con) sao cho mỗi vectơ thuộc về cụm có trung bình gần nhất. Bài toán này có tính toán phức tạp thuộc loại NP-khó, mặc dù đã có các thuật toán tham lam cận tối ưu được phát triển.

Phân cụm K-means có thể được sử dụng để nhóm một tập dữ liệu không có nhãn vào các cụm k, sau đó sử dụng các "trọng tâm" (centroid) của các cụm này để tạo ra các đặc trưng. Các đặc trưng này có thể được tạo ra theo nhiều cách. Cách đơn giản nhất là thêm k đặc trưng nhị phân vào mỗi mẫu, trong đó mỗi đặc trưng j có giá trị bằng một khi và chỉ khi trọng tâm thứ j học được từ K-means là gần nhất với mẫu đang xét.^[6] Cũng có thể sử dụng các khoảng cách tới các cụm làm đặc trưng, có thể sau khi biến đổi chúng thông qua một "hàm cơ sở xuyên tâm" (radial basis function - một kỹ thuật đã được sử dụng để huấn luyện mạng thần kinh cơ sở xuyên tâm hoặc 'radial basis function network'^[15]). Coates và Ng lưu ý rằng các biến thể nhất định của K-means hoạt động tương tự như các thuật toán mã hóa thưa thớt (sparse coding).^[16]

Trong một đánh giá so sánh các phương pháp học đặc trưng không giám sát, Coates, Lee và Ng phát hiện rằng phân cụm K-means với một biến đổi thích hợp vượt trội hơn so với các phương pháp tự mã hóa và RBM (Restricted Boltzmann Machine) gần đây trong bài toán phân loại hình ảnh.^[6] K-means cũng cải thiện hiệu suất trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), đặc biệt là trong nhận dạng thực thể có tên (named-entity recognition);^[17] ở đó, nó cạnh tranh với phân cụm Brown (Brown clustering), cũng như với các biểu diễn từ phân tán (còn được gọi là các "biểu diễn từ" bằng mạng thần kinh).^[14]

Phép phân tích thành phần chính

Phép phân tích thành phần chính (Principal component analysis - PCA) thường được sử dụng để giảm chiều dữ liệu. Với một tập hợp không nhãn gồm n vectơ dữ liệu đầu vào, PCA tạo ra p (thường nhỏ hơn nhiều so với chiều của dữ liệu đầu vào) các "vectơ kỳ dị bên phải" tương ứng với p giá trị kỳ dị lớn nhất của ma trận dữ liệu, trong đó hàng thứ k của ma trận dữ liệu là vectơ dữ liệu đầu vào thứ k đã được dịch chuyển bởi trung bình mẫu (sample mean) của đầu vào (tức là trừ trung bình mẫu khỏi vectơ dữ liệu). Tương đương, các vectơ kỳ dị này là các vectơ riêng tương ứng với p giá trị riêng lớn nhất của "ma trận hiệp phương sai mẫu" (sample covariance matrix) của các vectơ đầu vào. Các vectơ kì dị p này là các vectơ đặc trưng học được từ dữ liệu đầu vào và chúng đại diện cho các hướng mà dữ liệu có sự biến đổi lớn nhất.

PCA là một phương pháp học đặc trưng tuyến tính vì các vectơ kỳ dị p là các hàm tuyến tính của ma trận dữ liệu. Các vectơ kỳ dị có thể được tạo ra thông qua một thuật toán đơn giản với p vòng lặp. Trong vòng lặp thứ i, phép chiếu của ma trận dữ liệu lên vectơ riêng thứ (i-1) được trừ đi, và vectơ kỳ dị thứ i được tìm thấy là vectơ kỳ dị bên phải tương ứng với giá trị kỳ dị lớn nhất của ma trận dữ liệu dư thừa.

PCA có một số hạn chế. Thứ nhất, nó giả định rằng các hướng có phương sai lớn là quan trọng nhất, điều này có thể không đúng. PCA chỉ dựa vào các phép biến đổi trực giao của dữ liệu gốc và chỉ khai thác các mô men bậc nhất và bậc hai của dữ liệu, điều này có thể không mô tả tốt phân bố dữ liệu. Hơn nữa, PCA chỉ có thể giảm chiều một cách hiệu quả khi các vectơ dữ liệu đầu vào có sự tương quan (dẫn đến một vài giá trị riêng chiếm ưu thế).

Nhúng tuyến tính cục bộ

Nhúng tuyến tính cục bộ (Nonlinear dimensionality reduction - LLE) là một phương pháp học phi tuyến tính để tạo ra các "biểu diễn bảo toàn lân cận" có chiều thấp từ đầu vào có kích thước cao (không nhãn). Phương pháp này được đề xuất bởi Roweis và Saul (2000).^[18][19] Ý tưởng chung của LLE là tái tạo dữ liệu đầu vào có kích thước cao bằng các điểm có kích thước thấp hơn trong khi bảo toàn một số tính chất hình học của các lân cận (hoặc còn được gọi là "hàng xóm", "láng giềng") trong tập dữ liệu gốc.

LLE bao gồm hai bước chính. Bước đầu tiên là "bảo toàn lân cận", trong đó mỗi điểm dữ liệu đầu vào Xi được tái tạo như một tổng trọng số của giải thuật k hàng xóm gần nhất và các trọng số tối ưu được tìm ra bằng cách giảm thiểu lỗi tái tạo bình phương trung bình (tức là sự khác biệt giữa một điểm đầu vào và tái tạo của nó) dưới ràng buộc rằng tổng các trọng số liên quan đến mỗi điểm bằng một. Bước thứ hai là "giảm chiều", bằng cách tìm các vectơ trong không gian có kích thước thấp hơn mà giảm thiểu lỗi biểu diễn sử dụng các trọng số tối ưu trong bước đầu tiên. Lưu ý rằng trong bước đầu tiên, các trọng số được tối ưu hóa với dữ liệu cố định, có thể giải quyết được như một bài toán bình phương tối thiểu. Trong bước thứ hai, các điểm có kích thước thấp hơn được tối ưu hóa với các trọng số cố định, có thể giải quyết thông qua phân rã giá trị riêng thưa thớt (sparse eigenvalue decomposition).

Các trọng số tái tạo thu được trong bước đầu tiên nắm bắt được các "tính chất hình học nội tại" (intrinsic geometric property) của hàng xóm trong dữ liệu đầu vào.^[19] Giả định rằng dữ liệu gốc nằm trên một đa tạp (manifold) mượt mà có kích thước thấp hơn và các "tính chất hình học nội tại" được nắm bắt bởi các trọng số của dữ liệu gốc cũng được kỳ vọng nằm trên đa tạp đó. Đây là lý do tại sao các trọng số giống nhau được sử dụng trong bước thứ hai của LLE. So với PCA, LLE mạnh mẽ hơn trong việc khai thác cấu trúc dữ liệu cơ bản.

Phép phân tích thành phần độc lập

Phân tích thành phần độc lập (Independent component analysis - ICA) là một kỹ thuật để hình thành "biểu diễn dữ liệu" sử dụng tổng trọng số của các "thành phần độc lập phi Gauss" (independent non-Gaussian component).^[20] Giả định về tính "phi Gauss" được áp đặt vì trọng số không thể được xác định duy nhất khi tất cả các thành phần đều tuân theo phân phối Gauss.

Học từ điển không giám sát

Học từ điển không giám sát không sử dụng nhãn dữ liệu và khai thác cấu trúc tiềm ẩn trong dữ liệu để tối ưu hóa các phần tử của từ điển. Một ví dụ về học từ điển không giám sát là "mã hóa thưa thớt" (sparse coding), với mục tiêu học các hàm cơ sở (phần tử từ điển) để biểu diễn dữ liệu từ dữ liệu đầu vào không có nhãn. Mã hóa thưa thớt có thể được áp dụng để học các từ điển thừa, nơi số lượng phần tử từ điển lớn hơn kích thước của dữ liệu đầu vào.^[21] Michal Aharon và cộng sự đã đề xuất thuật toán K-SVD để học một từ điển các phần tử cho phép biểu diễn thưa thớt (sparse representation).^[22]

Kiến trúc đa tầng/sâu

Kiến trúc phân cấp của hệ thống thần kinh sinh học đã truyền cảm hứng cho các kiến trúc học sâu để học đặc trưng bằng cách xếp chồng nhiều lớp nút học (learning node).^[23] Các kiến trúc này thường được thiết kế dựa trên giả thuyết về "biểu diễn phân tán" (distributed representation): dữ liệu quan sát được tạo ra bởi sự tương tác của nhiều yếu tố khác nhau trên nhiều cấp độ. Trong một kiến trúc học sâu, đầu ra của mỗi lớp trung gian có thể được xem như một biểu diễn của dữ liệu đầu vào gốc. Mỗi cấp độ sử dụng biểu diễn do cấp thấp hơn tạo ra làm đầu vào, và sản xuất các biểu diễn mới làm đầu ra, sau đó được chuyển đến các cấp độ cao hơn. Đầu vào ở lớp thấp nhất là dữ liệu thô, và đầu ra của lớp cuối cùng, lớp cao nhất là đặc trưng hoặc biểu diễn cuối cùng có kích thước thấp.

Máy Boltzmann hạn chế

Bài chi tiết: Máy Boltzmann hạn chế

Máy Boltzmann hạn chế hay Máy Boltzmann giới hạn (Restricted Boltzmann machine - RBM) thường được sử dụng như một khối xây dựng cho các kiến trúc học nhiều tầng.^[6][24] Một RBM có thể được biểu diễn dưới dạng một đồ thị hai phía không có hướng bao gồm một nhóm các biến nhị phân, các biến tiềm ẩn, một nhóm các biến nhìn thấy, và các cạnh kết nối các nút ẩn và nút nhìn thấy. Đây là một trường hợp đặc biệt của máy Boltzmann tổng quát hơn với giới hạn không có kết nối nội bộ giữa các nút. Mỗi cạnh trong RBM được gán với một trọng số. Các trọng số cùng với các kết nối xác định một "hàm năng lượng" (energy function), dựa trên đó có thể tạo ra một phân phối xác suất đồng thời của các nút ẩn và nút nhìn thấy. Dựa trên cấu trúc của RBM, các biến ẩn (biến nhìn thấy) là độc lập, khi được điều kiện hoá theo các biến nhìn thấy (biến ẩn). Sự độc lập điều kiện này tạo thuận lợi cho việc tính toán.

RBM có thể được xem như một kiến trúc một lớp cho học đặc trưng không giám sát. Cụ thể, các biến nhìn thấy tương ứng với dữ liệu đầu vào, và các biến ẩn tương ứng với bộ phát hiện đặc trưng. Các trọng số có thể được huấn luyện bằng cách tối đa hóa xác suất của các biến nhìn thấy sử dụng thuật toán "divergence tương phản" (contrastive divergence - CD) của Geoffrey Hinton.^[24]

Thông thường, việc huấn luyện RBM bằng cách giải quyết bài toán tối đa hóa có xu hướng tạo ra các biểu diễn không thưa thớt. RBM thưa thớt^[25] đã được đề xuất để cho phép các biểu diễn thưa thớt. Ý tưởng là thêm một thuật toán chính quy hóa trong hàm mục tiêu của khả năng dữ liệu, để phạt việc sai lệch của các biến ẩn kỳ vọng khỏi một hằng số nhỏ ${\displaystyle p}$. RBM cũng đã được sử dụng để đạt được các biểu diễn "tách biệt" của dữ liệu, trong đó các đặc trưng thú vị được ánh xạ (mapping) tới các đơn vị ẩn riêng biệt.^[26]

Bộ tự mã hóa

Một bộ tự mã hóa (autoencoder) bao gồm bộ mã hóa và bộ giải mã là một mô hình cho các kiến trúc học sâu. Một ví dụ được cung cấp bởi Hinton và Salakhutdinov^[24] trong đó bộ mã hóa sử dụng dữ liệu thô (ví dụ: hình ảnh) làm đầu vào và tạo ra đặc trưng hoặc biểu diễn làm đầu ra, và bộ giải mã sử dụng đặc trưng trích xuất từ bộ mã hóa làm đầu vào và tái tạo lại dữ liệu thô ban đầu làm đầu ra. Bộ mã hóa và bộ giải mã được xây dựng bằng cách xếp chồng nhiều lớp RBM. Các tham số tham gia trong kiến trúc ban đầu được huấn luyện theo cách tham lam theo từng lớp: sau khi một lớp của "bộ phát hiện đặc trưng" (feature detectors) được học, chúng sẽ được cung cấp như các biến nhìn thấy để huấn luyện RBM tương ứng. Các phương pháp hiện tại thường áp dụng huấn luyện đầu-cuối với các phương pháp suy giảm độ dốc ngẫu nhiên" (stochastic gradient descent). Việc huấn luyện có thể lặp lại cho đến khi đạt được các tiêu chí dừng.

Học tự giám sát

Học biểu diễn tự giám sát là học các đặc trưng bằng cách huấn luyện trên cấu trúc của dữ liệu không có nhãn thay vì dựa vào các nhãn rõ ràng cho một tín hiệu thông tin. Cách tiếp cận này cho phép kết hợp sử dụng các kiến trúc mạng thần kinh sâu và các bộ dữ liệu không có nhãn lớn hơn để tạo ra các biểu diễn đặc trưng sâu.^[9] Các nhiệm vụ huấn luyện thường thuộc vào hai loại là tương phản hoặc tạo sinh, hoặc kết hợp cả hai.^[27] Học biểu diễn tương phản huấn luyện các biểu diễn cho các cặp dữ liệu liên quan, được gọi là mẫu dương (posive sample), để chúng đồng bộ, trong khi các cặp không có mối quan hệ, được gọi là mẫu âm (negative sample), bị đối chiếu. Thông thường, một phần lớn hơn các mẫu âm là cần thiết để ngăn chặn hiện tượng sụp đổ thảm khốc, đó là khi tất cả các đầu vào đều được ánh xạ đến cùng một biểu diễn (vectơ).^[9] Học biểu diễn tạo sinh đặt nhiệm vụ cho mô hình sản xuất dữ liệu chính xác để phù hợp với đầu vào bị hạn chế hoặc tái tạo đầu vào đầy đủ từ một biểu diễn có chiều thấp hơn.^[27]

Một thiết lập phổ biến cho "học biểu diễn tự giám sát" của một loại dữ liệu cụ thể (ví dụ: văn bản, hình ảnh, âm thanh, video) là huấn luyện trước mô hình bằng cách sử dụng các bộ dữ liệu lớn của ngữ cảnh tổng quát, dữ liệu không có nhãn.^[11] Tùy thuộc vào ngữ cảnh, kết quả của điều này có thể là một tập hợp các biểu diễn cho các đoạn dữ liệu phổ biến (ví dụ: từ) mà dữ liệu mới có thể được phân tách, hoặc là một mạng thần kinh có khả năng chuyển đổi mỗi điểm dữ liệu mới (ví dụ: hình ảnh) thành một tập hợp các đặc trưng có chiều thấp hơn.^[9] Trong cả hai trường hợp, các biểu diễn đầu ra sau đó có thể được sử dụng như một khởi đầu trong nhiều thiết lập vấn đề khác nhau nơi dữ liệu có nhãn có thể bị giới hạn. Chuyên môn hóa mô hình cho các nhiệm vụ cụ thể thường được thực hiện với học có giám sát, hoặc bằng cách tinh chỉnh mô hình/biểu diễn với các nhãn làm tín hiệu, hoặc đóng băng các biểu diễn và huấn luyện một mô hình bổ sung nhận chúng làm đầu vào.^[11]

Nhiều sơ đồ huấn luyện tự giám sát đã được phát triển để sử dụng trong học biểu diễn của các "phương thức" khác nhau, thường đầu tiên cho thấy ứng dụng thành công trong văn bản hoặc hình ảnh trước khi được chuyển sang các loại dữ liệu khác.^[9]

Văn bản

Word2vec là một kỹ thuật nhúng từ bằng cách học cách biểu diễn từ thông qua tự giám sát trên mỗi từ và các từ liền kề trong một cửa sổ trượt trên một tập văn bản lớn.^[28] Mô hình này có hai sơ đồ huấn luyện khả thi để tạo ra các biểu diễn vectơ từ, một là tạo sinh và một là tương phản.^[27] Đầu tiên là dự đoán từ dựa trên mỗi từ liền kề làm đầu vào.^[28] Thứ hai là huấn luyện trên sự tương đồng biểu diễn cho các từ liền kề và sự không tương đồng biểu diễn cho các cặp từ ngẫu nhiên.^[10] Một hạn chế của word2vec là chỉ sử dụng cấu trúc đồng xuất hiện cặp của dữ liệu, không sử dụng thứ tự hoặc toàn bộ tập từ ngữ ngữ cảnh. Các phương pháp học biểu diễn dựa trên transformer mới hơn cố gắng giải quyết điều này với các nhiệm vụ dự đoán từ.^[9] GPT (Generative pre-trained transformer) huấn luyện trước trên dự đoán từ tiếp theo bằng cách sử dụng các từ đầu vào trước đó làm ngữ cảnh,^[29] trong khi BERT che dấu các token ngẫu nhiên để cung cấp ngữ cảnh hai chiều.^[30]

Các kỹ thuật tự giám sát khác mở rộng các nhúng từ bằng cách tìm các biểu diễn cho các cấu trúc văn bản lớn hơn như "vectơ câu" hoặc "nhúng câu" (sentence embedding) hoặc đoạn văn trong dữ liệu đầu vào.^[9] "Doc2vec" mở rộng cách tiếp cận huấn luyện tạo sinh trong word2vec bằng cách thêm một đầu vào bổ sung vào nhiệm vụ dự đoán từ dựa trên đoạn văn mà nó nằm trong đó, và do đó có ý định biểu diễn ngữ cảnh cấp đoạn văn.^[31]

Hình ảnh

Lĩnh vực học biểu diễn hình ảnh đã sử dụng nhiều kỹ thuật huấn luyện tự giám sát khác nhau, bao gồm chuyển đổi (transformation),^[32] tô màu lại hình ảnh (inpainting),^[33] phân biệt vùng ảnh (patch discrimination)^[34] và phân cụm (clustering).^[35]

Ví dụ của các phương pháp tạo sinh là Context Encoders, huấn luyện một kiến trúc mạng thần kinh tích chập "AlexNet" để tạo ra một vùng hình ảnh bị loại bỏ dựa trên hình ảnh bị che làm đầu vào,^[33] và iGPT, áp dụng kiến trúc mô hình ngôn ngữ GPT-2 cho hình ảnh bằng cách huấn luyện trên dự đoán pixel sau khi giảm độ phân giải hình ảnh.^[36]

Nhiều phương pháp tự giám sát khác sử dụng "mạng song sinh" (siamese network), tạo ra các quan điểm khác nhau của hình ảnh thông qua nhiều phép tăng cường khác nhau, sau đó được căn chỉnh để có các biểu diễn tương tự nhau. Thách thức là tránh các giải pháp sụp đổ khi mô hình mã hóa tất cả các hình ảnh thành cùng một biểu diễn.^[37] SimCLR là một phương pháp tương phản sử dụng các ví dụ âm để tạo ra các biểu diễn hình ảnh với một mạng thần kinh tích chập "ResNet" (Residual neural network).^[34] Bootstrap Your Own Latent (BYOL) loại bỏ sự cần thiết của các mẫu âm bằng cách mã hóa một trong các quan điểm bằng một "trung bình động" (moving average) chậm của các tham số mô hình khi chúng đang được thay đổi trong quá trình huấn luyện.^[38]

Đồ thị

Mục tiêu của nhiều kỹ thuật học biểu diễn đồ thị là tạo ra một biểu diễn nhúng của mỗi "nút" hoặc "đỉnh" (vertex) dựa trên tổng thể cấu trúc mạng. node2vec mở rộng kỹ thuật huấn luyện word2vec sang các nút trong một đồ thị bằng cách sử dụng đồng xuất hiện trong các "bước đi ngẫu nhiên" (random walk) qua đồ thị như một thước đo sự liên kết.^[39] Một cách tiếp cận khác là tối đa hóa "thông tin tương hỗ" (mutual information), một thước đo sự tương đồng, giữa các biểu diễn của các cấu trúc liên quan trong đồ thị.^[9] Một ví dụ là Deep Graph Infomax, sử dụng tự giám sát tương phản dựa trên thông tin tương hỗ giữa biểu diễn của một "vùng cục bộ" xung quanh mỗi nút (còn được gọi là lân cận) và biểu diễn tóm tắt của toàn bộ đồ thị. Các mẫu âm (negative sample) được lấy bằng cách ghép cặp biểu diễn đồ thị với các biểu diễn từ đồ thị khác trong một thiết lập huấn luyện đa đồ thị, hoặc các biểu diễn "vùng cục bộ" bị làm hỏng trong huấn luyện đồ thị đơn.^[40]

Video

Với các kết quả tương tự trong dự đoán "mặt nạ video" (masked prediction)^[41] và phân cụm,^[42] các phương pháp học biểu diễn video thường tương tự như các kỹ thuật hình ảnh nhưng phải sử dụng chuỗi khung video như một cấu trúc học thêm. Các ví dụ bao gồm VCP, mặt nạ (mask) các đoạn video và huấn luyện để chọn đoạn chính xác từ một tập hợp các đoạn video, và Xu (và cộng sự), huấn luyện một mạng tích chập 3D để xác định thứ tự ban đầu dựa trên một tập hợp các đoạn video bị xáo trộn.

Âm thanh

Các kỹ thuật tự giám sát biểu diễn cũng đã được áp dụng cho nhiều định dạng dữ liệu âm thanh, đặc biệt là cho xử lý giọng nói.^[9] Wav2vec 2.0 phân đoạn dạng sóng âm thanh thành các bước thời gian thông qua các phép chập thời gian, và sau đó huấn luyện một transformer trên dự đoán các "mặt nạ bước thời gian" (masked timesteps) ngẫu nhiên bằng cách sử dụng một hàm mất mát tương phản (contrastive loss).^[43] Điều này tương tự như mô hình ngôn ngữ BERT, ngoại trừ, như trong nhiều cách tiếp cận học tự giám sát cho video, mô hình chọn từ một tập hợp các lựa chọn thay vì toàn bộ từ vựng.^[30][43]

Đa phương thức

Học tự giám sát cũng đã được sử dụng để phát triển các biểu diễn chung của nhiều loại dữ liệu.^[9] Các cách tiếp cận thường dựa vào một sự liên kết tự nhiên hoặc do con người tạo ra giữa các "phương thức" như một nhãn ngầm định, ví dụ như các đoạn video về động vật hoặc vật thể với âm thanh đặc trưng,^[44] hoặc các chú thích được viết để mô tả hình ảnh.^[45] CLIP tạo ra một không gian biểu diễn "hình ảnh-văn bản" chung bằng cách huấn luyện để căn chỉnh các mã hóa hình ảnh và văn bản từ một tập dữ liệu lớn các cặp "hình ảnh-chú thích" sử dụng một hàm mất mát tương phản.^[45] MERLOT Reserve huấn luyện một mã hóa dựa trên transformer để biểu diễn chung âm thanh, phụ đề và khung video từ một tập dữ liệu lớn các video thông qua ba nhiệm vụ huấn luyện chung: dự đoán mặt nạ tương phản (contrastive) của cả đoạn âm thanh hoặc văn bản dựa trên khung video, ngữ cảnh âm thanh và văn bản xung quanh, cùng với sự căn chỉnh tương phản của các khung video với các chú thích tương ứng của chúng.^[44]

Các mô hình biểu diễn đa phương thức (multimodal representation) thường không thể giả định sự tương ứng trực tiếp của các biểu diễn trong các "mốt" khác nhau, vì sự căn chỉnh chính xác thường có thể bị nhiễu hoặc mơ hồ. Ví dụ, từ "chó" có thể được ghép với nhiều hình ảnh khác nhau của chó, và tương tự, một bức tranh về một con chó có thể được chú thích với các mức độ cụ thể khác nhau. Hạn chế này có nghĩa là các nhiệm vụ phía sau có thể yêu cầu một mạng ánh xạ sinh bổ sung giữa các dạng thức để đạt được hiệu suất tối ưu, như trong DALLE-2 cho việc tạo hình ảnh từ văn bản.^[46]

Học biểu diễn động

Các phương pháp học biểu diễn động tạo ra các biểu diễn ẩn cho các hệ thống động như mạng động (dynamic network). Vì các hàm khoảng cách cụ thể không thay đổi dưới các phép biến đổi tuyến tính cụ thể, các tập hợp vectơ biểu diễn khác nhau thực chất có thể biểu diễn cùng một thông tin hoặc thông tin tương tự. Do đó, đối với một hệ thống động, sự khác biệt theo thời gian trong các biểu diễn có thể được giải thích bởi sự sai lệch trong biểu diễn do các phép biến đổi tùy ý và/hoặc do các thay đổi thực sự trong hệ thống.^[47] Vì vậy, nói chung, các biểu diễn theo thời gian học được thông qua các phương pháp học biểu diễn động cần được kiểm tra để tìm các thay đổi không hợp lý và cần được căn chỉnh trước khi tiến hành các phân tích động tiếp theo.

Xem thêm

• Học sâu
• Vectơ từ

Tham khảo

1. Goodfellow, Ian (2016). Deep learning. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 524–534. ISBN 0-262-03561-8. OCLC 955778308.
2. Y. Bengio; A. Courville; P. Vincent (2013). “Representation Learning: A Review and New Perspectives”. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
3. Stuart J. Russell, Peter Norvig (2010) Artificial Intelligence: A Modern Approach, Third Edition, Prentice Hall ISBN 978-0-13-604259-4.
4. Hinton, Geoffrey; Sejnowski, Terrence (1999). Unsupervised Learning: Foundations of Neural Computation. MIT Press. ISBN 978-0-262-58168-4.
5. Nathan Srebro; Jason D. M. Rennie; Tommi S. Jaakkola (2004). Maximum-Margin Matrix Factorization. NIPS.
6. ^ Coates, Adam; Lee, Honglak; Ng, Andrew Y. (2011). An analysis of single-layer networks in unsupervised feature learning (PDF). Int'l Conf. on AI and Statistics (AISTATS). Bản gốc (PDF) lưu trữ ngày 13 tháng 8 năm 2017. Truy cập ngày 24 tháng 11 năm 2014.
7. Csurka, Gabriella; Dance, Christopher C.; Fan, Lixin; Willamowski, Jutta; Bray, Cédric (2004). Visual categorization with bags of keypoints (PDF). ECCV Workshop on Statistical Learning in Computer Vision.
8. Daniel Jurafsky; James H. Martin (2009). Speech and Language Processing. Pearson Education International. tr. 145–146.
9. ^ Ericsson, Linus; Gouk, Henry; Loy, Chen Change; Hospedales, Timothy M. (tháng 5 năm 2022). “Self-Supervised Representation Learning: Introduction, advances, and challenges” (PDF). IEEE Signal Processing Magazine. 39 (3): 42–62. arXiv:2110.09327. Bibcode:2022ISPM...39c..42E. doi:10.1109/MSP.2021.3134634. ISSN 1558-0792. S2CID 239017006.
10. ^ Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg S; Dean, Jeff (2013). “Distributed Representations of Words and Phrases and their Compositionality”. Advances in Neural Information Processing Systems. Curran Associates, Inc. 26. arXiv:1310.4546.
11. ^ Goodfellow, Ian (2016). Deep learning. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 499–516. ISBN 0-262-03561-8. OCLC 955778308.
12. Mairal, Julien; Bach, Francis; Ponce, Jean; Sapiro, Guillermo; Zisserman, Andrew (2009). “Supervised Dictionary Learning”. Advances in Neural Information Processing Systems.
13. Percy Liang (2005). Semi-Supervised Learning for Natural Language (PDF) (M. Eng.). MIT. tr. 44–52.
14. ^ Joseph Turian; Lev Ratinov; Yoshua Bengio (2010). Word representations: a simple and general method for semi-supervised learning (PDF). Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics. Bản gốc (PDF) lưu trữ ngày 26 tháng 2 năm 2014. Truy cập ngày 22 tháng 2 năm 2014.
15. Schwenker, Friedhelm; Kestler, Hans A.; Palm, Günther (2001). “Three learning phases for radial-basis-function networks”. Neural Networks. 14 (4–5): 439–458. CiteSeerX 10.1.1.109.312. doi:10.1016/s0893-6080(01)00027-2. PMID 11411631.
16. Coates, Adam; Ng, Andrew Y. (2012). “Learning feature representations with k-means”. Trong G. Montavon, G. B. Orr and K.-R. Müller (biên tập). Neural Networks: Tricks of the Trade. Springer.
17. Dekang Lin; Xiaoyun Wu (2009). Phrase clustering for discriminative learning (PDF). Proc. J. Conf. of the ACL and 4th Int'l J. Conf. on Natural Language Processing of the AFNLP. tr. 1030–1038. Bản gốc (PDF) lưu trữ ngày 3 tháng 3 năm 2016. Truy cập ngày 14 tháng 7 năm 2013.
18. Roweis, Sam T; Saul, Lawrence K (2000). “Nonlinear Dimensionality Reduction by Locally Linear Embedding”. Science. New Series. 290 (5500): 2323–2326. Bibcode:2000Sci...290.2323R. doi:10.1126/science.290.5500.2323. JSTOR 3081722. PMID 11125150. S2CID 5987139.
19. ^ Saul, Lawrence K; Roweis, Sam T (2000). “An Introduction to Locally Linear Embedding”.
20. Hyvärinen, Aapo; Oja, Erkki (2000). “Independent Component Analysis: Algorithms and Applications”. Neural Networks. 13 (4): 411–430. doi:10.1016/s0893-6080(00)00026-5. PMID 10946390. S2CID 11959218.
21. Lee, Honglak; Battle, Alexis; Raina, Rajat; Ng, Andrew Y (2007). “Efficient sparse coding algorithms”. Advances in Neural Information Processing Systems.
22. Aharon, Michal; Elad, Michael; Bruckstein, Alfred (2006). “K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation”. IEEE Trans. Signal Process. 54 (11): 4311–4322. Bibcode:2006ITSP...54.4311A. doi:10.1109/TSP.2006.881199. S2CID 7477309.
23. Bengio, Yoshua (2009). “Learning Deep Architectures for AI”. Foundations and Trends in Machine Learning. 2 (1): 1–127. doi:10.1561/2200000006. S2CID 207178999.
24. ^ Hinton, G. E.; Salakhutdinov, R. R. (2006). “Reducing the Dimensionality of Data with Neural Networks” (PDF). Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773. Bản gốc (PDF) lưu trữ ngày 23 tháng 12 năm 2015. Truy cập ngày 29 tháng 8 năm 2015.
25. Lee, Honglak; Ekanadham, Chaitanya; Andrew, Ng (2008). “Sparse deep belief net model for visual area V2”. Advances in Neural Information Processing Systems.
26. Fernandez-de-Cossio-Diaz, Jorge; Cocco, Simona; Monasson, Rémi (5 tháng 4 năm 2023). “Disentangling Representations in Restricted Boltzmann Machines without Adversaries”. Physical Review X. 13 (2): 021003. arXiv:2206.11600. Bibcode:2023PhRvX..13b1003F. doi:10.1103/PhysRevX.13.021003.
27. ^ Liu, Xiao; Zhang, Fanjin; Hou, Zhenyu; Mian, Li; Wang, Zhaoyu; Zhang, Jing; Tang, Jie (2021). “Self-supervised Learning: Generative or Contrastive”. IEEE Transactions on Knowledge and Data Engineering. 35 (1): 857–876. arXiv:2006.08218. doi:10.1109/TKDE.2021.3090866. ISSN 1558-2191. S2CID 219687051.
28. ^ Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013-09-06). "Efficient Estimation of Word Representations in Vector Space". arΧiv:1301.3781 [cs.CL]. 
29. "Improving Language Understanding by Generative Pre-Training" (PDF). Retrieved October 10, 2022.
30. ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (tháng 6 năm 2019). “Proceedings of the 2019 Conference of the North”. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Minneapolis, Minnesota: Association for Computational Linguistics: 4171–4186. doi:10.18653/v1/N19-1423. S2CID 52967399.
31. Le, Quoc; Mikolov, Tomas (18 tháng 6 năm 2014). “Distributed Representations of Sentences and Documents”. International Conference on Machine Learning (bằng tiếng Anh). PMLR: 1188–1196. arXiv:1405.4053.
32. Spyros Gidaris, Praveer Singh, and Nikos Komodakis. Unsupervised representation learning by predicting image rotations. In ICLR, 2018.
33. ^ Pathak, Deepak; Krahenbuhl, Philipp; Donahue, Jeff; Darrell, Trevor; Efros, Alexei A. (2016). “Context Encoders: Feature Learning by Inpainting”: 2536–2544. arXiv:1604.07379.
34. ^ Chen, Ting; Kornblith, Simon; Norouzi, Mohammad; Hinton, Geoffrey (21 tháng 11 năm 2020). “A Simple Framework for Contrastive Learning of Visual Representations”. International Conference on Machine Learning (bằng tiếng Anh). PMLR: 1597–1607.
35. Mathilde, Caron; Ishan, Misra; Julien, Mairal; Priya, Goyal; Piotr, Bojanowski; Armand, Joulin (2020). “Unsupervised Learning of Visual Features by Contrasting Cluster Assignments”. Advances in Neural Information Processing Systems (bằng tiếng Anh). 33. arXiv:2006.09882.
36. Chen, Mark; Radford, Alec; Child, Rewon; Wu, Jeffrey; Jun, Heewoo; Luan, David; Sutskever, Ilya (21 tháng 11 năm 2020). “Generative Pretraining From Pixels”. International Conference on Machine Learning (bằng tiếng Anh). PMLR: 1691–1703.
37. Chen, Xinlei; He, Kaiming (2021). “Exploring Simple Siamese Representation Learning” (bằng tiếng Anh): 15750–15758. arXiv:2011.10566.
38. Jean-Bastien, Grill; Florian, Strub; Florent, Altché; Corentin, Tallec; Pierre, Richemond; Elena, Buchatskaya; Carl, Doersch; Bernardo, Avila Pires; Zhaohan, Guo; Mohammad, Gheshlaghi Azar; Bilal, Piot; Koray, Kavukcuoglu; Remi, Munos; Michal, Valko (2020). “Bootstrap Your Own Latent - A New Approach to Self-Supervised Learning”. Advances in Neural Information Processing Systems (bằng tiếng Anh). 33.
39. Grover, Aditya; Leskovec, Jure (13 tháng 8 năm 2016). “Node2vec”. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. KDD '16. 2016. New York, NY, USA: Association for Computing Machinery. tr. 855–864. doi:10.1145/2939672.2939754. ISBN 978-1-4503-4232-2. PMC 5108654. PMID 27853626.
40. Velikovi, P., Fedus, W., Hamilton, W. L., Li, P., Bengio, Y., and Hjelm, R. D. Deep Graph InfoMax. In International Conference on Learning Representations (ICLR’2019), 2019.
41. Luo, Dezhao; Liu, Chang; Zhou, Yu; Yang, Dongbao; Ma, Can; Ye, Qixiang; Wang, Weiping (3 tháng 4 năm 2020). “Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning”. Proceedings of the AAAI Conference on Artificial Intelligence (bằng tiếng Anh). 34 (7): 11701–11708. arXiv:2001.00294. doi:10.1609/aaai.v34i07.6840. ISSN 2374-3468. S2CID 209531629.
42. Humam, Alwassel; Dhruv, Mahajan; Bruno, Korbar; Lorenzo, Torresani; Bernard, Ghanem; Du, Tran (2020). “Self-Supervised Learning by Cross-Modal Audio-Video Clustering”. Advances in Neural Information Processing Systems (bằng tiếng Anh). 33. arXiv:1911.12667.
43. ^ Alexei, Baevski; Yuhao, Zhou; Abdelrahman, Mohamed; Michael, Auli (2020). “wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations”. Advances in Neural Information Processing Systems (bằng tiếng Anh). 33. arXiv:2006.11477.
44. ^ Zellers, Rowan; Lu, Jiasen; Lu, Ximing; Yu, Youngjae; Zhao, Yanpeng; Salehi, Mohammadreza; Kusupati, Aditya; Hessel, Jack; Farhadi, Ali; Choi, Yejin (2022). “MERLOT Reserve: Neural Script Knowledge Through Vision and Language and Sound” (bằng tiếng Anh): 16375–16387. arXiv:2201.02639.
45. ^ Radford, Alec; Kim, Jong Wook; Hallacy, Chris; Ramesh, Aditya; Goh, Gabriel; Agarwal, Sandhini; Sastry, Girish; Askell, Amanda; Mishkin, Pamela; Clark, Jack; Krueger, Gretchen; Sutskever, Ilya (1 tháng 7 năm 2021). “Learning Transferable Visual Models From Natural Language Supervision”. International Conference on Machine Learning (bằng tiếng Anh). PMLR: 8748–8763. arXiv:2103.00020.
46. Ramesh, Aditya; Dhariwal, Prafulla; Nichol, Alex; Chu, Casey; Chen, Mark (2022-04-12). "Hierarchical Text-Conditional Image Generation with CLIP Latents". arΧiv:2204.06125 [cs.CV]. 
47. Gürsoy, Furkan; Haddad, Mounir; Bothorel, Cécile (7 tháng 10 năm 2023). “Alignment and stability of embeddings: Measurement and inference improvement”. Neurocomputing (bằng tiếng Anh). 553: 126517. arXiv:2101.07251. doi:10.1016/j.neucom.2023.126517. ISSN 0925-2312. S2CID 231632462.