Cách nhúng mã hóa ý nghĩa – Phần 2 của 2

3 - Cách 'nhúng' mã hóa ý nghĩa của từ

Lê Quang Văn giải thích và thực hiện phần kỹ thuật số.

Nhúng là một khái niệm nền tảng trong xử lý ngôn ngữ tự nhiên (NLP). Chúng là một loại biểu diễn vectơ dày đặc mã hóa ý nghĩa của từ, cụm từ hoặc dữ liệu văn bản khác ở dạng số, cho phép các mô hình học máy "hiểu" ngôn ngữ. Hãy phân tích cách nhúng hoạt động và cách chúng mã hóa ý nghĩa.

Nhúng từ là gì?

Nhúng từ đại diện cho các từ hoặc cụm từ dưới dạng các điểm trong không gian nhiều chiều. Ý tưởng là các từ có nghĩa tương tự nên có các vectơ gần nhau, trong khi các từ không liên quan cách xa nhau hơn. Các mô hình nhúng từ phổ biến bao gồm Word2Vec, GloVe và BERT.

Cách nhúng mã hóa ý nghĩa

1. Từ từ đến vector: Học theo ngữ cảnh

Các mô hình nhúng phân tích một lượng lớn dữ liệu văn bản để xác định mối quan hệ giữa các từ. Cái nhìn sâu sắc chính là ý nghĩa của một từ bị ảnh hưởng bởi ngữ cảnh mà nó xuất hiện.

Ví dụ:

o "Ngân hàng" trong "bờ sông" so với "tài khoản ngân hàng"Các mô hình truyền thống coi hai mô hình này là giống hệt nhau, nhưng các nhúng hiện đại nắm bắt sự khác biệt về ý nghĩa bằng cách xem xét ngữ cảnh.

Ngữ cảnh quan trọng: Nếu "ngân hàng" thường xuyên xuất hiện gần các từ như "sông" hoặc "nước", vectơ mà nó nhận được phản ánh ngữ cảnh này. Nếu nó xuất hiện với "tài khoản" hoặc "tiền", nó sẽ mã hóa ý nghĩa liên quan đến tài chính.

2. Tương đồng ngữ nghĩa thông qua sự gần gũi của vectơ

Các từ có nghĩa tương tự, chẳng hạn như "vua" và "nữ hoàng", sẽ có các vectơ gần nhau trong không gian vector. Tương tự, các từ có nghĩa trái ngược nhau như "nóng" và "lạnh" vẫn sẽ có một số mối quan hệ cấu trúc - chẳng hạn như đối diện dọc theo một chiều cụ thể của không gian vector.

Ví dụ tương tự:

o Word2Vec nắm bắt các phép so sánh thông qua số học vector: king−man+woman≈queen\text{king} - \text{man} + \text{woman} \approx \text{queen}king−man+woman≈queen

Điều này cho thấy cách nhúng nắm bắt các mối quan hệ như vai trò giới thông qua các hoạt động vector.

3. Mã hóa chiều cao

Mỗi từ được biểu diễn dưới dạng một vectơ với hàng trăm chiều (ví dụ: vectơ 300 chiều trong Word2Vec). Các khía cạnh này không tương ứng với các đặc điểm cụ thể (như "giới tính" hoặc "đa số"). Thay vào đó, chúng xuất hiện một cách hữu cơ từ dữ liệu. ["một cách hữu cơ" có nghĩa là các mẫu và mối quan hệ trong nhúng từ phát triển tự nhiên từ dữ liệu đào tạo mà không cần thiết kế của con người.]

4. Mô hình được đào tạo trước: Học hỏi từ dữ liệu lớn

Các mô hình như BERT và GPT vượt xa việc nhúng cấp độ từ. Họ cung cấp nhúng theo ngữ cảnh thay đổi dựa trên câu. Chẳng hạn:

o "Con dơi bay trong đêm."

o "Hắn vung gậy thật mạnh."

Ở đây, việc nhúng "bat" khác nhau trong mỗi câu vì nó thích ứng dựa trên toàn bộ đầu vào.

5. Nắm bắt cú pháp và ngữ nghĩa đồng thời

Một số nhúng, chẳng hạn như từ các mô hình máy biến áp, mã hóa không chỉ ý nghĩa mà còn cả các mối quan hệ ngữ pháp. Việc nhúng này đảm bảo rằng các mô hình hiểu các cụm từ như "sách mới" và "sách mới" ("new book" and "book new") không tương đương nhau, mặc dù chứa các từ giống nhau.

Trực quan hóa không gian nhúng

Hãy tưởng tượng nhúng không gian như một bản đồ 3D (mặc dù nó thường có hàng trăm chiều). Các từ có nghĩa tương tự được nhóm lại với nhau. Chẳng hạn:

• Các từ liên quan đến động vật như "mèo", "chó" và "thỏ" sẽ xuất hiện gần nhau.

• Các từ từ các trường riêng biệt (như "bác sĩ" và "kỹ sư") sẽ tạo thành các cụm khác nhau, với các kết nối chỉ ra sự chồng chéo trong các khái niệm.

Tại sao nhúng mạnh mẽ?

• Khái quát hóa: Bằng cách mã hóa ý nghĩa bằng số, nhúng cho phép các mô hình khái quát hóa trên các từ không nhìn thấy trong quá trình đào tạo.

• Học chuyển giao: Các nhúng được đào tạo trước có thể được sử dụng trong các nhiệm vụ NLP khác nhau (ví dụ: phân tích tình cảm, trả lời câu hỏi) mà không cần đào tạo lại từ đầu.

• Nhận thức ngữ cảnh: Các mô hình như BERT tạo ra các nhúng động điều chỉnh ý nghĩa tùy thuộc vào cách các từ được sử dụng trong câu.

Episode 3145 - October 27 - Phần 2 của 2 - Cách nhúng mã hóa ý nghĩa - Vina Technology at AI time

Vina Technology at AI time - Công nghệ Việt Nam thời AI

Episode 3145 - October 27 - Phần 2 của 2 - Cách nhúng mã hóa ý nghĩa - Vina Technology at AI time