“Tinh chỉnh có giám sát” so với “Học tăng cường”

Lê Quang Văn sưu tầm. Tháng 1, 2025.

Các mô hình Trí tuệ nhân tạo (AI), như ChatGPT, được đào tạo bằng các phương pháp khác nhau để cải thiện hiệu suất của chúng. Hai kỹ thuật quan trọng được sử dụng trong đào tạo AI là Tinh chỉnh có giám sát và Học tăng cường.

1. Tinh chỉnh giám sát là gì?

Tinh chỉnh có giám sát là một quá trình trong đó một mô hình AI được đào tạo bằng cách sử dụng dữ liệu được gắn nhãn. Điều này có nghĩa là các chuyên gia con người cung cấp câu trả lời hoặc ví dụ chính xác và AI học hỏi bằng cách bắt chước những câu trả lời đó.

Ví dụ về tinh chỉnh có giám sát:

Hãy tưởng tượng bạn đang học cách giải các vấn đề toán học. Giáo viên đưa cho bạn một bảng tính với các câu hỏi và câu trả lời đúng. Bạn nghiên cứu những ví dụ này và học cách giải quyết các vấn đề tương tự.

Trong đào tạo AI:

• Mô hình AI được cung cấp một tập hợp dữ liệu đầu vào (ví dụ: một câu hỏi).

• Nó cũng được cung cấp đầu ra chính xác (ví dụ: câu trả lời đúng).

• Mô hình tự điều chỉnh để bắt chước các phản hồi chính xác.

Nó được sử dụng ở đâu?

• Các chatbot như ChatGPT học hỏi từ các phản hồi do con người viết.

• Phần mềm nhận dạng hình ảnh học cách nhận dạng chó mèo từ hình ảnh được dán nhãn.

• Bộ lọc thư rác học cách nhận dạng email spam.

2. Học tăng cường là gì?

Học tăng cường (RL) là một cách đào tạo AI khác. Thay vì đưa ra câu trả lời trực tiếp, AI học hỏi thông qua thử và sai, giống như một người chơi trò chơi điện tử cải thiện bằng cách chơi nhiều lần.

Ví dụ về học tăng cường:

Hãy tưởng tượng chơi một trò chơi điện tử trong đó bạn điều khiển một nhân vật phải đạt được mục tiêu. Lúc đầu, bạn không biết con đường tốt nhất, nhưng khi bạn chơi nhiều hơn, bạn học được điều gì hiệu quả và điều gì không.

Trong đào tạo AI:

• AI được đưa ra một mục tiêu (ví dụ: thắng một trò chơi, lái xe hơi).

• Nó thực hiện hành động và nhận phản hồi (phần thưởng cho những nước đi tốt, hình phạt cho những nước đi xấu).

• Theo thời gian, nó học các chiến lược để tối đa hóa phần thưởng.

Nó được sử dụng ở đâu?

• Xe tự lái học cách điều hướng đường an toàn.

• AI chơi cờ vua hoặc trò chơi điện tử và cải thiện theo thời gian.

• Robot học cách đi bộ hoặc nhặt đồ vật.

4. Tại sao chúng ta sử dụng cả hai?

Tinh chỉnh có giám sát giúp các mô hình AI có được nền tảng vững chắc bằng cách học hỏi từ các ví dụ của con người. Tuy nhiên, Học tăng cường giúp AI trở nên tiên tiến và thích ứng hơn, đưa ra quyết định của riêng mình và cải thiện theo thời gian.

Ví dụ: ChatGPT được đào tạo bằng cách sử dụng Tinh chỉnh có giám sát trước tiên (học từ phản hồi của con người) và sau đó được cải thiện bằng cách sử dụng Học tăng cường với phản hồi của con người (RLHF) để tinh chỉnh câu trả lời của nó.

Kết luận:

• Tinh chỉnh có giám sát (Supervised Fine-Tuning) giống như học từ một cuốn sách giáo khoa với câu trả lời đúng.

• Học tăng cường giống như học một môn thể thao hoặc trò chơi bằng cách luyện tập và cải thiện theo thời gian.

• Cả hai phương pháp đều giúp AI trở nên thông minh hơn và hoạt động tốt hơn trong các ứng dụng trong thế giới thực!

Các ứng dụng trong thế giới thực của tinh chỉnh có giám sát và học tăng cường

Hãy cùng khám phá cách hai phương pháp đào tạo AI này.

1. Các ứng dụng trong thế giới thực của tinh chỉnh có giám sát

Vì Tinh chỉnh có giám sát liên quan đến việc học từ dữ liệu được gắn nhãn (câu trả lời đúng), nó được sử dụng trong nhiều ứng dụng mà AI phải hiểu các mẫu và cung cấp phản hồi chính xác.

Chatbots & Trợ lý ảo

Ví dụ: ChatGPT, Trợ lý Google, Siri

• AI được đào tạo bằng cách sử dụng các cuộc trò chuyện do con người viết để học cách trả lời câu hỏi một cách chính xác.

• Tinh chỉnh có giám sát giúp chatbot hiểu ngôn ngữ tự nhiên và đưa ra phản hồi có liên quan.

Nhận dạng hình ảnh và phát hiện đối tượng

Ví dụ: Nhận dạng khuôn mặt trên điện thoại thông minh, camera an ninh

• AI được đào tạo bằng hình ảnh được gắn nhãn (ví dụ: "Đây là một con mèo", "Đây là một con chó").

• Nó học cách nhận dạng khu

Episode 3939 - Jan 27 - Tinh chỉnh có giám sát so với Học tăng cường - Vina Technology at AI time

Vina Technology at AI time - Công nghệ Việt Nam thời AI

Episode 3939 - Jan 27 - Tinh chỉnh có giám sát so với Học tăng cường - Vina Technology at AI time