AI tạo sinh trong Giáo dục Tiếp thị

Min Ding và đồng sự. Nhu cầu và giải pháp của khách hàng - Customer Needs and Solutions. Tháng Năm 2024. Lê Quang Văn dịch và thực hiện phần kỹ thuật số. Phần 2 của 8.

2 - AI tạo sinh là gì (Tiếp theo)

2.2 Mô hình ngôn ngữ lớn được đào tạo như thế nào?

Việc đào tạo các mô hình ngôn ngữ lớn là một quá trình phức tạp và nhiều mặt. Tóm tắt ngắn gọn theo cách phi kỹ thuật, quá trình này có thể được phân loại thành ba giai đoạn, mỗi giai đoạn đóng góp duy nhất vào sự phát triển và tinh chỉnh của Mô hình ngôn ngữ lớn.

2.2.1 Giai đoạn tiền đào tạo

Giai đoạn đầu trong quá trình phát triển mô hình ngôn ngữ lớn là giai đoạn đào tạo trước, liên quan đến một lượng lớn dữ liệu và nỗ lực tính toán. Lấy mô hình Llama 2 (70B) làm ví dụ, quá trình đào tạo liên quan đến việc xử lý khoảng 10 terabyte dữ liệu văn bản (tức là 2 nghìn tỷ mã thông báo), sử dụng khoảng 6000 GPU trong khoảng thời gian 12 ngày và tiêu tốn khoảng 2 triệu đô la. Kết quả của giai đoạn này là tạo ra một mô hình cơ sở, về mặt kỹ thuật đại diện cho mô hình ngôn ngữ lớn ở dạng non trẻ của nó. Mặc dù mô hình cơ sở này tạo thành nền tảng để xây dựng sự phát triển tiếp theo, nhưng nó vẫn chưa thân thiện với người dùng hoặc sẵn sàng để áp dụng trực tiếp.

2.2.2 Giai đoạn Tinh chỉnh

Sau quá trình đào tạo trước, mô hình trải qua giai đoạn tinh chỉnh. Giai đoạn này được đặc trưng bởi việc sử dụng một bộ dữ liệu nhỏ hơn nhưng chất lượng cao (ví dụ: 100.000 tài liệu). Mục đích của việc tinh chỉnh này là để tinh chỉnh mô hình cơ sở thành cái được gọi là mô hình trợ lý. Quá trình này liên quan đến việc đào tạo mô hình để nhận ra và đưa ra những gì được coi là câu trả lời 'tốt'. Quá trình tinh chỉnh có thể liên quan đến nhiều lần lặp lại, mỗi lần nhằm nâng cao các khía cạnh cụ thể của mô hình, chẳng hạn như loại bỏ nội dung độc hại. Kết quả là một mô hình trợ lý thân thiện hơn với người dùng và phù hợp hơn cho mục đích sử dụng chung.

2.2.3 Giai đoạn chuyên môn hóa cho người dùng

Giai đoạn cuối cùng liên quan đến chuyên môn hóa và tùy chỉnh hơn nữa ở phía người dùng. Điều này bao gồm việc bổ sung các công cụ khác nhau, lời nhắc và các vòng tinh chỉnh bổ sung, tất cả đều nhằm mục đích điều chỉnh mô hình cho các nhiệm vụ chuyên biệt. Tùy chỉnh ở giai đoạn này có thể khá rộng rãi, liên quan đến các hướng dẫn cụ thể và tích hợp các cơ sở kiến thức bổ sung, chẳng hạn như những cơ sở kiến thức được tìm thấy trong các GPT tùy chỉnh khác nhau.

Sau quá trình đào tạo này, một số hiểu biết quan trọng có thể được thu thập.

Kiến thức mà các mô hình ngôn ngữ lớn có được hoàn toàn bắt nguồn từ dữ liệu đào tạo của chúng. Không có sự sáng tạo kiến thức mới bởi chính các mô hình ngôn ngữ lớn. Đây là cân nhắc quan trọng, đặc biệt là trong các lĩnh vực đòi hỏi công việc sáng tạo nguyên bản, như nghiên cứu.

Các Mô hình ngôn ngữ lớn khác nhau thể hiện các tính năng và khả năng khác nhau, bị ảnh hưởng trực tiếp bởi bản chất của dữ liệu được sử dụng trong quá trình đào tạo của chúng và các quy trình cụ thể được sử dụng trong quá trình tinh chỉnh. Ví dụ, mô hình của Anthropic, Claude 2.1, đã trải qua quá trình tinh chỉnh với trọng tâm là hữu ích, trung thực và vô hại, điều này ảnh hưởng trực tiếp đến hiệu suất và đầu ra của nó.

Hiểu được các giai đoạn này và ý nghĩa của chúng là rất quan trọng đối với bất kỳ ai muốn tận dụng mô hình ngôn ngữ lớn một cách hiệu quả, cho dù trong nghiên cứu, tiếp thị hay các lĩnh vực khác mà trí tuệ nhân tạo đóng vai trò then chốt.

2.3 Các mô hình ngôn ngữ lớn hoạt động như thế nào?

Hiệu suất của các mô hình ngôn ngữ lớn là một chủ đề được quan tâm đáng kể và đang được nghiên cứu. Các mô hình này đã thể hiện khả năng đáng chú ý trong việc nắm bắt và sử dụng lượng lớn kiến thức, nhưng chúng cũng thể hiện những hạn chế và lĩnh vực tiềm năng cần cải thiện.

2.3.1 Nắm bắt kiến thức sâu rộng

Các mô hình ngôn ngữ lớn được đào tạo trên một kho tài liệu trực tuyến khổng lồ (2000 tỷ mã thông báo cho Llama 2), cho phép chúng tích lũy và sử dụng nhiều loại

Episode 3646 - December 27 - Phần 2 của 8 - AI tạo sinh trong Giáo dục Tiếp thị - Vina Technology at AI time

Vina Technology at AI time - Công nghệ Việt Nam thời AI

Episode 3646 - December 27 - Phần 2 của 8 - AI tạo sinh trong Giáo dục Tiếp thị - Vina Technology at AI time