Chương 14

Ứng dụng xử lý ngôn ngữ tự nhiên - Truyền thông xã hội – Phần 2 của 7

Trích từ sách: Natural Language Processing in Biomedicine - A Practical Guide;

Tác giả: Hua Xu và Dina Demner Fushman. Nhà xuất bản: Springer. 2024. Lê Quang Văn dịch và thực hiện phần kỹ thuật số.

14.3 Cân nhắc khi xây dựng đường ống đầu cuối

Sử dụng dữ liệu văn bản miễn phí trên mạng xã hội cho các nhiệm vụ liên quan đến sức khỏe đòi hỏi sự phát triển của các quy trình xử lý ngôn ngữ tự nhiên thường sử dụng nhiều mô-đun xử lý văn bản, mỗi mô-đun được giao nhiệm vụ với các mục tiêu cụ thể. Một đường ống khai thác phương tiện truyền thông xã hội giả định chứa một số mô-đun được áp dụng phổ biến. Quy trình bao gồm các mô-đun để (i) thu thập dữ liệu, (ii) lọc dữ liệu, (iii) đặc điểm dữ liệu và (iv) phân tích và / hoặc mô tả đặc điểm ở cấp độ bài đăng hoặc cấp nhóm. Trong các mô-đun này, phân loại văn bản, nhận dạng thực thể được đặt tên và các tác vụ Xử lý ngôn ngữ tự nhiên khác được thực hiện. Lưu ý rằng các đường ống thực tế được triển khai trong cài đặt thực tế sẽ khác với quy trình giả định. Các mô-đun phụ trong các mô-đun được đề cập cũng có thể thay đổi đáng kể, với mức độ phức tạp khác nhau về các phương pháp Xử lý ngôn ngữ tự nhiên được áp dụng. Trong phần còn lại của chương này, chúng tôi sẽ phác thảo một số cân nhắc chính về Xử lý ngôn ngữ tự nhiên cho từng mô-đun được đề cập.

14.3.1 Thu thập dữ liệu

Như trong các nghiên cứu liên quan đến dữ liệu từ các nguồn khác, bước đầu tiên trong việc tiến hành nghiên cứu Xử lý ngôn ngữ tự nhiên dựa trên phương tiện truyền thông xã hội nói chung là thu thập dữ liệu phù hợp. Mặc dù nhiệm vụ này thường đơn giản đối với nhiều tác vụ liên quan đến văn bản từ các nguồn khác, nhưng nó có thể phức tạp đối với các tác vụ truyền thông xã hội. Bước thu thập dữ liệu cần được tùy chỉnh cho các mục tiêu của nghiên cứu tổng thể và các đặc điểm của các mạng xã hội đang được sử dụng. Cách tiếp cận phổ biến nhất để thu thập dữ liệu có lẽ là thông qua các giao diện lập trình ứng dụng (API) có liên quan do mạng xã hội cung cấp. Ví dụ, Twitter hiện cung cấp nhiều API với các giới hạn thu thập khác nhau. Dữ liệu từ API có thể được thu thập bằng cách chỉ định các từ khóa. Có những tham số khác có thể được chỉ định để thu thập dữ liệu, nhưng vì lợi ích của sự ngắn gọn và để giữ cho chương chỉ phù hợp với Xử lý ngôn ngữ tự nhiên, chúng tôi sẽ chỉ tập trung vào khía cạnh từ khóa.

Một thách thức nảy sinh khi thực hiện thu thập dữ liệu dựa trên từ khóa, đặc biệt là trong lĩnh vực y tế, là các từ khóa có liên quan thường bị sai chính tả. Hãy xem xét nhiệm vụ thu thập dữ liệu về thuốc theo toa - một nhiệm vụ phổ biến đã được áp dụng cho nhiều nghiên cứu về các chủ đề như phát hiện các phản ứng bất lợi của thuốc tự báo cáo, sử dụng thuốc theo toa không phải y tế và thay đổi điều trị bằng thuốc. Tên thuốc thường khó đánh vần và do đó, những người đăng ký mạng xã hội thường viết sai chính tả. Một số tên thuốc cũng có thể bị sai chính tả thường xuyên hơn những tên khác. Để thu thập dữ liệu một cách hiệu quả (tức là đảm bảo khả năng nhớ cao), các lỗi chính tả có thể xảy ra của tên thuốc phải được tạo tiên nghiệm. Đây là một nhiệm vụ khó khăn hơn so với sửa chính tả vì đối với loại sau, các từ trong từ vựng đã được biết đến và tất cả các từ ngoài từ vựng cần được ánh xạ vào các từ trong từ vựng thích hợp. Tạo lỗi chính tả tự động là một nhiệm vụ ít được xác định rõ ràng hơn vì không gian của các lỗi chính tả có thể xảy ra là không giới hạn và trình tạo phải xác định cần tạo lỗi chính tả nào và giữ lại bao nhiêu lỗi chính tả. Một nghiên cứu tương đối sớm đã sử dụng một trình tạo biến thể chính tả ngữ âm để tạo lỗi chính tả nghe tương tự như các từ vựng gốc. Trong thuật toán được đề xuất, với từ khóa ban đầu, tất cả các biến thể từ vựng cách xa một khoảng cách chỉnh sửa Levenshtein được tạo ra trước. Điều này dẫn đến một số lượng rất lớn các biến thể từ vựng. Trong bước thứ hai, thuật toán ngữ âm Metaphone và cách phát âm CMU được sử dụng để lọc các thuật ngữ.

Episode 3968 - Jan 30 - Phần 2 của 7 - Chương 14 – Ứng dụng NLP - Truyền thông xã hội - Vina Technology at AI time

Vina Technology at AI time - Công nghệ Việt Nam thời AI

Episode 3968 - Jan 30 - Phần 2 của 7 - Chương 14 – Ứng dụng NLP - Truyền thông xã hội - Vina Technology at AI time