AI phản hồi các câu hỏi thường gặp về ung thư phổi - ChatGPT so với Google Bard – Phần 2 của 2

Amir Ali Rahsepar, Neda Tavakoli, Grace Hyun J. Kim, Cameron Hassani, Fereidoun Abtin, Arash Bedayat. Tạp chí X quang. Ngày 13 tháng 6, 2023.

Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

Kết quả

ChatGPT trả lời tất cả 120 câu hỏi. Trong số 120 câu trả lời, 85 (70,8%) đúng, 14 (11,7%) đúng một phần và 21 (17,5%) sai. Google Bard đã không trả lời 23 trong số 120 câu hỏi (19,2%), trong khi nó cung cấp câu trả lời cho 97 câu hỏi (80,8%). Câu trả lời của Google Bard được đánh giá đúng 62 (51,7%), đúng một phần 11 (9,2%) và 24 (20%) sai. Công cụ tìm kiếm Bing đã trả lời tất cả 120 câu hỏi. Trong số 120 câu trả lời, 74 (61,7%) đúng, 13 (10,8%) đúng một phần và 33 (27,5%) sai. Công cụ tìm kiếm Google đã trả lời tất cả 120 câu hỏi. Trong số 120 câu trả lời, 66 (55%) đúng, 27 (22,5%) đúng một phần và 27 (22,5%) sai. Tỷ lệ phần trăm đúng, đúng một phần, không chính xác và không trả lời cho ChatGPT, Google Bard và các công cụ tìm kiếm được hiển thị trong Hình. Thống kê tóm tắt về tỷ lệ và 95% CI được trình bày sau khi kết hợp điểm số của ba tác giả theo đa số phiếu bầu về tính đúng đắn. Khi so sánh hiệu suất chính xác về tính chính xác của các công cụ này, chúng tôi đã tìm thấy sự khác biệt đáng kể giữa công cụ tìm kiếm Google và Google Bard (OR = 0,62, P = 0,002). Công cụ tìm kiếm Google ít có khả năng cung cấp câu trả lời chính xác hơn Google Bard. Một trong những lý do cho điều này có thể là Google Bard cung cấp tùy chọn giữ lại câu trả lời, do đó nâng cao độ chính xác tổng thể của nó (62 trên 97 [64%] so với 66 trên 120 [55%]). Khi so sánh hiệu suất của độ chính xác liên quan đến tính chính xác hoặc tính đúng một phần, chúng tôi nhận thấy sự khác biệt đáng kể giữa ChatGPT và Google Bard. ChatGPT có nhiều khả năng hơn Google Bard trong việc cung cấp câu trả lời đúng hoặc đúng một phần, xấp xỉ 1,5 lần.

Chúng tôi thấy rằng câu trả lời của ChatGPT nhất quán 36 trên 40 lần (90%), câu trả lời của Google Bard nhất quán 23 trên 40 lần (57,5%), công cụ tìm kiếm Bing nhất quán 30 trên 40 lần (75%) và công cụ tìm kiếm Google nhất quán 39 trên 40 lần (97,5%). ChatGPT và công cụ tìm kiếm Google có nhiều khả năng nhất quán hơn Google Bard khoảng bảy và 29 lần (OR = 6,65 [P = 0,002] đối với ChatGPT và 28,83 [P = 0,002] đối với công cụ tìm kiếm Google). Không có sự khác biệt nào được quan sát thấy về tính nhất quán giữa công cụ tìm kiếm Bing và Google Bard.

Các tác giả đã trình bày một câu hỏi chung, hỏi liệu MRI có thể được sử dụng thay vì CT để tránh bức xạ hay không. Mục đích của truy vấn này là để đánh giá liệu mô hình ngôn ngữ lớn có thể cung cấp phản hồi thích hợp cho các truy vấn trước đó, tập trung vào ung thư phổi hay không. Cả ChatGPT và Google Bard đều hiểu câu hỏi và có thể giải quyết nó trong phạm vi ung thư phổi. Tuy nhiên, các công cụ tìm kiếm Bing và Google đã không thể giải quyết câu hỏi trong phạm vi ung thư phổi.

Hơn nữa, chúng tôi cố tình hỏi hai câu hỏi về cơ bản không chính xác liên quan đến loại Lung-RADS 5 và 6, vì Lung-RADS 5 và 6 không tồn tại. Thật thú vị, cả ChatGPT và Google Bard đều cung cấp các phản hồi không thừa nhận sự không tồn tại của Lung-RADS 5 và thay vào đó đưa ra lời giải thích cho nó. Khi được hỏi về Lung-RADS 6, ChatGPT đã thừa nhận chính xác rằng Lung-RADS 6 không tồn tại nhưng đã nhầm lẫn rằng hệ thống Lung-RADS dao động từ Lung-RADS 0 đến Lung-RADS 5. Mặt khác, Google Bard đã cung cấp thông tin sai lệch bằng cách giả định sự tồn tại của Lung-RADS 6 và cung cấp thông tin sai lệch về nó.

Khi chúng tôi hỏi Google Bard về Lung-RADS, đối với một trong những tác giả, nó đã cung cấp thông tin bổ sung không chính xác về tỷ lệ sống sót, với tỷ lệ sống sót từ 12 đến 18 tháng đối với Lung-RADS 4A đến 3-6 tháng đối với Lung-RADS 4X.

Sự thảo luận

Khi kết quả của ChatGPT và Google Bard được so sánh với các công cụ tìm kiếm của Google và Bing, ChatGPT đạt được tỷ lệ phản hồi đúng cao nhất (70,8%), tiếp theo là

Episode 3088 - October 20 - Phần 2 của 2 - AI phản hồi các câu hỏi thường gặp về ung thư phổi - Vina Technology at AI time

Vina Technology at AI time - Công nghệ Việt Nam thời AI

Episode 3088 - October 20 - Phần 2 của 2 - AI phản hồi các câu hỏi thường gặp về ung thư phổi - Vina Technology at AI time