Trí tuệ nhân tạo trong y học thường đưa ra những lời khuyên nguy hiểm khi các triệu chứng được diễn đạt một cách “thông minh”.

Tóm tắt ngắn gọn

Nghiên cứu mới cho thấy các mô hình ngôn ngữ lớn (LLM) hiện đại, thường được sử dụng trong y tế để tăng tốc công việc của bác sĩ và nâng cao an toàn bệnh nhân, có thể dễ dàng “bẫy” thông tin sai lệch nếu nó được trình bày một cách thuyết phục. Thí nghiệm với hơn một triệu truy vấn tới chín LLM hàng đầu đã phát hiện rằng các mô hình có xu hướng coi những tuyên bố sai là đúng sự thật, ưu tiên phong cách và ngữ cảnh.

1. Điều gì đã được nghiên cứu?
| Tham số | Mô tả |
|---|---|
| Mô hình | Chín LLM lớn nhất được sử dụng trong chăm sóc sức khỏe |
| Khối lượng kiểm tra | Hơn 1 triệu truy vấn |
| Kiểu kịch bản | 3 nhóm: |
| | • Câu chuyện thực tế từ cơ sở dữ liệu MIMIC (có một ghi chép sai) |
| | • Các tin đồn phổ biến về sức khỏe trên Reddit |
| | • 300 tình huống lâm sàng được biên soạn và kiểm tra bởi bác sĩ |
| Phong cách tuyên bố sai | Từ trung tính đến có cảm xúc; đôi khi hướng tới kết luận cụ thể |

2. Các phát hiện chính
1. Sự tự tin vào lời nói dối
Các mô hình thường chấp nhận những tuyên bố y tế sai được trình bày thuyết phục là sự thật, ngay cả khi ngữ cảnh và dữ liệu thực tế trái ngược.

2. Ưu tiên phong cách
Khi đánh giá thông tin, LLM đặt nhiều trọng tâm vào cách câu nói được cấu trúc hơn là độ chính xác của nó.

3. Hiệu quả thấp của các cơ chế phòng vệ
Các phương pháp lọc hiện tại (ví dụ: chặn một số từ nhất định) không đủ khả năng phân biệt đúng sai trong tài liệu lâm sàng hoặc mạng xã hội.

4. Nhạy cảm với tin giả như rủi ro
Tác giả nhấn mạnh rằng khả năng của AI “lưu nhớ” và lan truyền thông tin sai phải được đánh giá là một tham số an toàn đo lường, không chỉ là lỗi ngẫu nhiên.

3. Đề xuất hành động
- Kiểm tra sức chịu đựng
Sử dụng bộ dữ liệu chuẩn bị (kết hợp kịch bản thực tế và giả) để kiểm tra hệ thống AI về khả năng chống lại tin giả.

- Phát triển các giao thức mới
Tạo ra những cơ chế xác thực đáng tin cậy hơn, tính đến ngữ cảnh và độ chính xác y học, chứ không chỉ dựa vào phong cách.

4. Kết luận
Nghiên cứu cho thấy ngay cả những LLM tiên tiến nhất cũng có thể dễ dàng “bẫy” thông tin sai nếu nó nghe thuyết phục. Điều này đặt ra câu hỏi về nhu cầu đánh giá hệ thống và tăng cường các cơ chế phòng vệ trong các hệ thống AI y tế. Hy vọng rằng nhà phát triển sẽ cân nhắc những kết luận này khi xây dựng các giải pháp mới cho ngành chăm sóc sức khỏe.