Cisco đã phát hiện ra lý do khiến ngay cả những báo cáo AI về các sự cố mạng tưởng chừng hoàn hảo cũng không nên coi là sự thật.

Cisco Talos đang nghiên cứu độ chính xác của các mô hình ngôn ngữ lớn trong việc tạo báo cáo an ninh mạng

Nhóm Cisco Talos Incident Response đã tiến hành một thử nghiệm để xem xét mức độ tin cậy của các LLM hiện đại (ChatGPT, Claude và Gemini) khi sinh ra các báo cáo kỹ thuật về các sự cố bảo mật. Kết quả cho thấy ngay cả những tài liệu “trông chuyên nghiệp nhất” cũng chứa lỗi thực tế, mâu thuẫn và sai lệch.

Cách nghiên cứu được tiến hành
* Chuẩn bị – nhà nghiên cứu đã gửi từng mô hình ghi chú thô về sự cố kèm theo yêu cầu soạn thảo báo cáo.
* Kết quả – cả ba LLM đều xuất ra những tài liệu được “đánh bóng” về mặt thị giác, nhưng khi phân tích chi tiết lại phát hiện nhiều sai sót và kết luận bất ngờ.

Nate Pors, trưởng phòng phản ứng sự cố cao cấp tại Cisco Talos, đã mô tả chi tiết các kết quả trong blog công ty.

Tại sao LLM “lỗi”
Cisco giải thích vấn đề là do tính chất xác suất của các mô hình: chúng dự đoán từ tiếp theo dựa trên trọng số thống kê chứ không hiểu ý nghĩa. Theo Pors, những sai lệch xuất hiện ở bốn hướng:

1. Các đoạn dữ liệu khác nhau
Mỗi lần yêu cầu, mô hình dựa vào các phần khác nhau của đầu vào, khiến việc thu được kết quả có thể tái lặp và chuẩn hóa trở nên không khả thi.

2. Kết luận không nhất quán
Dữ liệu giống nhau có thể dẫn đến những khuyến nghị khác nhau: trong một báo cáo sẽ đề xuất thay đổi mật khẩu bắt buộc cho toàn bộ tổ chức, trong khi ở báo cáo kia chỉ có những thay đổi cụ thể. Mô hình thường “định ấn” vào khuyến nghị đầu tiên được sinh ra, ngay cả khi nó không phù hợp.

3. Cấu trúc không chuẩn
Vì LLM tạo văn bản từng token một, tài liệu cuối cùng có thể có cấu trúc và trình bày khác nhau, điều này quan trọng trong môi trường yêu cầu mẫu để kiểm soát chất lượng.

4. Vấn đề cửa sổ ngữ cảnh
Khi khối lượng dữ liệu đầu vào vượt quá giới hạn ngữ cảnh, mô hình có thể “quên” những thông tin quan trọng từ đầu phiên và đưa ra kết quả không dự đoán được hoặc hỗn hợp.

Điều này có ý nghĩa gì đối với an ninh mạng
Cisco công nhận rằng lý thuyết có thể rút gọn nhiệm vụ xuống một phần cụ thể của báo cáo, nhưng cách tiếp cận đó sẽ làm mất lợi thế tiết kiệm thời gian cho người dùng. Trong lĩnh vực bảo vệ mạng, ngay cả lỗi nhỏ cũng có thể tốn kém lớn. Do đó, những người tạo tài liệu cuối cùng cần kiểm tra kỹ từng từ và không hoàn toàn dựa vào khuyến nghị của LLM.

Kết luận: các mô hình ngôn ngữ lớn có khả năng sinh ra báo cáo nhanh chóng, nhưng kết quả của chúng đòi hỏi phải được chuyên gia kiểm tra bắt buộc để tránh lỗi và sai lệch trong bối cảnh quan trọng của các sự cố bảo mật.