AI hallucination là khi mô hình tạo ra nội dung sai, bịa hoặc không có căn cứ nhưng trình bày rất tự tin. Nó xảy ra vì mô hình dự đoán văn bản hợp lý chứ không tra cứu sự thật. Có thể giảm bằng cách cung cấp tài liệu gốc, yêu cầu dẫn nguồn và kiểm tra bởi người.
Bạn đã gặp nó chưa
Bạn hỏi chatbot về một điều khoản trong hợp đồng, nó trả lời mạch lạc kèm số điều khoản cụ thể. Bạn kiểm tra thì số điều khoản đó không tồn tại. Đó là hallucination, thường dịch là ảo giác hoặc bịa của AI. Nguy hiểm ở chỗ câu trả lời sai nghe không khác gì câu trả lời đúng, nên người dùng khó tự phát hiện nếu không kiểm tra.
Vì sao mô hình lại bịa
Mô hình ngôn ngữ lớn học cách dự đoán chuỗi chữ tiếp theo có khả năng hợp lý dựa trên dữ liệu huấn luyện. Nó không có cơ sở dữ liệu sự thật để tra, và không tự biết mình không biết. Một số nguyên nhân thường gặp:
- Câu hỏi nằm ngoài hoặc mỏng trong dữ liệu đã học, ví dụ thông tin nội bộ của công ty bạn.
- Thông tin quá mới so với thời điểm huấn luyện.
- Câu hỏi hàm ý một tiền đề sai và mô hình làm theo.
- Yêu cầu quá cụ thể như số liệu, trích dẫn, đường dẫn, mã điều khoản.
- Ngữ cảnh dài, nhiều chi tiết khiến mô hình nhầm giữa các phần.
Dấu hiệu cần nghi ngờ
- Có con số, ngày tháng, tên người, tên thư viện rất cụ thể mà bạn không đưa vào.
- Có nguồn dẫn nhưng không mở được hoặc nội dung không khớp.
- Trả lời dứt khoát cho câu hỏi mà chính bạn thấy mơ hồ.
- Hai lần hỏi cùng một câu cho hai kết quả khác nhau.
Cách giảm sai sót
Không có cách xóa hẳn, nhưng có thể giảm đáng kể và hạn chế hậu quả.
| Biện pháp | Cách làm | Hạn chế |
|---|---|---|
| Cung cấp tài liệu gốc | Dán hoặc kết nối đoạn tài liệu và yêu cầu chỉ trả lời dựa vào đó | Vẫn có thể hiểu sai tài liệu |
| Cho phép nói không biết | Dặn rõ: nếu không có trong tài liệu thì nói không biết | Cần thử để chắc mô hình tuân thủ |
| Yêu cầu trích đoạn dẫn chứng | Mỗi khẳng định phải kèm câu gốc để đối chiếu | Người vẫn phải đối chiếu |
| Truy xuất tài liệu (RAG) | Hệ thống tìm đoạn liên quan rồi đưa cho mô hình | Chất lượng phụ thuộc kho tài liệu |
| Người kiểm tra | Duyệt trước khi dùng cho việc quan trọng | Tốn thời gian |
Phân cấp theo mức rủi ro
Tùy việc mà mức chấp nhận khác nhau. Viết nháp thư cảm ơn thì sai chút không sao. Số liệu kế toán, trích dẫn pháp lý, hướng dẫn kỹ thuật ảnh hưởng an toàn thì phải đối chiếu nguồn chính thức. Hướng dẫn của Anthropic về giảm hallucination cũng gợi ý các kỹ thuật như cho phép mô hình thừa nhận không chắc và yêu cầu đưa trích dẫn hỗ trợ.
- Việc rủi ro thấp: dùng AI, xem lướt.
- Việc trung bình: AI nháp, người kiểm từng ý chính.
- Việc rủi ro cao: dùng AI để tìm hướng, kết luận phải từ nguồn chính thức và người có thẩm quyền.
Khi nào cần thiết kế hệ thống chặt hơn
Khi công ty muốn chatbot trả lời khách dựa trên tài liệu nội bộ, việc đặt rào chắn, kiểm thử bộ câu hỏi mẫu và theo dõi câu trả lời sai là việc cần làm có hệ thống. Có thể trao đổi với đơn vị tư vấn AI doanh nghiệp để thiết kế bộ kiểm thử và quy trình chuyển người khi AI không chắc.
Với bất kỳ con số, trích dẫn hay tên điều khoản nào do AI đưa ra, hãy tìm lại ở nguồn gốc trước khi dùng. Nếu không tìm thấy, coi như chưa có.
Muốn đưa AI vào công việc của doanh nghiệp? Kỹ thuật viên PCTech hỗ trợ tại TP.HCM.
Câu hỏi thường gặp
AI hallucination có phải là lỗi phần mềm không?
Không hẳn. Đó là đặc tính của cách mô hình ngôn ngữ sinh văn bản bằng dự đoán xác suất. Nhà phát triển có thể giảm nhưng hiện chưa loại bỏ hoàn toàn, nên người dùng cần có bước kiểm tra.
Mô hình mới hơn có hết bịa không?
Có thể ít hơn trong nhiều trường hợp nhưng không hết. Vì vậy với việc quan trọng vẫn cần đối chiếu nguồn, dù bạn dùng mô hình nào.
Cho AI tra cứu web có hết hallucination không?
Giúp cập nhật thông tin nhưng chưa loại bỏ lỗi. AI có thể chọn sai nguồn, tóm tắt sai hoặc ghép thông tin nhiều nơi thành kết luận không đúng. Vẫn nên mở nguồn dẫn để kiểm tra.
RAG có giải quyết được hallucination không?
RAG giảm đáng kể bằng cách đưa tài liệu liên quan cho mô hình, nhưng không triệt để. Nếu kho tài liệu thiếu, cũ hoặc tìm sai đoạn thì câu trả lời vẫn có thể sai.
Bài viết liên quan
- RAG là gì? Cho AI đọc tài liệu nội bộ
- LLM là gì? Giải thích cho người không chuyên
- Prompt là gì? Viết prompt hiệu quả cho công việc
- Chatbot AI là gì? Khi nào nên triển khai
- AI viết nội dung SEO: dùng thế nào cho đúng
