Chatbot hỗ trợ sẽ thông báo cho khách hàng rằng việc hoàn tiền sẽ mất 14 ngày. Chính sách thực tế nói 7. Câu trả lời trôi chảy, lịch sự và sai. Đây là ảo giác về AI và là một trong những lý do chính khiến các tính năng của AI cần được thiết kế và thử nghiệm cẩn thận.

Hướng dẫn này giải thích nguyên nhân một cách dễ hiểu và tập trung vào cách phòng ngừa thực tế. Kiểm tra tự động ở gần cuối là một tập lệnh Python nhỏ mà chúng tôi đã chạy dựa trên các câu trả lời mẫu do chính chúng tôi viết. Nó không chạy trên mô hình AI trực tiếp.

Ảo giác AI là gì?

Ảo giác là khi một hệ thống AI tạo ra nội dung sai về thực tế, bịa đặt hoặc không được hỗ trợ bởi thông tin mà nó cung cấp, trong khi trình bày nội dung đó là đúng. Thuật ngữ này là một phép ẩn dụ. Người mẫu không nhìn thấy gì cả. Nó tạo ra văn bản phù hợp với khuôn mẫu của một câu trả lời hay mà không bị ràng buộc với sự thật.

Phần nguy hiểm là sự tự tin. Một câu trả lời ảo giác thường trông giống hệt một câu trả lời đúng, có cùng giọng điệu, cấu trúc và chi tiết.

Tại sao mô hình ngôn ngữ gây ảo giác

Mô hình ngôn ngữ lớn được đào tạo để dự đoán đoạn văn bản tiếp theo, mã thông báo, dựa trên các mẫu trong một lượng lớn dữ liệu đào tạo. Một số điều tiếp theo từ đó:

• Hợp lý không giống như đúng. Mô hình tìm hiểu xem câu trả lời có xu hướng trông như thế nào. Khi nó thiếu dữ kiện, phần tiếp theo có vẻ hợp lý nhất vẫn có thể được phát minh ra.
• Các khoảng trống và điểm cắt. Dữ liệu đào tạo có các khoảng trống và kết thúc vào một ngày nhất định. Mô hình có thể điền vào những thông tin còn thiếu thay vì nói rằng nó không biết.
• Đào tạo khen thưởng việc trả lời. Nghiên cứu, bao gồm cả bài báo OpenAI năm 2025 về lý do tại sao các mô hình gây ảo giác, lập luận rằng các phương pháp đánh giá và đào tạo thông thường khuyến khích việc đoán thay vì thừa nhận sự không chắc chắn, giống như một bài kiểm tra trắc nghiệm không bị phạt nếu trả lời sai.
• Những lời nhắc mơ hồ. Những câu hỏi mơ hồ mời gọi người mẫu giả định các chi tiết.
• Bối cảnh dài hoặc lộn xộn. Những thông tin quan trọng có thể bị bỏ qua khi bị chôn vùi trong những thông tin đầu vào dài.

Các loại ảo giác thường gặp

Các nhà nghiên cứu thường chia những lỗi này thành các lỗi tính xác thực mâu thuẫn với thế giới thực và các lỗi tính trung thực mâu thuẫn với tài liệu nguồn mà mô hình được đưa ra. Đối với các ứng dụng kinh doanh được xây dựng trên tài liệu của riêng bạn, tính trung thực thường là điều bạn có thể kiểm tra trực tiếp nhất.

Mã tạo ra xứng đáng được cảnh báo đặc biệt. Nếu trợ lý đề xuất cài đặt một gói không tồn tại, kẻ tấn công có thể xuất bản gói độc hại dưới tên đó. Kiểm tra xem mọi phần phụ thuộc được đề xuất có thật và đáng tin cậy hay không trước khi cài đặt.

Nơi quan trọng nhất

Một sự thật trong phim bị ảo giác là vô hại. Một liều thuốc gây ảo giác, trích dẫn pháp lý, chính sách hoàn tiền hoặc số liệu tài chính thì không. Đã có những trường hợp luật sư nộp hồ sơ tòa án với các trích dẫn vụ án được phát minh bởi các công cụ AI được báo cáo rõ ràng. Xếp hạng các trường hợp sử dụng của bạn theo chi phí của một câu trả lời sai và áp dụng các biện pháp kiểm soát mạnh nhất khi chi phí đó cao.

Cách giảm ảo giác

1. Đưa ra câu trả lời dựa trên dữ liệu đáng tin cậy. Cung cấp cho mô hình các thông tin thực tế có liên quan thay vì dựa vào trí nhớ của mô hình.
2. Cho phép “Tôi không biết”. Yêu cầu mô hình nói rõ ràng khi không có thông tin và coi đó là kết quả tốt.
3. Hãy cụ thể. Những câu hỏi hẹp, rõ ràng sẽ có ít chỗ cho sự sáng tạo hơn. Hướng dẫn kỹ thuật nhanh chóng của chúng tôi trình bày chi tiết về vấn đề này.
4. Yêu cầu trích dẫn hoặc trích dẫn từ các nguồn được cung cấp, sau đó tự động xác minh chúng.
5. Sử dụng kết quả có cấu trúc, chẳng hạn như JSON với các trường cố định để xác thực câu trả lời dễ dàng hơn.
6. Sử dụng các công cụ cho những thứ mà mô hình còn yếu, như tính toán, ngày tháng và tra cứu dữ liệu trực tiếp.
7. Theo dõi con người để đưa ra những quyết định quan trọng.

Tiếp đất với dữ liệu của riêng bạn

Thế hệ tăng cường truy xuất (RAG) là kiểu nối đất phổ biến nhất. Hệ thống sẽ tìm kiếm các đoạn văn có liên quan đến câu hỏi trong tài liệu của bạn và đưa chúng vào lời nhắc, kèm theo hướng dẫn chỉ trả lời từ những đoạn văn đó. Nó làm giảm đáng kể những sự thật được phát minh, nhưng nó không phải là cách chữa trị. Mô hình vẫn có thể đọc sai một đoạn văn, kết hợp các đoạn văn sai hoặc dựa vào kiến ​​thức của chính nó và bước tìm kiếm có thể trả về các tài liệu sai. Vì vậy, hệ thống nối đất vẫn cần được kiểm tra.

Kiểm tra tự động đơn giản

Đây là một biện pháp bảo vệ rẻ tiền mà chúng tôi đã xây dựng: gắn cờ bất kỳ số nào trong câu trả lời không xuất hiện trong văn bản nguồn. Nó thô thiển, nhưng những con số như giá cả, ngày và giới hạn chính xác là nơi xuất hiện những ảo giác tốn kém.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Chúng tôi đã thử nghiệm ba câu trả lời được viết để mô phỏng đầu ra mô hình điển hình:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

Câu trả lời “ảo giác” yêu cầu hoàn tiền trong 14 ngày và miễn phí vận chuyển hơn 500 rupee, và cả hai con số đều bị bắt. Câu trả lời “một phần” có thời gian giao hàng chính xác nhưng lại thêm “hoặc 1 ngày chuyển phát nhanh”, điều mà chính sách không bao giờ đề cập đến và điều đó cũng bị phát hiện. Kiểm tra thứ hai xác minh rằng các cụm từ được trích dẫn thực sự xuất hiện trong nguồn:

{'paid within 7 days': True, 'no questions asked': False}

Những kiểm tra này có giới hạn rõ ràng. Họ bỏ lỡ các từ, đơn vị và xác nhận quyền sở hữu không được hỗ trợ mà không có số và họ sẽ gắn cờ sai cho một phép tính đúng. Nhiều nhóm thêm bước “LLM với tư cách là giám khảo”, trong đó mô hình thứ hai kiểm tra từng xác nhận quyền sở hữu đối với các nguồn. Điều đó bắt được nhiều hơn, nhưng nó cũng có thể sai, vì vậy hãy đo lường nó.

Kiểm tra ảo giác

Hãy coi tỷ lệ ảo giác như một thước đo chất lượng mà bạn đo lường chứ không phải một cảm giác. Một cách tiếp cận thực tế:

• Xây dựng một bộ câu hỏi thực tế với các câu trả lời và nguồn chính xác đã biết.
• Bao gồm các câu hỏi mà hệ thống nên từ chối vì câu trả lời không có trong dữ liệu.
• Cho điểm các câu trả lời về tính đúng đắn, trung thực với các nguồn và lời từ chối phù hợp.
• Chạy tập hợp này trên mỗi thay đổi đối với lời nhắc, kiểu máy hoặc cài đặt truy xuất.
• Các cuộc trò chuyện mẫu về sản xuất để con người đánh giá.

Nguyên tắc kiểm tra hồi quy cũng được áp dụng ở đây: một tập hợp các trường hợp cố định, chạy trên mọi thay đổi, với kết quả được so sánh theo thời gian. Khi chọn cách nối đất cho một hệ thống, sự so sánh của chúng tôi về RAG, tinh chỉnh và kỹ thuật nhanh chóng giải thích sự cân bằng.

Lời khuyên cho người dùng hàng ngày

• Xác minh sự kiện, số liệu, trích dẫn và trích dẫn từ nguồn ban đầu.
• Hãy đặc biệt cẩn thận với thông tin y tế, pháp lý và tài chính.
• Dán văn bản nguồn vào và yêu cầu trợ lý chỉ trả lời từ văn bản đó.
• Hãy hỏi “bạn tự tin đến mức nào và điều này dựa trên cơ sở nào?”, nhưng hãy nhớ rằng câu trả lời cũng có thể sai.

Ảo giác có thể được loại bỏ?

Không phải với công nghệ hiện tại. Các mô hình mới hơn và đào tạo tốt hơn đã giảm tỷ lệ ảo giác trên nhiều điểm chuẩn và việc tiếp đất giúp ích rất nhiều, nhưng mọi hệ thống vẫn mắc lỗi. Mục tiêu thực tế là làm cho lỗi hiếm gặp, dễ phát hiện và ít ảnh hưởng thông qua thiết kế hệ thống, thử nghiệm và gửi tín hiệu rõ ràng đến người dùng.

Ảo giác trong các công cụ mã hóa AI

Các nhà phát triển gặp ảo giác hàng ngày trong các trợ lý mã hóa: một phương thức không tồn tại trên một lớp, tùy chọn cấu hình lỗi thời hoặc lời giải thích tự tin về lỗi thực sự do nguyên nhân khác gây ra. Biện pháp phòng thủ là những biện pháp bạn đã sử dụng cho mã của con người. Biên dịch hoặc kiểm tra kiểu kết quả, chạy thử nghiệm và đọc tài liệu chính thức cho bất kỳ API nào bạn chưa từng sử dụng trước đây. Hãy cẩn thận hơn với mã nhạy cảm về bảo mật, chẳng hạn như xác thực, mật mã và xác thực đầu vào, trong đó mã trông có vẻ hợp lý có thể không an toàn chút nào. Hãy coi các đề xuất AI như bản nháp từ một đồng nghiệp nhanh nhẹn nhưng không đáng tin cậy: thường hữu ích, không bao giờ tự động sửa.

Lời kết

Ảo giác đến từ cách các mô hình ngôn ngữ hoạt động: chúng tạo ra văn bản có khả năng xảy ra chứ không phải sự kiện được kiểm tra. Bạn không thể tắt chúng đi, nhưng bạn có thể thiết kế xung quanh chúng. Câu trả lời cơ bản trong dữ liệu đáng tin cậy, hãy để mô hình nói “Tôi không biết”, thêm tính năng kiểm tra tự động cho các chi tiết quan trọng và đo lường kết quả liên tục.

Câu hỏi thường gặp

Tiếp tục học hỏi