Chatbot pomocy technicznej informuje klienta, że ​​zwrot pieniędzy trwa 14 dni. Prawdziwa polityka mówi 7. Odpowiedź była płynna, uprzejma i błędna. Jest to halucynacja sztucznej inteligencji i jest to jeden z głównych powodów, dla których funkcje sztucznej inteligencji wymagają starannego projektowania i testowania.

W tym przewodniku w prosty sposób wyjaśniono przyczyny i skupiono się na praktycznym zapobieganiu. Automatyczna kontrola na końcu to mały skrypt w języku Python, który uruchomiliśmy na podstawie przykładowych odpowiedzi, które sami napisaliśmy. Nie był on uruchamiany w oparciu o działający model sztucznej inteligencji.

Co to jest halucynacja AI?

Halucynacja ma miejsce wtedy, gdy generatywny system sztucznej inteligencji wytwarza treści, które są niezgodne ze stanem faktycznym, są zmyślone lub nie są poparte podanymi informacjami, a jednocześnie przedstawiają je jako prawdziwe. Termin ten jest metaforą. Modelka nie widzi pewnych rzeczy. Generuje tekst, który pasuje do wzorca dobrej odpowiedzi, bez wiązania się z faktami.

Niebezpieczną częścią jest pewność siebie. Odpowiedź oparta na halucynacjach zwykle wygląda dokładnie tak samo, jak poprawna, z tym samym tonem, strukturą i szczegółami.

Dlaczego modele językowe mają halucynacje

Duży model językowy jest szkolony w zakresie przewidywania następnego fragmentu tekstu, czyli tokenu, w oparciu o wzorce z ogromnej ilości danych szkoleniowych. Wynika z tego kilka rzeczy:

• Wiarygodne to nie to samo, co prawdziwe. Model uczy się, jak wyglądają odpowiedzi. Jeśli brakuje faktów, nadal można wymyślić najbardziej prawdopodobną kontynuację.
• Luki i wartości graniczne. Dane treningowe zawierają luki i kończą się w określonym dniu. Model może raczej uzupełnić brakujące fakty, niż powiedzieć, że nie wie.
• Szkolenie nagradza odpowiadanie. Badania, w tym artykuł OpenAI z 2025 r. na temat halucynacji modeli, dowodzą, że powszechne metody szkolenia i oceny nagradzają zgadywanie zamiast przyznawania się do niepewności, podobnie jak test wielokrotnego wyboru bez kar za błędne odpowiedzi.
• Niejednoznaczne podpowiedzi. Niejasne pytania zachęcają model do przyjęcia szczegółów.
• Długi lub niechlujny kontekst. Ważne fakty można przeoczyć, zagłębiając się w długie wpisy.

Typowe rodzaje halucynacji

Badacze często dzielą je na błędy rzeczywistości, które są sprzeczne ze światem rzeczywistym, oraz błędy wierności, które są sprzeczne z materiałem źródłowym podanym do modelu. W przypadku aplikacji biznesowych zbudowanych na własnych dokumentach wierność jest zazwyczaj tym, co możesz przetestować najbardziej bezpośrednio.

Zmyślony kod zasługuje na specjalne ostrzeżenie. Jeśli asystent zasugeruje zainstalowanie pakietu, który nie istnieje, osoba atakująca może opublikować szkodliwy pakiet pod tą nazwą. Przed zainstalowaniem sprawdź, czy każda sugerowana zależność jest prawdziwa i zaufana.

Tam, gdzie ma to największe znaczenie

Halucynacyjny fakt filmowy jest nieszkodliwy. Halucynacyjna dawka leku, cytat prawny, polityka zwrotów lub dane finansowe nie są. Znane są liczne przypadki prawników składających pozwy sądowe z cytatami ze spraw wymyślonymi przez narzędzia sztucznej inteligencji. Oceń swoje przypadki użycia według kosztu błędnej odpowiedzi i zastosuj najsilniejsze kontrole tam, gdzie koszt jest wysoki.

Jak zmniejszyć halucynacje

1. Oprzyj odpowiedź na zaufanych danych. Podaj modelowi odpowiednie fakty, zamiast polegać na jego pamięci.
2. Pozwól „Nie wiem”. Powiedz modelowi wyraźnie, aby powiedział, kiedy informacja nie jest dostępna, i traktuj to jako dobry wynik.
3. Bądź konkretny. Jasne, wąskie pytania pozostawiają mniej miejsca na inwencję. Nasz szybki przewodnik inżynieryjny opisuje to szczegółowo.
4. Poproś o cytaty lub cytaty z podanych źródeł, a następnie zweryfikuj je automatycznie.
5. Użyj uporządkowanych wyników, takich jak JSON ze stałymi polami, aby łatwiej było zweryfikować odpowiedzi.
6. Używaj narzędzi do rzeczy, w których modele są słabe, np. do obliczeń, dat i bieżącego wyszukiwania danych.
7. Informuj człowieka na bieżąco w przypadku podejmowania decyzji o dużej stawce.

Uziemienie z własnymi danymi

Generacja wspomagana wyszukiwaniem (RAG) to najpowszechniejszy wzorzec uziemienia. System przeszukuje Twoje dokumenty pod kątem fragmentów odnoszących się do pytania i uwzględnia je w podpowiedzi wraz z instrukcją udzielania odpowiedzi wyłącznie z tych fragmentów. Ostro redukuje wymyślone fakty, ale nie jest lekarstwem. Model może nadal błędnie odczytać fragment, błędnie połączyć fragmenty lub odwołać się do własnej wiedzy, a etap wyszukiwania może zwrócić nieprawidłowe dokumenty. Dlatego uziemione systemy nadal wymagają sprawdzenia.

Prosta automatyczna kontrola

Oto jeden z tanich zabezpieczeń, który zbudowaliśmy: oznacz w odpowiedzi dowolną liczbę, która nie pojawia się w tekście źródłowym. To prymitywne, ale liczby, takie jak ceny, dni i limity, są dokładnie tam, gdzie pojawiają się kosztowne halucynacje.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Przetestowaliśmy trzy odpowiedzi napisane w celu imitowania wyników typowego modelu:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

Odpowiedź „halucynacyjna” obejmowała 14-dniowy zwrot pieniędzy i bezpłatną wysyłkę powyżej 500 rupii, a oba numery zostały złapane. Odpowiedź „częściowo” zawierała prawidłowe czasy dostawy, ale dodano „lub 1 dzień ekspresem”, o czym polityka nigdy nie wspomina, i to również zostało złapane. Druga kontrola sprawdza, czy cytowane frazy rzeczywiście pojawiają się w źródle:

{'paid within 7 days': True, 'no questions asked': False}

Kontrole te mają oczywiste ograniczenia. Pomijają błędne słowa, jednostki i nieuzasadnione twierdzenia bez liczb i błędnie oznaczają prawidłowe obliczenia. Wiele zespołów dodaje etap „LLM jako sędzia”, podczas którego drugi model sprawdza każde roszczenie ze źródłami. To wychwytuje więcej, ale może też być błędne, więc zmierz to.

Test na halucynacje

Traktuj częstość występowania halucynacji jako miernik jakości, który mierzysz, a nie uczucie. Praktyczne podejście:

• Zbuduj zestaw testowy prawdziwych pytań ze znanymi poprawnymi odpowiedziami i źródłami.
• Dołącz pytania, które system powinien odrzucić, ponieważ odpowiedzi nie ma w danych.
• Oceniaj odpowiedzi za poprawność, wierność źródłom i odpowiednie odmowy.
• Uruchom zestaw przy każdej zmianie podpowiedzi, modeli lub ustawień pobierania.
• Przykładowe rozmowy produkcyjne do przeglądu ręcznego.

Tutaj również obowiązuje dyscyplina testowania regresyjnego: ustalony zestaw przypadków, uruchamiany przy każdej zmianie, a wyniki porównywane w czasie. Jeśli chodzi o wybór sposobu uziemienia systemu, nasze porównanie RAG z dostrajaniem i szybką inżynierią wyjaśnia kompromisy.

Rady dla codziennych użytkowników

• Sprawdź fakty, liczby, cytaty i cytaty z oryginalnego źródła.
• Zachowaj szczególną ostrożność w przypadku informacji medycznych, prawnych i finansowych.
• Wklej tekst źródłowy i poproś asystenta, aby odpowiedział tylko z niego.
• Zapytaj „jak bardzo jesteś pewny siebie i na czym to opiera?”, ale pamiętaj, że odpowiedź może być również błędna.

Czy halucynacje można wyeliminować?

Nie przy obecnej technologii. Nowsze modele i lepsze przeszkolenie zmniejszyły liczbę halucynacji w wielu testach porównawczych, a uziemienie bardzo pomaga, ale każdy system nadal popełnia błędy. Realistycznym celem jest sprawienie, aby błędy były rzadkie, łatwe do wykrycia i miały niewielki wpływ poprzez projektowanie systemu, testowanie i jasne sygnały dla użytkowników.

Halucynacje w narzędziach do kodowania AI

Programiści codziennie spotykają się z halucynacjami w asystentach kodowania: metoda, która nie istnieje w klasie, przestarzała opcja konfiguracji lub pewne wyjaśnienie błędu, który tak naprawdę jest spowodowany czymś innym. Zabezpieczenia to te, których już używasz w przypadku ludzkiego kodu. Skompiluj lub sprawdź wynik, uruchom testy i przeczytaj oficjalną dokumentację dowolnego interfejsu API, którego wcześniej nie używałeś. Zachowaj szczególną ostrożność w przypadku kodów wrażliwych na bezpieczeństwo, takich jak uwierzytelnianie, kryptografia i sprawdzanie poprawności danych wejściowych, gdzie wiarygodnie wyglądający kod może być subtelnie niebezpieczny. Traktuj sugestie AI jak wersję roboczą od szybkiego, ale nierzetelnego kolegi: często przydatne, nigdy automatycznie poprawiane.

Podsumowanie

Halucynacje wynikają z działania modeli językowych: generują prawdopodobny tekst, a nie sprawdzone fakty. Nie można ich wyłączyć, ale można projektować wokół nich. Utrzymuj odpowiedzi na zaufanych danych, pozwól modelowi powiedzieć „nie wiem”, dodaj automatyczne sprawdzanie istotnych szczegółów i stale mierz wyniki.

Najczęstsze pytania

Ucz się dalej