Ein Support-Chatbot teilt einem Kunden mit, dass Rückerstattungen 14 Tage dauern. Die eigentliche Richtlinie lautet 7. Die Antwort war fließend, höflich und falsch. Dies ist eine KI-Halluzination und einer der Hauptgründe dafür, dass KI-Funktionen sorgfältig entworfen und getestet werden müssen.

Dieser Ratgeber erklärt die Ursachen verständlich und legt den Schwerpunkt auf die praktische Prävention. Die automatische Prüfung am Ende ist ein kleines Python-Skript, das wir anhand von Beispielantworten ausgeführt haben, die wir selbst geschrieben haben. Es wurde nicht gegen ein Live-KI-Modell ausgeführt.

Was ist eine KI-Halluzination?

Von einer Halluzination spricht man, wenn ein generatives KI-System Inhalte produziert, die sachlich falsch, erfunden oder nicht durch die ihm gegebenen Informationen gestützt sind, es aber als wahr darstellt. Der Begriff ist eine Metapher. Das Modell sieht keine Dinge. Dabei wird Text generiert, der dem Muster einer guten Antwort entspricht, ohne an Fakten gebunden zu sein.

Der gefährliche Teil ist das Selbstvertrauen. Eine halluzinierte Antwort sieht normalerweise genauso aus wie eine richtige, mit dem gleichen Ton, der gleichen Struktur und den gleichen Details.

Warum Sprachmodelle halluzinieren

Ein großes Sprachmodell wird trainiert, um das nächste Textstück, ein Token, basierend auf Mustern in einer riesigen Menge an Trainingsdaten vorherzusagen. Daraus ergeben sich mehrere Dinge:

• Plausibel ist nicht dasselbe wie wahr. Das Modell lernt, wie Antworten tendenziell aussehen. Wenn es an Fakten mangelt, kann immer noch die wahrscheinlichste Fortsetzung erfunden werden.
• Lücken und Unterbrechungen. Trainingsdaten weisen Lücken auf und enden an einem bestimmten Datum. Das Modell ergänzt möglicherweise fehlende Fakten, anstatt zu sagen, dass es nichts weiß.
• Training belohnt Antworten. Untersuchungen, darunter ein OpenAI-Artikel aus dem Jahr 2025 über die Frage, warum Modelle halluzinieren, argumentieren, dass gängige Trainings- und Bewertungsmethoden das Raten belohnen statt das Eingestehen von Unsicherheit, ähnlich wie ein Multiple-Choice-Test ohne Strafe für falsche Antworten.
• Mehrdeutige Eingabeaufforderungen. Vage Fragen verleiten das Modell dazu, Details anzunehmen.
• Langer oder unübersichtlicher Kontext. Wichtige Fakten können übersehen werden, wenn sie in langen Eingaben verborgen bleiben.

Häufige Arten von Halluzinationen

Forscher unterteilen diese häufig in Faktizitätsfehler, die der realen Welt widersprechen, und Treuefehler, die dem Quellenmaterial widersprechen, das dem Modell gegeben wurde. Bei Geschäftsanwendungen, die auf Ihren eigenen Dokumenten basieren, ist die Genauigkeit normalerweise das, was Sie am direktesten testen können.

Vorgefertigter Code verdient eine besondere Warnung. Wenn ein Assistent die Installation eines Pakets vorschlägt, das nicht existiert, kann ein Angreifer ein schädliches Paket unter diesem Namen veröffentlichen. Überprüfen Sie vor der Installation, ob jede vorgeschlagene Abhängigkeit real und vertrauenswürdig ist.

Wo es am wichtigsten ist

Eine halluzinierte Tatsache im Film ist harmlos. Eine halluzinierte Drogendosis, ein rechtlicher Hinweis, eine Rückerstattungsrichtlinie oder eine Finanzkennzahl sind dies nicht. Es gibt zahlreiche Fälle, in denen Anwälte Gerichtsakten mit Fallzitaten eingereicht haben, die von KI-Tools erfunden wurden. Ordnen Sie Ihre Anwendungsfälle nach den Kosten einer falschen Antwort und wenden Sie die stärksten Kontrollen an, wenn diese Kosten hoch sind.

So reduzieren Sie Halluzinationen

1. Begründen Sie die Antwort mit vertrauenswürdigen Daten. Geben Sie dem Modell die relevanten Fakten, anstatt sich auf sein Gedächtnis zu verlassen.
2. Erlauben Sie „Ich weiß nicht“. Sagen Sie dem Modell ausdrücklich, dass es sagen soll, wenn die Informationen nicht verfügbar sind, und behandeln Sie dies als gutes Ergebnis.
3. Seien Sie konkret. Klare, eng gefasste Fragen lassen weniger Raum für Erfindungen. Unser Prompt-Engineering-Leitfaden behandelt dies ausführlich.
4. Fragen Sie nach Zitaten oder Zitaten aus den bereitgestellten Quellen und überprüfen Sie diese dann automatisch.
5. Verwenden Sie eine strukturierte Ausgabe, wie z. B. JSON mit festen Feldern, damit Antworten einfacher zu validieren sind.
6. Verwenden Sie Tools für Dinge, in denen Modelle schwach sind, wie Berechnungen, Daten und Live-Datensuche.
7. Halten Sie einen Menschen auf dem Laufenden, wenn es um Entscheidungen mit hohem Risiko geht.

Erdung mit Ihren eigenen Daten

Retrieval-Augmented Generation (RAG) ist das häufigste Erdungsmuster. Das System durchsucht Ihre Dokumente nach für die Frage relevanten Passagen und fügt sie in die Eingabeaufforderung ein, mit der Anweisung, nur aus diesen Passagen zu antworten. Es reduziert erfundene Fakten stark, ist aber kein Heilmittel. Das Modell kann immer noch eine Passage falsch lesen, Passagen falsch kombinieren oder auf sein eigenes Wissen zurückgreifen, und der Suchschritt kann die falschen Dokumente zurückgeben. Daher müssen geerdete Systeme weiterhin überprüft werden.

Eine einfache automatisierte Prüfung

Hier ist ein billiger Schutz, den wir erstellt haben: Markieren Sie eine beliebige Zahl in einer Antwort, die nicht im Quelltext vorkommt. Es ist grob, aber Zahlen wie Preise, Tage und Limits sind genau der Ort, an dem kostspielige Halluzinationen auftauchen.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Wir haben drei Antworten getestet, die geschrieben wurden, um die typische Modellausgabe zu imitieren:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

Die „halluzinierte“ Antwort forderte 14-tägige Rückerstattung und kostenlosen Versand über 500 Rupien, und beide Nummern wurden erwischt. Die Antwort „teilweise“ enthielt korrekte Lieferzeiten, fügte aber „oder 1 Tag mit Express“ hinzu, was in der Richtlinie nie erwähnt wird, und das wurde ebenfalls abgefangen. Bei einer zweiten Prüfung wird überprüft, ob die zitierten Formulierungen tatsächlich in der Quelle vorkommen:

{'paid within 7 days': True, 'no questions asked': False}

Diese Kontrollen haben offensichtliche Grenzen. Sie übersehen falsche Wörter, Einheiten und unbegründete Behauptungen ohne Zahlen, und sie würden fälschlicherweise eine korrekte Berechnung kennzeichnen. Viele Teams fügen einen „LLM als Richter“-Schritt hinzu, bei dem ein zweites Modell jeden Anspruch anhand der Quellen prüft. Das fängt mehr an, kann aber auch falsch sein, also messen Sie es.

Test auf Halluzinationen

Behandeln Sie die Halluzinationsrate als eine Qualitätsmetrik, die Sie messen, nicht als Gefühl. Ein praktischer Ansatz:

• Erstellen Sie einen Testsatz mit echten Fragen mit bekannten richtigen Antworten und Quellen.
• Schließen Sie Fragen ein, die das System ablehnen sollte, da die Antwort nicht in den Daten enthalten ist.
• Bewerten Sie die Antworten auf Richtigkeit, Quellentreue und angemessene Ablehnungen.
• Führen Sie den Satz bei jeder Änderung an Eingabeaufforderungen, Modellen oder Abrufeinstellungen aus.
• Beispielhafte Produktionsgespräche zur menschlichen Überprüfung.

Auch hier gilt die Disziplin des Regressionstests: eine feste Menge von Fällen, die bei jeder Änderung ausgeführt werden und deren Ergebnisse im Laufe der Zeit verglichen werden. Bei der Entscheidung, wie ein System geerdet werden soll, erläutert unser Vergleich von RAG vs. Feinabstimmung vs. promptem Engineering die Kompromisse.

Ratschläge für alltägliche Benutzer

• Überprüfen Sie Fakten, Zahlen, Zitate und Zitate aus der Originalquelle.
• Seien Sie besonders vorsichtig mit medizinischen, rechtlichen und finanziellen Informationen.
• Fügen Sie den Quelltext ein und bitten Sie den Assistenten, nur daraus zu antworten.
• Fragen Sie: „Wie sicher sind Sie und worauf basiert das?“, aber denken Sie daran, dass die Antwort auch falsch sein kann.

Können Halluzinationen beseitigt werden?

Nicht mit der aktuellen Technologie. Neuere Modelle und besseres Training haben die Halluzinationsraten bei vielen Benchmarks reduziert, und die Erdung hilft sehr, aber jedes System macht immer noch Fehler. Das realistische Ziel besteht darin, Fehler durch Systemdesign, Tests und klare Signale für Benutzer selten, leicht erkennbar und mit geringen Auswirkungen zu machen.

Halluzinationen in KI-Codierungstools

Täglich stoßen Entwickler bei Codierungsassistenten auf Halluzinationen: eine Methode, die in einer Klasse nicht existiert, eine veraltete Konfigurationsoption oder eine sichere Erklärung eines Fehlers, der tatsächlich durch etwas anderes verursacht wird. Die Abwehrmaßnahmen sind diejenigen, die Sie bereits für menschlichen Code verwenden. Kompilieren Sie das Ergebnis oder führen Sie eine Typprüfung durch, führen Sie die Tests durch und lesen Sie die offizielle Dokumentation für jede API, die Sie noch nicht verwendet haben. Seien Sie besonders vorsichtig bei sicherheitsrelevantem Code wie Authentifizierung, Kryptografie und Eingabevalidierung, da plausibel aussehender Code auf subtile Weise unsicher sein kann. Behandeln Sie KI-Vorschläge wie einen Entwurf eines schnellen, aber unzuverlässigen Kollegen: oft nützlich, nie automatisch korrigierend.

Fazit

Halluzinationen entstehen durch die Funktionsweise von Sprachmodellen: Sie generieren wahrscheinlichen Text, keine überprüften Fakten. Sie können sie nicht ausschalten, aber Sie können um sie herum gestalten. Begründen Sie Antworten in vertrauenswürdigen Daten, lassen Sie das Modell „Ich weiß nicht“ sagen, fügen Sie automatische Prüfungen für die Details hinzu, die wichtig sind, und messen Sie die Ergebnisse kontinuierlich.

Häufige Fragen

Lerne weiter