Un chatbot d’assistance indique à un client que les remboursements prennent 14 jours. La vraie politique dit 7. La réponse était courante, polie et fausse. Il s’agit d’une hallucination de l’IA, et c’est l’une des principales raisons pour lesquelles les fonctionnalités de l’IA nécessitent une conception et des tests minutieux.

Ce guide explique les causes en termes simples et se concentre sur la prévention pratique. La vérification automatisée vers la fin est un petit script Python que nous avons exécuté sur des exemples de réponses que nous avons écrits nous-mêmes. Il n’a pas été exécuté sur un modèle d’IA en direct.

Qu’est-ce qu’une hallucination IA ?

Une hallucination se produit lorsqu’un système d’IA générative produit un contenu factuellement erroné, inventé ou non étayé par les informations qui lui ont été fournies, tout en le présentant comme vrai. Le terme est une métaphore. Le modèle ne voit pas les choses. Il s’agit de générer un texte qui correspond au modèle d’une bonne réponse sans être lié aux faits.

La partie dangereuse est la confiance. Une réponse hallucinée ressemble généralement exactement à une réponse correcte, avec le même ton, la même structure et les mêmes détails.

Pourquoi les modèles de langage hallucinent

Un grand modèle de langage est entraîné pour prédire le morceau de texte suivant, un jeton, sur la base de modèles présents dans une énorme quantité de données d’entraînement. Plusieurs choses en découlent :

• Plausible n’est pas la même chose que vrai. Le modèle apprend à quoi ressemblent généralement les réponses. En l’absence de faits, la suite la plus probable peut encore être inventée.
• Écarts et coupures. Les données de formation comportent des lacunes et se terminent à une certaine date. Le modèle peut compléter les faits manquants plutôt que de dire qu’il ne sait pas.
• Réponse aux récompenses de formation.Des recherches, notamment un article d’OpenAI de 2025 sur les raisons pour lesquelles les modèles hallucinent, soutiennent que les méthodes courantes de formation et d’évaluation récompensent la supposition plutôt que l’admission de l’incertitude, un peu comme un test à choix multiples sans pénalité pour les mauvaises réponses.
• Des invites ambiguës. Des questions vagues invitent le modèle à assumer les détails.
• Contexte long ou désordonné. Des faits importants peuvent être négligés lorsqu’ils sont enfouis dans de longues entrées.

Types courants d’hallucinations

Les chercheurs les divisent souvent en erreurs de factualité, qui contredisent le monde réel, et en erreurs de fidélité, qui contredisent le matériel source fourni au modèle. Pour les applications professionnelles créées à partir de vos propres documents, la fidélité est généralement ce que vous pouvez tester le plus directement.

Le code inventé mérite un avertissement spécial. Si un assistant propose d’installer un package qui n’existe pas, un attaquant peut publier un package malveillant sous ce nom. Vérifiez que chaque dépendance suggérée est réelle et fiable avant de l’installer.

Là où ça compte le plus

Un fait cinématographique halluciné est inoffensif. Une dose hallucinée de drogue, une citation légale, une politique de remboursement ou un chiffre financier ne le sont pas. Il y a eu des cas bien rapportés d’avocats soumettant des dossiers au tribunal avec des citations de cas inventées par des outils d’IA. Classez vos cas d’utilisation en fonction du coût d’une mauvaise réponse et appliquez les contrôles les plus stricts là où ce coût est élevé.

Comment réduire les hallucinations

1. Basez la réponse sur des données fiables. Donnez au modèle les faits pertinents plutôt que de vous fier à sa mémoire.
2. Autorisez “Je ne sais pas”. Dites explicitement au modèle d’indiquer quand l’information n’est pas disponible et considérez cela comme un bon résultat.
3. Soyez précis. Les questions claires et étroites laissent moins de place à l’invention. Notre guide d’ingénierie rapide couvre cela en détail.
4. Demandez des citations ou des citations aux sources fournies, puis vérifiez-les automatiquement.
5. Utilisez une sortie structurée, telle que JSON avec des champs fixes, afin que les réponses soient plus faciles à valider.
6. Utilisez des outils pour les domaines dans lesquels les modèles sont faibles, comme les calculs, les dates et les recherches de données en direct.
7. Gardez un humain au courant des décisions à enjeux élevés.

Mise à la terre avec vos propres données

La génération augmentée par récupération (RAG) est le modèle de mise à la terre le plus courant. Le système recherche dans vos documents les passages pertinents à la question et les inclut dans l’invite, avec des instructions pour répondre uniquement à partir de ces passages. Cela réduit considérablement les faits inventés, mais ce n’est pas un remède. Le modèle peut toujours mal lire un passage, combiner des passages de manière erronée ou s’appuyer sur ses propres connaissances, et l’étape de recherche peut renvoyer les mauvais documents. Les systèmes mis à la terre nécessitent donc encore des vérifications.

Un simple contrôle automatisé

Voici une garde bon marché que nous avons construite : signalez n’importe quel numéro dans une réponse qui n’apparaît pas dans le texte source. C’est rudimentaire, mais les chiffres comme les prix, les jours et les limites sont exactement là où apparaissent des hallucinations coûteuses.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Nous avons testé trois réponses écrites pour imiter les résultats typiques d’un modèle :

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

La réponse « hallucinée » réclamait un remboursement sous 14 jours et une livraison gratuite pour plus de 500 roupies, et les deux numéros ont été capturés. La réponse “en partie” avait des délais de livraison corrects mais ajoutait “ou 1 jour avec express”, ce que la politique ne mentionne jamais, et cela a également été détecté. Une deuxième vérification vérifie que les phrases citées apparaissent réellement dans la source :

{'paid within 7 days': True, 'no questions asked': False}

Ces contrôles ont des limites évidentes. Ils oublient des mots erronés, des unités et des affirmations non fondées sans chiffres, et ils signaleraient à tort un calcul correct. De nombreuses équipes ajoutent une étape « LLM en tant que juge », où un deuxième modèle vérifie chaque affirmation par rapport aux sources. Cela en capture plus, mais cela peut aussi être faux, alors mesurez-le.

Test d’hallucinations

Considérez le taux d’hallucinations comme une mesure de qualité que vous mesurez, et non comme un sentiment. Une approche pratique :

• Créez un ensemble de tests de vraies questions avec des réponses et des sources correctes connues.
• Incluez les questions que le système devrait refuser, car la réponse ne figure pas dans les données.
• Notez les réponses pour leur exactitude, leur fidélité aux sources et leurs refus appropriés.
• Exécutez l’ensemble à chaque modification des invites, des modèles ou des paramètres de récupération.
• Exemples de conversations de production pour examen humain.

La discipline des tests de régression s’applique ici également : un ensemble fixe de cas, exécutés à chaque modification, avec des résultats comparés au fil du temps. Lors du choix de la manière de mettre à la terre un système, notre comparaison entre RAG, réglage fin et ingénierie rapide explique les compromis.

Conseils aux utilisateurs quotidiens

• Vérifiez les faits, les chiffres, les citations et les citations de la source originale.
• Soyez particulièrement prudent avec les informations médicales, juridiques et financières.
• Collez le texte source et demandez à l’assistant de répondre uniquement à partir de celui-ci.
• Demandez « dans quelle mesure êtes-vous confiant et sur quoi est-ce basé ? », mais rappelez-vous que la réponse peut aussi être fausse.

Les hallucinations peuvent-elles être éliminées ?

Pas avec la technologie actuelle. Des modèles plus récents et une meilleure formation ont réduit les taux d’hallucinations sur de nombreux points de référence, et la mise à la terre aide beaucoup, mais chaque système commet encore des erreurs. L’objectif réaliste est de rendre les erreurs rares, faciles à détecter et à faible impact grâce à la conception du système, aux tests et aux signaux clairs adressés aux utilisateurs.

Hallucinations dans les outils de codage de l’IA

Les développeurs rencontrent quotidiennement des hallucinations dans les assistants de codage : une méthode qui n’existe pas sur une classe, une option de configuration obsolète ou une explication sûre d’une erreur qui est en réalité causée par autre chose. Les défenses sont celles que vous utilisez déjà pour le code humain. Compilez ou vérifiez le résultat, exécutez les tests et lisez la documentation officielle de toute API que vous n’avez pas utilisée auparavant. Faites particulièrement attention aux codes sensibles à la sécurité, tels que l’authentification, la cryptographie et la validation des entrées, où un code d’apparence plausible peut être subtilement dangereux. Traitez les suggestions de l’IA comme le brouillon d’un collègue rapide mais peu fiable : souvent utiles, jamais automatiquement corrigées.

Pour conclure

Les hallucinations proviennent du fonctionnement des modèles linguistiques : ils génèrent du texte probable, et non des faits vérifiés. Vous ne pouvez pas les désactiver, mais vous pouvez concevoir en fonction d’eux. Fondez les réponses sur des données fiables, laissez le modèle dire « Je ne sais pas », ajoutez des vérifications automatiques pour les détails importants et mesurez les résultats en continu.

Questions fréquentes

Continuez à apprendre