Un chatbot di supporto comunica a un cliente che i rimborsi richiedono 14 giorni. La vera politica dice 7. La risposta è stata fluente, educata e sbagliata. Questa è un’allucinazione dell’IA ed è uno dei motivi principali per cui le funzionalità dell’IA necessitano di un’attenta progettazione e test.

Questa guida spiega le cause in termini semplici e si concentra sulla prevenzione pratica. Il controllo automatizzato verso la fine è un piccolo script Python che abbiamo eseguito rispetto alle risposte di esempio che abbiamo scritto noi stessi. Non è stato eseguito contro un modello di intelligenza artificiale dal vivo.

Cos’è un’allucinazione dell’intelligenza artificiale?

Un’allucinazione si verifica quando un sistema di intelligenza artificiale generativa produce contenuti che sono di fatto errati, inventati o non supportati dalle informazioni fornite, pur presentandoli come veri. Il termine è una metafora. Il modello non vede le cose. Significa generare un testo che si adatti allo schema di una buona risposta senza essere legato ai fatti.

La parte pericolosa è la fiducia. Una risposta allucinata di solito assomiglia esattamente a una risposta corretta, con lo stesso tono, struttura e dettaglio.

Perché i modelli linguistici hanno allucinazioni

Un modello linguistico di grandi dimensioni viene addestrato per prevedere la parte di testo successiva, un token, sulla base di modelli presenti in un’enorme quantità di dati di addestramento. Da ciò conseguono diverse cose:

• Plausibile non è la stessa cosa che vero. Il modello apprende come tendono ad apparire le risposte. Quando mancano i fatti, si può ancora inventare la continuazione che sembra più probabile.
• Lacune e interruzioni. I dati di formazione presentano lacune e terminano a una determinata data. Il modello può integrare i fatti mancanti anziché dire che non lo sa.
• La formazione premia la risposta. La ricerca, incluso un documento OpenAI del 2025 sul perché i modelli hanno allucinazioni, sostiene che i metodi comuni di formazione e valutazione premiano le ipotesi rispetto all’ammissione dell’incertezza, proprio come un test a scelta multipla senza penalità per le risposte sbagliate.
• Suggerimenti ambigui. Domande vaghe invitano il modello ad assumere dettagli.
• Contesto lungo o confuso. Fatti importanti possono essere trascurati se sepolti in input lunghi.

Tipi comuni di allucinazioni

I ricercatori spesso li dividono in errori di fattualità, che contraddicono il mondo reale, ed errori di fedeltà, che contraddicono il materiale originale fornito al modello. Per le app aziendali basate sui tuoi documenti, la fedeltà è solitamente ciò che puoi testare più direttamente.

Il codice inventato merita un avvertimento speciale. Se un assistente suggerisce di installare un pacchetto che non esiste, un utente malintenzionato può pubblicare un pacchetto dannoso con quel nome. Verifica che ogni dipendenza suggerita sia reale e affidabile prima di installarla.

Dove conta di più

Un fatto cinematografico allucinato è innocuo. Una dose di farmaco per allucinazioni, una citazione legale, una politica di rimborso o una cifra finanziaria non lo sono. Ci sono stati casi ben segnalati di avvocati che hanno presentato atti giudiziari con citazioni di casi inventate dagli strumenti di intelligenza artificiale. Classifica i tuoi casi d’uso in base al costo di una risposta sbagliata e applica i controlli più rigorosi laddove tale costo è elevato.

Come ridurre le allucinazioni

1. Fonda la risposta su dati attendibili. Fornisci al modello i fatti rilevanti invece di fare affidamento sulla sua memoria.
2. Consenti “Non lo so”. Di’ esplicitamente al modello di dire quando l’informazione non è disponibile e trattalo come un buon risultato.
3. Sii specifico. Domande chiare e ristrette lasciano meno spazio all’invenzione. La nostra guida di progettazione rapida tratta questo argomento in dettaglio.
4. Richiedi citazioni o citazioni dalle fonti fornite, quindi verificale automaticamente.
5. Utilizza output strutturato, come JSON con campi fissi, in modo che le risposte siano più facili da convalidare.
6. Utilizza strumenti per gli aspetti in cui i modelli sono deboli, come calcoli, date e ricerche di dati in tempo reale.
7. Mantieni un essere umano aggiornato sulle decisioni ad alto rischio.

Radicarsi con i propri dati

La generazione aumentata con recupero (RAG) è il modello di messa a terra più comune. Il sistema cerca nei tuoi documenti i passaggi rilevanti per la domanda e li include nel prompt, con le istruzioni per rispondere solo da quei passaggi. Riduce drasticamente i fatti inventati, ma non è una cura. Il modello può ancora leggere erroneamente un passaggio, combinare passaggi in modo errato o ricorrere alla propria conoscenza e la fase di ricerca può restituire documenti errati. Quindi i sistemi collegati a terra necessitano ancora di controlli.

Un semplice controllo automatizzato

Ecco una protezione economica che abbiamo creato: contrassegna qualsiasi numero in una risposta che non appare nel testo di origine. È rozzo, ma numeri come prezzi, giorni e limiti sono esattamente il luogo in cui si manifestano costose allucinazioni.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Abbiamo testato tre risposte scritte per imitare l’output tipico del modello:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

La risposta “allucinata” richiedeva rimborsi entro 14 giorni e spedizione gratuita per oltre 500 rupie, ed entrambi i numeri furono catturati. La risposta “in parte” riportava tempi di consegna corretti ma aggiungeva “o 1 giorno con espresso”, cosa che la polizza non menziona mai, e anche questo è stato colto. Un secondo controllo verifica che le frasi citate appaiano realmente nella fonte:

{'paid within 7 days': True, 'no questions asked': False}

Questi controlli hanno limiti evidenti. Perdono parole sbagliate, unità e affermazioni non supportate senza numeri e contrassegnerebbero erroneamente un calcolo corretto. Molti team aggiungono una fase “LLM come giudice”, in cui un secondo modello controlla ogni affermazione rispetto alle fonti. Questo rileva di più, ma può anche essere sbagliato, quindi misuralo.

Test per le allucinazioni

Tratta il tasso di allucinazioni come una metrica di qualità che misuri, non come una sensazione. Un approccio pratico:

• Costruisci una serie di test di domande reali con risposte e fonti corrette note.
• Includi domande che il sistema dovrebbe rifiutare, perché la risposta non è nei dati.
• Assegna un punteggio alle risposte per correttezza, fedeltà alle fonti e rifiuti appropriati.
• Esegui il set a ogni modifica ai prompt, ai modelli o alle impostazioni di recupero.
• Esempi di conversazioni di produzione per la revisione umana.

Anche qui si applica la disciplina del test di regressione: un insieme fisso di casi, eseguito su ogni modifica, con risultati confrontati nel tempo. Quando si sceglie come mettere a terra un sistema, il nostro confronto tra RAG, messa a punto e ingegneria tempestiva spiega i compromessi.

Consigli per gli utenti quotidiani

• Verifica fatti, cifre, citazioni e citazioni dalla fonte originale.
• Prestare particolare attenzione alle informazioni mediche, legali e finanziarie.
• Incolla il testo di origine e chiedi all’assistente di rispondere solo da esso.
• Chiedi “quanto sei sicuro di te e su cosa si basa?”, Ma ricorda che la risposta può anche essere sbagliata.

Le allucinazioni possono essere eliminate?

Non con la tecnologia attuale. Modelli più recenti e una migliore formazione hanno ridotto i tassi di allucinazioni su molti parametri di riferimento e il radicamento aiuta molto, ma ogni sistema commette ancora errori. L’obiettivo realistico è rendere gli errori rari, facili da rilevare e a basso impatto attraverso la progettazione del sistema, test e segnali chiari agli utenti.

Allucinazioni negli strumenti di codifica dell’intelligenza artificiale

Gli sviluppatori incontrano quotidianamente allucinazioni negli assistenti di codifica: un metodo che non esiste in una classe, un’opzione di configurazione obsoleta o una spiegazione sicura di un errore che è realmente causato da qualcos’altro. Le difese sono quelle che già usi per il codice umano. Compila o digita il risultato, esegui i test e leggi la documentazione ufficiale per qualsiasi API che non hai utilizzato prima. Prestare particolare attenzione al codice sensibile alla sicurezza, come l’autenticazione, la crittografia e la convalida dell’input, in cui il codice apparentemente plausibile può essere leggermente pericoloso. Tratta i suggerimenti dell’intelligenza artificiale come una bozza di un collega veloce ma inaffidabile: spesso utili, mai corretti automaticamente.

Considerazioni finali

Le allucinazioni derivano dal modo in cui funzionano i modelli linguistici: generano testo probabile, non fatti verificati. Non puoi spegnerli, ma puoi progettare attorno ad essi. Radica le risposte in dati attendibili, lascia che il modello dica “Non lo so”, aggiungi controlli automatici per i dettagli che contano e misura continuamente i risultati.

Domande frequenti

Continua a imparare