Chiedi a un assistente AI generale la politica di rimborso della tua azienda e può solo indovinare. Non ha mai visto i tuoi documenti. RAG, abbreviazione di retrieval-augmented generation, risolve questo problema cercando le informazioni giuste e consegnandole al modello insieme alla domanda.

Questa guida spiega ogni fase in un linguaggio semplice, quindi crea una piccola versione utilizzando solo la libreria standard di Python. Abbiamo eseguito quel codice su Python 3.13 e i punteggi mostrati provengono da quell’esecuzione. Non utilizza alcun modello linguistico, quindi dimostra il recupero e la creazione rapida e non abbiamo testato il passaggio della risposta finale.

Cos’è il RAG?

La generazione aumentata con recupero è una tecnica che combina una fase di ricerca con un modello linguistico. Quando arriva una domanda, il sistema cerca una fonte di conoscenza, aggiunge i risultati migliori al prompt e chiede al modello di rispondere in base a quel materiale.

Pensa a un esame a libro aperto. Uno studente a libro chiuso fa affidamento sulla memoria e può ricordare male con sicurezza. Uno studente a libro aperto può prima cercare la pagina giusta. RAG fornisce al modello quel libro e gli consente anche di indicare quale pagina ha utilizzato.

Il problema che RAG risolve

Un modello linguistico di per sé presenta tre limiti per l’uso aziendale:

• Non conosce i tuoi dati privati. Le tue polizze, biglietti e contratti non facevano parte della sua formazione.
• La sua conoscenza ha un limite. Non può sapere di un prezzo che hai cambiato stamattina.
• Potrebbe inventare risposte. Quando non è sicuro, può produrre qualcosa di plausibile ma falso.

RAG li affronta tutti e tre e non è necessario riqualificare nulla. Aggiorna un documento, reindicizzalo e la risposta successiva potrà utilizzarlo.

Come funziona RAG, passo dopo passo

Un sistema RAG ha due condutture. Uno prepara i tuoi dati in anticipo e l’altro corre per ogni domanda.

Indicizzazione: preparare i dati

1. Carica: raccogli contenuti da PDF, wiki, database o ticket.
2. Pulisci e suddividi: rimuovi la spazzatura, quindi dividi i documenti in piccoli passaggi.
3. Incorpora: converte ogni passaggio in un elenco di numeri, chiamato incorporamento, che ne cattura il significato.
4. Memorizza: salva gli incorporamenti in un indice ricercabile, spesso un database vettoriale.

Interrogare: rispondere ad una domanda

1. Recupera: incorpora la domanda e trova i passaggi più vicini al significato.
2. Aumenta: inserisci questi passaggi nel prompt.
3. Genera: il modello scrive una risposta utilizzando quel contesto.

Il recupero non deve necessariamente utilizzare vettori. Può essere una ricerca per parola chiave o anche una query SQL, a seconda di quale trova le informazioni giuste per i tuoi dati.

Un piccolo esempio funzionante

Per vedere bene le parti in movimento, ecco un piccolo retriever senza librerie. Rappresenta il testo come conteggio delle parole, un sostituto molto più semplice per gli incorporamenti reali, e valuta la somiglianza utilizzando la misura del coseno.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Chiedere rimborsi trova il passaggio giusto e costruisce questo prompt:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

In un sistema completo, ora invieresti quel prompt a un modello linguistico. Il dettaglio importante è l’istruzione di ammettere quando manca la risposta, di cui puoi saperne di più nella nostra guida al prompt engineering.

Ciò che manca al nostro esempio

Ora prova una domanda che significa la stessa cosa ma usa parole diverse:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Ogni punteggio è zero, perché la domanda non condivide parole con nessun documento. “Rimborso” significa rimborso a un essere umano, ma le parole non possono dirlo. Questo singolo output spiega perché i sistemi reali utilizzano incorporamenti, progettati in modo tale che il testo con significato simile finisca con numeri simili, anche senza parole in comune.

Ma non dare per scontato che gli incorporamenti risolvano tutto. Possono avere difficoltà con termini esatti come codici prodotto e numeri di errore, che la ricerca per parole chiave gestisce molto bene. Questo è il motivo per cui molti sistemi di produzione utilizzano la ricerca ibrida, combinando i due approcci.

Chunking: il passo che le persone sottovalutano

I documenti vengono suddivisi in blocchi perché i file interi sono troppo lunghi e imprecisi per essere recuperati. La dimensione scelta comporta un vero e proprio compromesso:

Alcune centinaia di parole con qualche sovrapposizione tra i blocchi sono un punto di partenza comune, ma trattalo come una prima ipotesi da testare. Dividi lungo i confini naturali, come le intestazioni, quando puoi. E allega metadati, come il titolo del documento, la data e il dipartimento, in modo da poter filtrare i risultati e citare le fonti.

Miglioramento del recupero

Quando le risposte sono scarse, questi sono gli aggiornamenti che vale la pena provare, più o meno in questo ordine:

• Pulisci i dati. Rimuovi prima i documenti obsoleti e duplicati. Nessun algoritmo risolve fonti contraddittorie.
• Utilizza la ricerca ibrida. Combina risultati basati sul significato e parole chiave.
• Aggiungi una riclassificazione. Recupera più candidati, quindi utilizza un modello specializzato per riordinarli in base alla pertinenza.
• Filtra per metadati. Limita i risultati per prodotto, regione o data prima della ricerca.
• Riscrivi la query. Trasforma un vago seguito come “e la seconda?” in una domanda completa.

RAG vs messa a punto

Non si escludono a vicenda. Il nostro confronto tra RAG, messa a punto e ingegneria tempestiva copre come scegliere in modo più approfondito.

Come testare un sistema RAG

RAG è un software e necessita di test come qualsiasi altro software. Crea una serie di domande reali insieme ai passaggi e alle risposte che ti aspetti, quindi misura le due fasi separatamente:

Includi anche casi scomodi: domande senza risposta nei tuoi dati, domande che utilizzano formulazioni diverse e domande con fonti contrastanti. Esegui nuovamente questo set ogni volta che modifichi suddivisione, modelli o prompt, proprio come una suite di regressione. Il nostro tutorial pytest mostra come eseguire molti input attraverso un singolo test.

Perché i sistemi RAG falliscono

• La risposta non è nei dati. Il modello può ancora tentarne uno, quindi spiegagli come rifiutare.
• Il blocco corretto non è stato recuperato. Questo è spesso un problema di suddivisione in blocchi o di ricerca.
• Troppo contesto. Passaggi irrilevanti possono distrarre il modello e aumentare i costi.
• Documenti obsoleti. Una vecchia polizza può essere recuperata con la stessa sicurezza di quella attuale.
• Tabelle e PDF analizzati male. Se l’estrazione confonde il testo, il recupero non viene mai ripristinato.
• Testare solo con domande demo. Gli utenti reali esprimono le cose in modo molto diverso.

Sicurezza e autorizzazioni

RAG comporta due rischi che è facile non notare. Innanzitutto, il controllo degli accessi: se l’indice contiene file HR, la domanda di un dipendente junior non deve recuperarli. Applicare le autorizzazioni di ciascun utente durante il recupero, poiché indicare al modello di mantenere i segreti non è una protezione affidabile.

In secondo luogo, iniezione tempestiva. Una pagina Web o un documento recuperato potrebbe contenere testo come “ignora le tue istruzioni”. Tratta i contenuti recuperati come dati non attendibili, limita le azioni che il modello può intraprendere e richiedi a un essere umano di approvare quelle sensibili.

Considerazioni finali

RAG è un’idea semplice ma ricca di dettagli pratici: trova le informazioni giuste e poi chiedi al modello di usarle. Inizia con una serie piccola e pulita di documenti e una ventina di domande reali. Fai in modo che il recupero funzioni bene prima di aggiungere complessità, perché una pipeline modesta con dati validi di solito batte una pipeline sofisticata con dati errati.

Domande frequenti

Continua a imparare