Cerca “come riavere i miei soldi” e un buon sistema dovrebbe trovare una pagina intitolata “Politica di rimborso”, anche se i due non condividono parole importanti. Questa capacità deriva dagli embedding, una delle idee più utili dell’intelligenza artificiale moderna.

Questa guida spiega gli incorporamenti senza calcoli pesanti. Abbiamo eseguito un piccolo esempio in Python 3.13 e il suo output è mostrato di seguito. I vettori in esso contenuti sono quelli che abbiamo creato a mano, con solo tre numeri ciascuno, per rendere l’idea facile da capire. Gli incorporamenti reali provengono da un modello addestrato e spesso hanno centinaia o migliaia di numeri.

Cos’è un incorporamento?

Un incorporamento è una rappresentazione di qualcosa come un elenco di numeri, chiamato vettore. Un modello viene addestrato in modo che gli elementi con significati correlati ricevano vettori vicini tra loro.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Una volta che il testo è in questa forma, un computer può calcolare quanto sono simili due parti di testo, cosa che non può fare direttamente con le parole. Anche gli incorporamenti non si limitano alle parole. È possibile incorporare frasi, interi documenti, immagini, audio e prodotti.

Perché non abbinare semplicemente le parole chiave?

La nostra guida a RAG lo mostra nella pratica. Una semplice ricerca basata sul conteggio delle parole ha ottenuto zero per “Quando posso riavere i miei soldi?” contro un documento di rimborso, poiché non hanno condiviso parole. Nota anche la terza riga: gli identificatori esatti sono un punto debole degli incorporamenti, quindi la ricerca per parole chiave ha ancora un posto.

Pensa a una mappa

Immagina di posizionare ogni parola su un’enorme mappa, dove la posizione riflette il significato. “Gatto” e “gattino” sono seduti quasi uno accanto all’altro, “cane” è nello stesso quartiere e “fattura” è in una città diversa. Per trovare parole correlate, guarda semplicemente nelle vicinanze.

Un vero e proprio incorporamento funziona allo stesso modo, tranne per il fatto che la mappa ha centinaia di dimensioni anziché due. Le persone non possono immaginarlo, ma i conti funzionano lo stesso. I singoli numeri generalmente non hanno un significato chiaro, come “pelosità”. Ciò che conta è la posizione complessiva.

Un piccolo esempio funzionante

Ecco come confrontare i nostri vettori fatti a mano:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

Contro “gatto”, “gattino” ottiene il punteggio più alto, “cane” dopo e “fattura” molto più basso. Abbiamo scelto questi vettori per produrre quel modello, quindi la classifica non prova nulla sul linguaggio reale. Mostra solo come si comporta il calcolo. Una ricerca semantica fa la stessa cosa in tre passaggi: incorpora la query, assegna un punteggio a ogni elemento memorizzato e ordina.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Spiegazione della somiglianza del coseno

Ogni vettore può essere pensato come una freccia che punta dall’origine. La somiglianza del coseno misura l’angolo tra due frecce, ignorando quanto sono lunghe. Abbiamo confermato i valori chiave:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Guarda la prima riga. [2, 4, 6] è lungo il doppio di [1, 2, 3], ma il punteggio è un perfetto 1,0, perché la direzione è tutto ciò che conta. Ciò è utile per il testo, dove la lunghezza può riflettere aspetti come la dimensione del documento piuttosto che il significato. Fai attenzione anche alle soglie. Non esiste un punteggio universale che significhi “simile”, poiché gli intervalli utili differiscono da modello a modello, quindi esegui il test sui tuoi dati.

Altre misure di distanza

La differenza è facile da vedere. Quegli stessi due vettori con un punteggio coseno di 1,0 hanno una distanza euclidea di 3,742, poiché uno è più lungo dell’altro. Molti sistemi normalizzano i vettori, ridimensionandoli ciascuno a una lunghezza pari a 1. Successivamente, il prodotto scalare e il coseno danno la stessa risposta, e lo abbiamo confermato: entrambi hanno dato 0,955 per “gatto” e “cane”. Controlla la documentazione del tuo modello per vedere quale misura consiglia.

Come vengono appresi gli incorporamenti

Nessuno assegna questi numeri manualmente nei sistemi reali. Una rete neurale li apprende durante l’addestramento. Un’idea iniziale e influente è che le parole che appaiono in contesti simili tendono ad avere significati simili, come “ho dato da mangiare al mio gatto” e “ho dato da mangiare al mio cane”. Modelli come Word2Vec e GloVe hanno imparato i vettori di parole da questi modelli.

Successivamente, modelli basati su trasformatori come BERT hanno reso gli incorporamenti sensibili al contesto, quindi “banca” potrebbe ottenere un vettore diverso in “riva del fiume” e “prestito bancario”. Molti modelli moderni incorporano intere frasi o passaggi contemporaneamente. La nostra guida ai modelli linguistici di grandi dimensioni spiega come i trasformatori gestiscono il contesto.

Dove vengono utilizzati gli incorporamenti

Ricerca su larga scala

Nel nostro esempio abbiamo confrontato una query con ogni elemento, operazione nota come ricerca esatta. Funziona bene per migliaia di articoli, ma diventa lento con molti milioni. Gli indici Approssimati del vicino più vicino (ANN) come HNSW risolvono questo problema. Trovano rapidamente partite molto ravvicinate, rinunciando a una piccola possibilità di perdere quella migliore in assoluto.

I database vettoriali e le estensioni, come pgvector per PostgreSQL, forniscono questi indici insieme al filtraggio e all’archiviazione. La nostra guida al database vettoriale copre le opzioni. Per un progetto di piccole dimensioni, potresti non averne affatto bisogno e una ricerca in memoria è un ottimo modo per iniziare.

Scelta di un modello di incorporamento

• Lingua. Se il tuo contenuto è in hindi o tamil, ad esempio, controlla che il modello lo gestisca bene.
• Dominio. I modelli generali possono avere difficoltà con termini legali o medici specialistici.
• Dimensioni. Più dimensioni possono acquisire più dettagli, ma costano più spazio di archiviazione e memoria.
• Costi e hosting. Confronta un’API ospitata con un modello aperto che puoi eseguire tu stesso, soprattutto per i dati privati.
• Lunghezza di input. I modelli hanno un limite, quindi i documenti lunghi devono essere prima divisi in blocchi.

Il miglior test sono i tuoi dati. Raccogli circa 20 domande reali insieme ai documenti che dovrebbero trovare e confronta il modo in cui ciascun modello le classifica. I benchmark pubblicati potrebbero non riflettere i tuoi contenuti.

Limitazioni

• Blocco del modello. I vettori di modelli diversi non possono essere confrontati. Se cambi modello, devi incorporare di nuovo tutto.
• Termini esatti. ID, codici e nomi rari potrebbero non essere abbinati in modo affidabile.
• Negazione. “Rimborsi consentiti” e “rimborsi non consentiti” possono essere vicini, nonostante abbiano significati opposti.
• Simile non significa corretto. Una corrispondenza ravvicinata potrebbe essere obsoleta o semplicemente sbagliata.
• Bias. Gli incorporamenti possono assorbire gli stereotipi dai dati di addestramento.
• Il coseno non è magico. I ricercatori si sono chiesti quanto sia significativo su alcuni incorporamenti appresi, quindi tratta i punteggi come un segnale utile e non come una misura della verità.

Errori comuni

• Mixing di modelli. Incorpora query e documenti con lo stesso modello e versione.
• Utilizzo di una soglia di somiglianza ovunque. Ottimizzala per ogni modello e attività.
• Incorporare documenti enormi. Il significato viene diluito, quindi dividili prima.
• Saltare la valutazione. Senza query di prova, non puoi dire se una modifica ha aiutato.
• Utilizzo degli incorporamenti per tutto. Se gli utenti cercano ID esatti, un normale indice del database è migliore.

Considerazioni finali

Un incorporamento trasforma il significato in numeri, in modo che il software possa confrontare idee anziché stringhe. Il concetto è semplice, mentre il lavoro pratico consiste nella scelta di un modello, nella suddivisione dei dati e nel test su query reali. Per provarlo tu stesso, incorpora qualche dozzina dei tuoi documenti con qualsiasi modello di incorporamento, cercali con domande reali e vedi dove i risultati ti sorprendono.

Domande frequenti

Continua a imparare