Gli strumenti che chattano, riassumono e scrivono codice sembrano quasi magici, finché non vedi il meccanismo sottostante. Un modello linguistico di grandi dimensioni, o LLM, è fondamentalmente un sistema molto sofisticato per prevedere la parte di testo successiva. Quest’unica idea spiega sia cosa fanno bene questi strumenti sia perché falliscono nel modo in cui lo fanno.

Questa guida spiega i concetti principali senza calcoli matematici, quindi crea un piccolo predittore della parola successiva per rendere l’idea concreta. Abbiamo eseguito quel codice su Python 3.13 e l’output proviene da quell’esecuzione. È un semplice giocattolo di conteggio piuttosto che una rete neurale e i veri LLM sono molto più capaci. Evitiamo inoltre di citare i dati relativi a modelli specifici, perché cambiano rapidamente.

Cos’è un modello linguistico ampio?

Un LLM è un tipo di intelligenza artificiale addestrata a comprendere e generare il linguaggio umano. Prendiamo il nome una parola alla volta:

• Grande: ha un numero enorme di valori interni regolabili, chiamati parametri, e impara da un’enorme quantità di testo.
• Lingua: funziona con il testo, inclusi linguaggio naturale e codice.
• Modello: è un sistema matematico che cattura modelli dai dati e li utilizza per fare previsioni.

I modelli sono il motore e prodotti come gli assistenti di chat sono l’auto costruita attorno ad essi. Un prodotto spesso aggiunge un’interfaccia utente, sistemi di sicurezza, ricerca e altri strumenti.

L’idea centrale: prevedere cosa verrà dopo

Fallo tu stesso. Se leggi “la capitale della Francia è”, la tua mente propone subito “Parigi”. Un LLM fa qualcosa di paragonabile, ma su scala molto più ampia. Dato del testo, calcola la probabilità di ogni possibile token successivo, ne sceglie uno, lo aggiunge al testo e lo ripete.

Non esiste un database di risposte archiviate da cercare. Il modello contiene i modelli appresi durante l’addestramento, sotto forma di numeri. Quando questi schemi sono in linea con la verità, ottieni una risposta corretta. In caso contrario, puoi comunque ottenere una risposta fluida, e questa è un’importante differenza rispetto a un motore di ricerca.

Una piccola demo funzionante

Per vedere la previsione del token successivo nella sua forma più semplice, questo script conta quale parola segue quale in un testo minuscolo. Quindi genera un nuovo testo da tali conteggi. Gli statistici lo chiamano modello bigramma.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Tale risultato è una distribuzione di probabilità. Dopo “il”, il modello considera molto probabilmente “gatto” e “cane”. Ora generiamo il testo campionando ripetutamente da quelle probabilità:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Nota tre cose. Lo stesso inizio può produrre testi diversi, perché la scelta è casuale. L’output somiglia ai dati di addestramento, anche per le sequenze che non sono mai apparse al suo interno. E non ha alcuna comprensione, motivo per cui “il tappeto… il gatto” sembra una sciocchezza.

Chiedigli una parola che non ha mai visto e non avrà nulla da offrirti: follows["elephant"] è vuoto. Il nostro giocattolo guarda solo una parola precedente. L’enorme salto nei LLM reali deriva dalla considerazione di lunghi tratti di contesto e dall’apprendimento da molti più dati, utilizzando una rete neurale anziché un semplice conteggio.

Token: come legge un modello

Gli LLM non leggono parole intere come facciamo noi. Il testo viene prima suddiviso in token, che possono essere una parola, parte di una parola o segni di punteggiatura. Ogni token corrisponde a un numero e il modello funziona interamente con i numeri.

I token contano in pratica per due ragioni. L’utilizzo dei modelli ospitati è generalmente valutato in token e ogni modello ha un limite al numero che può gestirne contemporaneamente. La tokenizzazione spiega anche alcuni famosi comportamenti strani. Poiché i modelli vedono pezzi anziché lettere, compiti come contare le lettere in una parola sono stati tradizionalmente sorprendentemente difficili per loro.

Incorporamenti: significato come numeri

Ogni token viene trasformato in un embedding, una lunga lista di numeri che lo colloca in una sorta di spazio di significato. I concetti correlati finiscono vicini, quindi “gatto” e “gattino” hanno posizioni vicine, mentre “gatto” e “fattura” no.

La stessa idea alimenta la ricerca semantica, in cui trovi i documenti in base al significato piuttosto che alle parole esatte. La nostra guida al database vettoriale copre questo utilizzo.

Attenzione e il trasformatore

La maggior parte dei LLM moderni si basano sull’architettura transformer, introdotta dai ricercatori di Google nel documento del 2017 “L’attenzione è tutto ciò di cui hai bisogno”. Il suo meccanismo chiave è l’autoattenzione.

Considera questa frase: “Il trofeo non entrava nella valigia perché era troppo grande”. A cosa si riferisce “esso”? Sai che significa il trofeo. L’attenzione consente a un modello di pesare ogni token precedente durante l’elaborazione di quello nuovo, in modo da poter collegare “esso” alle parole più rilevanti, anche quando sono distanti.

Gli approcci precedenti elaboravano il testo passo dopo passo e tendevano a perdere traccia delle parole distanti. I trasformatori esaminano insieme il contesto e possono eseguire gran parte di questo lavoro in parallelo su hardware specializzato, il che ha reso pratica la formazione su quantità di testo così grandi.

Come viene formato un LLM

La formazione preliminare fornisce al modello un’ampia capacità linguistica, ma potrebbe semplicemente continuare il testo anziché rispondere. Le fasi successive lo trasformano in un utile assistente. L’addestramento di modelli di grandi dimensioni richiede una notevole potenza di calcolo ed è costoso. L’utilizzo di un modello finito, noto come inferenza, è molto più economico per richiesta.

Come genera il testo

1. Il tuo prompt viene suddiviso in token e convertito in incorporamenti.
2. La rete li elabora, utilizzando l’attenzione per metterli in relazione tra loro.
3. Genera una probabilità per ogni possibile token successivo.
4. Un token viene selezionato e aggiunto al contesto.
5. I passaggi da 2 a 4 si ripetono fino a raggiungere una condizione di arresto.

Questo è il motivo per cui le risposte in genere vengono visualizzate parola per parola durante lo streaming. Il testo viene letteralmente prodotto in sequenza. La Temperatura controlla quanto avventuroso sia il passaggio 4: valori bassi favoriscono i token più probabili, mentre valori più alti consentono una maggiore varietà.

Termini che incontrerai

Limitazioni che dovresti conoscere

• Allucinazioni. Un modello può inventare fatti, citazioni o funzioni di codice. Poiché produce un testo verosimile, le affermazioni false possono sembrare completamente plausibili.
• Limite di conoscenza. A meno che un prodotto non lo colleghi alla ricerca o ad altri strumenti, potrebbe non essere a conoscenza degli eventi recenti.
• Contesto limitato. Se una conversazione supera la finestra di contesto, i dettagli precedenti potrebbero essere eliminati o riepilogati. Inoltre, i modelli non ricordano automaticamente le chat passate, a meno che un prodotto non aggiunga tale funzionalità.
• Pregiudizi. I dati di addestramento riflettono i pregiudizi umani e questi possono apparire nell’output.
• Incoerenza. La stessa domanda può produrre risposte diverse, il che è importante quando si crea software su una di esse.
• Rischi per la sicurezza. Le istruzioni nascoste nel testo possono manipolare un modello, un problema noto come prompt injection.

Usare bene i LLM

Tratta un LLM come un assistente veloce e capace il cui lavoro necessita di revisione. Alcune abitudini fanno una grande differenza:

• Sii specifico. Istruzioni chiare, contesto ed esempi danno risultati migliori. La nostra guida al prompt engineering mostra come.
• Fornisci i fatti. Quando le risposte devono provenire dai tuoi documenti, usa RAG invece di fare affidamento sulla memoria.
• Verifica ciò che conta. Controlla dati, citazioni e affermazioni legali o mediche rispetto a fonti affidabili.
• Test del codice generato. Eseguilo e scrivi i test, come faresti per quello di un collega. La nostra guida sugli Strumenti di revisione del codice AI fornisce assistenza.
• Proteggi i dati sensibili. Controlla le regole della tua organizzazione prima di condividere informazioni riservate con uno strumento ospitato.

Se stai decidendo come personalizzare un modello per il tuo lavoro, il nostro confronto tra RAG, messa a punto e ingegneria rapida ti aiuterà a scegliere.

Considerazioni finali

Un LLM è un predittore del token successivo addestrato su scala straordinaria ed è più utile e più fallibile di quanto suggerisca tale descrizione. Tenere a mente il meccanismo ti aiuta a usarlo bene: è forte nel linguaggio e nei modelli e richiede la tua supervisione sui fatti. Per renderlo concreto, esegui il piccolo script qui sopra con il tuo testo, quindi prova più volte lo stesso suggerimento in un vero assistente e confronta le risposte.

Domande frequenti

Continua a imparare