Ferramentas que conversam, resumem e escrevem código parecem quase mágicas, até você ver o mecanismo por trás delas. Um modelo de linguagem grande, ou LLM, é basicamente um sistema muito sofisticado para prever o próximo trecho de texto. Essa ideia explica o que essas ferramentas fazem bem e por que falham da maneira como o fazem.

Este guia explica os conceitos principais sem qualquer matemática e, em seguida, cria um pequeno preditor da próxima palavra para tornar a ideia concreta. Executamos esse código no Python 3.13 e a saída vem dessa execução. É um simples brinquedo de contagem, em vez de uma rede neural, e os LLMs reais são muito mais capazes. Também evitamos citar números de modelos específicos, pois eles mudam rapidamente.

O que é um modelo de linguagem grande?

Um LLM é um tipo de inteligência artificial treinada para compreender e gerar a linguagem humana. Tomemos o nome uma palavra de cada vez:

• Grande: possui um grande número de valores internos ajustáveis, chamados parâmetros, e aprende com uma enorme quantidade de texto.
• Idioma: funciona com texto, incluindo linguagem natural e código.
• Modelo: é um sistema matemático que captura padrões de dados e os utiliza para fazer previsões.

Os modelos são o motor e produtos como os assistentes de chat são o carro construído em torno deles. Um produto geralmente adiciona uma interface de usuário, sistemas de segurança, pesquisa e outras ferramentas.

A ideia central: prever o que vem a seguir

Você faz isso sozinho. Se você ler “a capital da França é”, sua mente oferece “Paris” imediatamente. Um LLM faz algo comparável, mas numa escala muito maior. Dado algum texto, ele calcula a probabilidade de cada próximo token possível, escolhe um, adiciona-o ao texto e repete.

Não há banco de dados de respostas armazenadas sendo consultadas. O modelo contém padrões aprendidos durante o treinamento, na forma de números. Quando esses padrões se alinham com a verdade, você obtém uma resposta correta. Quando isso não acontece, você ainda pode obter uma resposta fluente, e essa é uma diferença importante em relação a um mecanismo de pesquisa.

Uma pequena demonstração de trabalho

Para ver a previsão do próximo token em sua forma mais simples, este script conta qual palavra segue qual em um texto minúsculo. Em seguida, ele gera um novo texto a partir dessas contagens. Os estatísticos chamam isso de modelo bigrama.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Essa saída é uma distribuição de probabilidade. Depois de “o”, o modelo considera “gato” e “cachorro” os mais prováveis. Agora geramos texto amostrando repetidamente essas probabilidades:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Observe três coisas. O mesmo início pode produzir textos diferentes, pois a escolha é aleatória. A saída se assemelha aos seus dados de treinamento, mesmo para sequências que nunca apareceram nela. E não tem compreensão alguma, e é por isso que “o tapete… o gato” parece um disparate.

Pergunte sobre uma palavra que ele nunca viu e que não tem nada a oferecer: follows["elephant"] está vazio. Nosso brinquedo analisa apenas uma palavra anterior. O enorme salto nos LLMs reais vem da consideração de longos trechos de contexto e do aprendizado com muito mais dados, usando uma rede neural em vez de uma simples contagem.

Tokens: como um modelo lê

LLMs não leem palavras inteiras como nós. O texto é primeiro dividido em tokens, que pode ser uma palavra, parte de uma palavra ou pontuação. Cada token é mapeado para um número e o modelo funciona inteiramente com números.

Os tokens são importantes na prática por dois motivos. O uso de modelos hospedados geralmente é cobrado por tokens, e cada modelo tem um limite de quantos pode manipular de uma vez. A tokenização também explica alguns comportamentos estranhos famosos. Como os modelos veem pedaços em vez de letras, tarefas como contar as letras de uma palavra têm sido tradicionalmente surpreendentemente difíceis para eles.

Incorporações: significado como números

Cada token é transformado em uma incorporação, uma longa lista de números que o coloca em uma espécie de espaço de significado. Conceitos relacionados acabam próximos, então “gato” e “gatinho” têm posições próximas, enquanto “gato” e “fatura” não.

A mesma ideia impulsiona a pesquisa semântica, na qual você encontra documentos pelo significado, em vez de palavras exatas. Nosso guia de banco de dados vetorial aborda esse uso.

Atenção e o transformador

A maioria dos LLMs modernos são baseados na arquitetura do transformador, apresentada por pesquisadores do Google no artigo de 2017 “Attention Is All You Need”. Seu mecanismo principal é a autoatenção.

Considere esta frase: “O troféu não cabia na mala porque era muito grande”. A que “isso” se refere? Você sabe que isso significa o troféu. A atenção permite que um modelo pese cada token anterior ao processar cada novo, para que possa vinculá-lo às palavras mais relevantes, mesmo quando elas estão distantes umas das outras.

As abordagens anteriores processavam o texto passo a passo e tendiam a perder o controle das palavras distantes. Os transformadores examinam o contexto juntos e podem executar grande parte desse trabalho em paralelo em hardware especializado, o que tornou prático o treinamento em grandes quantidades de texto.

Como um LLM é treinado

O pré-treinamento oferece ao modelo ampla capacidade linguística, mas pode apenas continuar seu texto em vez de respondê-lo. Os estágios posteriores transformam-no em um assistente útil. O treinamento de modelos grandes exige um poder computacional substancial e é caro. Usar um modelo finalizado, conhecido como inferência, é muito mais barato por solicitação.

Como ele gera texto

1. Seu prompt é dividido em tokens e convertido em embeddings.
2. A rede os processa, utilizando a atenção para relacioná-los entre si.
3. Ele gera uma probabilidade para cada próximo token possível.
4. Um token é selecionado e adicionado ao contexto.
5. As etapas 2 a 4 são repetidas até atingir uma condição de parada.

É por isso que as respostas normalmente aparecem palavra por palavra quando transmitidas. O texto está literalmente sendo produzido em sequência. A Temperatura controla o nível de aventura da etapa 4: valores baixos favorecem os tokens mais prováveis, enquanto valores mais altos permitem mais variedade.

Termos que você cumprirá

Limitações que você deve conhecer

• Alucinações. Um modelo pode inventar fatos, citações ou funções de código. Por produzir texto provável, declarações falsas podem parecer completamente plausíveis.
• Corte de conhecimento. A menos que um produto o conecte à pesquisa ou a outras ferramentas, ele pode não saber sobre eventos recentes.
• Contexto limitado. Se uma conversa exceder a janela de contexto, os detalhes anteriores poderão ser eliminados ou resumidos. Os modelos também não se lembram automaticamente de bate-papos anteriores, a menos que um produto adicione esse recurso.
• Preconceito. Os dados de treinamento refletem preconceitos humanos, e eles podem aparecer nos resultados.
• Inconsistência. A mesma pergunta pode produzir respostas diferentes, o que é importante quando você cria software sobre uma delas.
• Riscos de segurança. Instruções ocultas no texto podem manipular um modelo, um problema conhecido como injeção imediata.

Usando bem os LLMs

Trate um LLM como um assistente rápido e capaz, cujo trabalho precisa ser revisado. Alguns hábitos fazem uma grande diferença:

• Seja específico. Instruções claras, contexto e exemplos proporcionam melhores resultados. Nosso guia de engenharia imediata mostra como.
• Forneça os fatos. Quando as respostas precisarem vir de seus próprios documentos, use RAG em vez de confiar na memória.
• Verifique o que é importante. Verifique números, citações e reivindicações legais ou médicas em fontes confiáveis.
• Teste o código gerado. Execute-o e escreva testes para ele, como faria para o de um colega. Nosso guia de ferramentas de revisão de código de IA oferece alguma assistência.
• Proteja dados confidenciais. Verifique as regras da sua organização antes de compartilhar informações confidenciais com uma ferramenta hospedada.

Se você está decidindo como personalizar um modelo para seu próprio trabalho, nossa comparação entre RAG vs ajuste fino vs engenharia imediata irá ajudá-lo a escolher.

Considerações finais

Um LLM é um preditor de próximo token treinado em uma escala extraordinária e é mais útil e mais falível do que a descrição sugere. Manter o mecanismo em mente ajuda você a usá-lo bem: ele é forte com linguagem e padrões e precisa de sua supervisão sobre os fatos. Para tornar isso concreto, execute o pequeno script acima com seu próprio texto, depois tente o mesmo prompt várias vezes em um assistente real e compare as respostas.

Perguntas frequentes

Continue aprendendo