Pergunte a um assistente geral de IA sobre a política de reembolso da sua empresa e ele só poderá adivinhar. Nunca viu seus documentos. RAG, abreviação de geração aumentada de recuperação, resolve isso procurando as informações corretas e entregando-as ao modelo junto com a pergunta.

Este guia explica cada estágio em linguagem simples e, em seguida, cria uma versão minúscula usando apenas a biblioteca padrão do Python. Executamos esse código no Python 3.13 e as pontuações mostradas vêm dessa execução. Ele não usa modelo de linguagem, portanto demonstra recuperação e construção de prompt, e não testamos a etapa de resposta final.

O que é RAG?

A geração aumentada por recuperação é uma técnica que combina uma etapa de pesquisa com um modelo de linguagem. Quando chega uma pergunta, o sistema busca uma fonte de conhecimento, adiciona os melhores resultados ao prompt e pede ao modelo que responda com base naquele material.

Pense em um exame sem consulta. Um aluno de livro fechado depende da memória e pode se lembrar erroneamente. Um aluno de livro aberto pode procurar primeiro a página certa. RAG fornece esse livro ao modelo e também permite apontar para qual página ele usou.

O problema que o RAG resolve

Um modelo de linguagem por si só tem três limites para uso comercial:

• Ele não conhece seus dados privados. Suas políticas, tickets e contratos não fizeram parte do treinamento.
• Seu conhecimento tem um limite. Ele não pode saber sobre um preço que você alterou esta manhã.
• Pode inventar respostas. Quando não tem certeza, pode produzir algo plausível, mas falso.

O RAG aborda todos os três e você não precisa retreinar nada. Atualize um documento, indexe-o novamente e a próxima resposta poderá usá-lo.

Como funciona o RAG, passo a passo

Um sistema RAG possui dois pipelines. Um prepara seus dados com antecedência e o outro é executado para cada pergunta.

Indexação: preparando seus dados

1. Carregar: coleta conteúdo de PDFs, wikis, bancos de dados ou tickets.
2. Limpar e fragmentar: remova o lixo e divida os documentos em pequenas passagens.
3. Incorporar: converte cada passagem em uma lista de números, chamada incorporação, que captura seu significado.
4. Armazenar: salve os embeddings em um índice pesquisável, geralmente um banco de dados vetorial.

Consultando: respondendo a uma pergunta

1. Recuperar: incorpore a pergunta e encontre as passagens com significado mais próximo.
2. Aumentar: insira essas passagens no prompt.
3. Gerar: o modelo escreve uma resposta usando esse contexto.

A recuperação não precisa usar vetores. Pode ser uma pesquisa por palavra-chave ou até mesmo uma consulta SQL, o que encontrar as informações corretas para seus dados.

Um pequeno exemplo de trabalho

Para ver claramente as partes móveis, aqui está um pequeno recuperador sem bibliotecas. Ele representa o texto como contagem de palavras, um substituto muito mais simples para incorporações reais, e avalia a similaridade usando a medida do cosseno.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Perguntar sobre reembolsos encontra a passagem certa e gera este prompt:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

Em um sistema completo, você enviaria esse prompt para um modelo de linguagem. O detalhe importante é a instrução para admitir quando a resposta está faltando, sobre a qual você pode aprender mais em nosso guia de engenharia imediata.

O que nosso exemplo perde

Agora tente uma pergunta que signifique a mesma coisa, mas use palavras diferentes:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Toda pontuação é zero, pois a questão não compartilha palavras com nenhum documento. “Dinheiro de volta” significa reembolso a um ser humano, mas a contagem de palavras não pode dizer. Esta única saída explica por que sistemas reais usam embeddings, que são projetados para que textos com significado semelhante terminem com números semelhantes, mesmo sem palavras em comum.

Mas não presuma que os embeddings resolvem tudo. Eles podem ter dificuldades com termos exatos, como códigos de produtos e números de erro, que a pesquisa por palavra-chave lida muito bem. É por isso que muitos sistemas de produção usam pesquisa híbrida, combinando as duas abordagens.

Chunking: o passo que as pessoas subestimam

Os documentos são divididos em partes porque arquivos inteiros são muito longos e imprecisos para serem recuperados. O tamanho que você escolhe envolve uma compensação real:

Algumas centenas de palavras com alguma sobreposição entre pedaços é um ponto de partida comum, mas trate isso como uma primeira suposição a ser testada. Divida ao longo de limites naturais, como títulos, quando puder. E anexe metadados, como título do documento, data e departamento, para poder filtrar resultados e citar fontes.

Melhorando a recuperação

Quando as respostas são ruins, estas são as atualizações que mais vale a pena tentar, aproximadamente nesta ordem:

• Limpe os dados. Remova primeiro os documentos desatualizados e duplicados. Nenhum algoritmo corrige fontes contraditórias.
• Use pesquisa híbrida. Combine resultados baseados em significado e em palavras-chave.
• Adicione um reclassificador. Busque mais candidatos e use um modelo especializado para reordená-los por relevância.
• Filtre por metadados. Restrinja os resultados por produto, região ou data antes de pesquisar.
• Reescreva a consulta. Faça uma continuação vaga como “e a segunda?” em uma pergunta completa.

RAG vs ajuste fino

Eles não são mutuamente exclusivos. Nossa comparação entre RAG versus ajuste fino versus engenharia imediata aborda como escolher com mais detalhes.

Como testar um sistema RAG

RAG é um software e precisa de testes como qualquer outro software. Crie um conjunto de perguntas reais junto com as passagens e respostas que você espera e depois meça os dois estágios separadamente:

Inclua também casos estranhos: perguntas sem resposta em seus dados, perguntas que usam formulações diferentes e perguntas com fontes conflitantes. Execute novamente esse conjunto sempre que você alterar chunking, modelos ou prompts, como um conjunto de regressão. Nosso tutorial pytest mostra como executar muitas entradas em um único teste.

Por que os sistemas RAG falham

• A resposta não está nos dados. O modelo ainda pode tentar uma, então diga como recusar.
• O pedaço certo não foi recuperado. Isso geralmente é um problema de agrupamento ou de pesquisa.
• Muito contexto. Passagens irrelevantes podem distrair o modelo e aumentar os custos.
• Documentos obsoletos. Uma política antiga pode ser recuperada com tanta segurança quanto a atual.
• Tabelas e PDFs mal analisados. Se a extração embaralhar o texto, a recuperação nunca será recuperada.
• Teste apenas com perguntas de demonstração. Usuários reais expressam as coisas de maneira muito diferente.

Segurança e permissões

O RAG traz dois riscos que são fáceis de ignorar. Primeiro, controle de acesso: se o índice contiver arquivos de RH, a pergunta de um funcionário júnior não deverá recuperá-los. Aplique as permissões de cada usuário durante a recuperação, pois instruir o modelo a manter segredos não é uma proteção confiável.

Em segundo lugar, injeção imediata. Uma página da web ou documento recuperado pode conter texto como “ignore suas instruções”. Trate o conteúdo recuperado como dados não confiáveis, limite as ações que o modelo pode realizar e exija que um ser humano aprove as ações confidenciais.

Considerações finais

RAG é uma ideia simples com muitos detalhes práticos: encontre as informações corretas e peça ao modelo para usá-las. Comece com um conjunto pequeno e limpo de documentos e cerca de vinte perguntas reais. Faça com que a recuperação funcione bem antes de adicionar complexidade, porque um pipeline modesto com bons dados geralmente supera um sofisticado com dados ruins.

Perguntas frequentes

Continue aprendendo