Um chatbot de suporte informa ao cliente que os reembolsos levam 14 dias. A verdadeira política diz 7. A resposta foi fluente, educada e errada. Esta é uma alucinação de IA e é um dos principais motivos pelos quais os recursos de IA precisam de design e testes cuidadosos.

Este guia explica as causas em termos simples e centra-se na prevenção prática. A verificação automatizada perto do final é um pequeno script Python que executamos em exemplos de respostas que nós mesmos escrevemos. Não foi executado em um modelo de IA ao vivo.

O que é uma alucinação de IA?

Uma alucinação ocorre quando um sistema de IA generativo produz conteúdo que é factualmente errado, inventado ou não apoiado pelas informações que lhe foram fornecidas, embora o apresente como verdadeiro. O termo é uma metáfora. O modelo não está vendo coisas. É gerar um texto que se encaixe no padrão de uma boa resposta sem estar preso a fatos.

A parte perigosa é a confiança. Uma resposta alucinada geralmente se parece exatamente com a correta, com o mesmo tom, estrutura e detalhes.

Por que os modelos de linguagem alucinam

Um grande modelo de linguagem é treinado para prever o próximo trecho de texto, um token, com base em padrões em uma enorme quantidade de dados de treinamento. Várias coisas decorrem disso:

• Plausível não é o mesmo que verdadeiro. O modelo aprende como as respostas tendem a ser. Quando faltam os fatos, a continuação mais provável ainda pode ser inventada.
• Lacunas e limites. Os dados de treinamento têm lacunas e terminam em uma determinada data. O modelo pode preencher factos em falta em vez de dizer que não sabe.
• O treinamento recompensa a resposta. Uma pesquisa, incluindo um artigo da OpenAI de 2025 sobre por que os modelos alucinam, argumenta que os métodos comuns de treinamento e avaliação recompensam a adivinhação em vez da admissão da incerteza, muito parecido com um teste de múltipla escolha sem penalidade por respostas erradas.
• Instruções ambíguas. Perguntas vagas convidam o modelo a assumir detalhes.
• Contexto longo ou confuso. Fatos importantes podem ser ignorados quando enterrados em entradas longas.

Tipos comuns de alucinação

Os pesquisadores muitas vezes os dividem em erros de factualidade, que contradizem o mundo real, e erros de fidelidade, que contradizem o material de origem que o modelo recebeu. Para aplicativos de negócios criados com base em seus próprios documentos, a fidelidade geralmente é o que você pode testar mais diretamente.

O código inventado merece um aviso especial. Se um assistente sugerir a instalação de um pacote que não existe, um invasor poderá publicar um pacote malicioso com esse nome. Verifique se todas as dependências sugeridas são reais e confiáveis ​​antes de instalá-las.

Onde é mais importante

Um fato alucinado de um filme é inofensivo. Uma dose de droga alucinada, citação legal, política de reembolso ou valor financeiro não são. Houve casos bem relatados de advogados que apresentaram ações judiciais com citações de casos inventadas por ferramentas de IA. Classifique seus casos de uso pelo custo de uma resposta errada e aplique os controles mais fortes onde o custo for alto.

Como reduzir alucinações

1. Baseie a resposta em dados confiáveis. Forneça ao modelo os fatos relevantes em vez de confiar em sua memória.
2. Permita “Não sei”. Diga explicitamente ao modelo para dizer quando a informação não está disponível e trate isso como um bom resultado.
3. Seja específico. Perguntas claras e restritas deixam menos espaço para invenções. Nosso guia rápido de engenharia aborda isso em detalhes.
4. Peça citações das fontes fornecidas e verifique-as automaticamente.
5. Use saída estruturada, como JSON com campos fixos, para que as respostas sejam mais fáceis de validar.
6. Use ferramentas para coisas nas quais os modelos são fracos, como cálculos, datas e pesquisas de dados em tempo real.
7. Mantenha um ser humano informado sobre decisões de alto risco.

Aterramento com seus próprios dados

A geração aumentada de recuperação (RAG) é o padrão de aterramento mais comum. O sistema pesquisa em seus documentos passagens relevantes para a pergunta e as inclui no prompt, com instruções para responder apenas a partir dessas passagens. Reduz drasticamente os factos inventados, mas não é uma cura. O modelo ainda pode interpretar mal uma passagem, combiná-las incorretamente ou recorrer ao seu próprio conhecimento, e a etapa de pesquisa pode retornar os documentos errados. Portanto, os sistemas aterrados ainda precisam de verificações.

Uma simples verificação automatizada

Aqui está uma proteção barata que construímos: marque qualquer número em uma resposta que não apareça no texto fonte. É grosseiro, mas números como preços, dias e limites são exactamente onde aparecem as alucinações dispendiosas.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Testamos três respostas escritas para imitar o resultado típico do modelo:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

A resposta “alucinada” reivindicou reembolso de 14 dias e frete grátis acima de 500 rúpias, e ambos os números foram detectados. A resposta “parcialmente” tinha prazos de entrega corretos, mas acrescentou “ou 1 dia com expresso”, que a política nunca menciona, e isso também foi detectado. Uma segunda verificação verifica se as frases citadas realmente aparecem na fonte:

{'paid within 7 days': True, 'no questions asked': False}

Essas verificações têm limites óbvios. Eles perdem palavras erradas, unidades e afirmações não comprovadas sem números, e sinalizariam erroneamente um cálculo correto. Muitas equipes adicionam uma etapa “LLM como juiz”, onde um segundo modelo verifica cada afirmação em relação às fontes. Isso pega mais, mas também pode estar errado, então meça.

Teste para alucinações

Trate a taxa de alucinações como uma métrica de qualidade que você mede, não como um sentimento. Uma abordagem prática:

• Crie um conjunto de testes de perguntas reais com respostas e fontes corretas conhecidas.
• Inclua perguntas que o sistema deveria recusar, porque a resposta não está nos dados.
• Pontue as respostas quanto à correção, fidelidade às fontes e recusas apropriadas.
• Execute o conjunto em cada alteração nos prompts, modelos ou configurações de recuperação.
• Exemplos de conversas de produção para revisão humana.

A disciplina de teste de regressão também se aplica aqui: um conjunto fixo de casos, executado a cada mudança, com resultados comparados ao longo do tempo. Ao escolher como aterrar um sistema, nossa comparação entre RAG versus ajuste fino versus engenharia imediata explica as compensações.

Conselhos para usuários comuns

• Verifique fatos, números, citações e citações da fonte original.
• Tenha especial cuidado com informações médicas, legais e financeiras.
• Cole o texto fonte e peça ao assistente que responda apenas a partir dele.
• Pergunte “quão confiante você está e em que isso se baseia?”, mas lembre-se de que a resposta também pode estar errada.

As alucinações podem ser eliminadas?

Não com a tecnologia atual. Modelos mais recentes e melhor treinamento reduziram as taxas de alucinação em muitos benchmarks, e o aterramento ajuda muito, mas todos os sistemas ainda cometem erros. O objetivo realista é tornar os erros raros, fáceis de detectar e de baixo impacto através do design do sistema, testes e sinais claros para os usuários.

Alucinações em ferramentas de codificação de IA

Os desenvolvedores encontram alucinações diariamente nos assistentes de codificação: um método que não existe em uma classe, uma opção de configuração desatualizada ou uma explicação confiável de um erro que na verdade é causado por outra coisa. As defesas são aquelas que você já usa para código humano. Compile ou verifique o tipo do resultado, execute os testes e leia a documentação oficial de qualquer API que você não tenha usado antes. Tome cuidado extra com códigos sensíveis à segurança, como autenticação, criptografia e validação de entrada, onde códigos de aparência plausível podem ser sutilmente inseguros. Trate as sugestões de IA como um rascunho de um colega rápido, mas não confiável: muitas vezes úteis, nunca corrigidas automaticamente.

Considerações finais

As alucinações vêm do modo como os modelos de linguagem funcionam: eles geram textos prováveis, e não fatos verificados. Você não pode desligá-los, mas pode projetar em torno deles. Baseie as respostas em dados confiáveis, deixe o modelo dizer “Não sei”, adicione verificações automáticas para os detalhes importantes e meça os resultados continuamente.

Perguntas frequentes

Continue aprendendo