Pesquise “como recuperar meu dinheiro” e um bom sistema encontrará uma página intitulada “Política de reembolso”, mesmo que os dois não compartilhem palavras importantes. Essa capacidade vem de embeddings, uma das ideias mais úteis da IA ​​moderna.

Este guia explica incorporações sem matemática pesada. Executamos um pequeno exemplo em Python 3.13 e sua saída é mostrada abaixo. Os vetores nele são aqueles que fizemos à mão, com apenas três números cada, para facilitar a visualização da ideia. Os embeddings reais vêm de um modelo treinado e geralmente têm centenas ou milhares de números.

O que é uma incorporação?

Uma incorporação é uma representação de algo como uma lista de números, chamada vetor. Um modelo é treinado para que itens com significados relacionados obtenham vetores próximos.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Uma vez que o texto esteja neste formato, um computador pode calcular quão semelhantes são duas partes de texto, o que não pode ser feito diretamente com palavras. Os embeddings também não se limitam a palavras. Frases, documentos inteiros, imagens, áudio e produtos podem ser incorporados.

Por que não apenas combinar palavras-chave?

Nosso guia do RAG mostra isso na prática. Uma simples pesquisa de contagem de palavras marcou zero para “Quando posso receber meu dinheiro de volta?” contra um documento de reembolso, uma vez que não trocaram palavras. Observe também a terceira linha: identificadores exatos são um ponto fraco dos embeddings, portanto, a pesquisa por palavra-chave ainda tem um lugar.

Pense em um mapa

Imagine colocar cada palavra em um mapa enorme, onde a localização reflete o significado. “Gato” e “gatinho” sentam-se quase um ao lado do outro, “cachorro” está no mesmo bairro e “fatura” está em uma cidade diferente. Para encontrar palavras relacionadas, basta olhar nas proximidades.

Uma incorporação real funciona da mesma maneira, exceto que o mapa tem centenas de dimensões em vez de duas. As pessoas não conseguem imaginar isso, mas a matemática funciona da mesma forma. Os números individuais geralmente não têm um significado claro, como “peludo”. O que importa é a posição geral.

Um pequeno exemplo de trabalho

Veja como comparar nossos vetores feitos à mão:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

Contra “gato”, “gatinho” tem a pontuação mais alta, “cachorro” é o próximo e “fatura” muito mais baixa. Escolhemos esses vetores para produzir esse padrão, então a classificação não prova nada sobre a linguagem real. Mostra apenas como o cálculo se comporta. Uma pesquisa semântica faz a mesma coisa em três etapas: incorporar a consulta, pontuar em cada item armazenado e classificar.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Similaridade de cosseno explicada

Cada vetor pode ser pensado como uma seta apontando para a origem. A similaridade de cosseno mede o ângulo entre duas setas, ignorando o comprimento delas. Confirmamos os valores principais:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Veja a primeira linha. [2, 4, 6] é duas vezes mais longo que [1, 2, 3], mas a pontuação é um 1,0 perfeito, porque a direção é tudo o que conta. Isso é útil para texto, onde o comprimento pode refletir coisas como o tamanho do documento, em vez do significado. Tenha cuidado com os limites também. Não existe uma pontuação universal que signifique “semelhante”, pois os intervalos úteis diferem de modelo para modelo, portanto teste com seus próprios dados.

Outras medidas de distância

A diferença é fácil de ver. Esses mesmos dois vetores com pontuação de cosseno de 1,0 têm uma distância euclidiana de 3,742, pois um é mais longo que o outro. Muitos sistemas normalizam vetores, dimensionando cada um para um comprimento de 1. Depois disso, o produto escalar e o cosseno dão a mesma resposta, e confirmamos isso: ambos deram 0,955 para “gato” e “cachorro”. Verifique a documentação do seu modelo para ver qual medida ele recomenda.

Como os embeddings são aprendidos

Ninguém atribui esses números manualmente em sistemas reais. Uma rede neural os aprende durante o treinamento. Uma ideia inicial e influente é que palavras que aparecem em contextos semelhantes tendem a ter significados semelhantes, como “Eu alimentei meu gato” e “Eu alimentei meu cachorro”. Modelos como Word2Vec e GloVe aprenderam vetores de palavras a partir desses padrões.

Mais tarde, modelos baseados em transformadores, como o BERT, tornaram os embeddings sensíveis ao contexto, para que “banco” pudesse obter um vetor diferente em “margem de rio” e “empréstimo bancário”. Muitos modelos modernos incorporam frases ou passagens inteiras de uma só vez. Nosso guia para grandes modelos de linguagem explica como os transformadores lidam com o contexto.

Onde os embeddings são usados

Pesquisando em escala

Nosso exemplo comparou uma consulta com cada item, o que é conhecido como pesquisa exata. Isso funciona bem para milhares de itens, mas fica lento com muitos milhões. Índices de vizinho mais próximo aproximado (ANN), como HNSW, resolvem isso. Eles encontram partidas muito próximas rapidamente, abrindo mão de uma pequena chance de perder a melhor.

Bancos de dados vetoriais e extensões, como pgvector para PostgreSQL, fornecem esses índices junto com filtragem e armazenamento. Nosso guia de banco de dados vetorial aborda as opções. Para um projeto pequeno, você pode não precisar de nenhum, e uma pesquisa na memória é uma ótima maneira de começar.

Escolhendo um modelo de incorporação

• Idioma. Se o seu conteúdo estiver em hindi ou tâmil, por exemplo, verifique se o modelo o lida bem.
• Domínio. Os modelos gerais podem ter dificuldades com termos jurídicos ou médicos especializados.
• Dimensões. Mais dimensões podem capturar mais detalhes, mas custam mais armazenamento e memória.
• Custo e hospedagem. Compare uma API hospedada com um modelo aberto que você mesmo pode executar, especialmente para dados privados.
• Comprimento de entrada. Os modelos têm um limite, portanto, documentos longos devem ser divididos em partes primeiro.

O melhor teste são seus próprios dados. Colete cerca de 20 consultas reais junto com os documentos que devem encontrar e compare como cada modelo as classifica. Os benchmarks publicados podem não refletir o seu conteúdo.

Limitações

• Aprisionamento de modelo. Vetores de modelos diferentes não podem ser comparados. Se você mudar de modelo, deverá incorporar tudo novamente.
• Termos exatos. IDs, códigos e nomes raros podem não ser correspondidos de forma confiável.
• Negação. “Reembolsos permitidos” e “reembolsos não permitidos” podem aparecer próximos, apesar de significarem coisas opostas.
• Semelhante não significa correto. Uma correspondência aproximada pode estar desatualizada ou simplesmente errada.
• Viés. Os embeddings podem absorver estereótipos de seus dados de treinamento.
• Cosseno não é mágico. Os pesquisadores questionaram o quão significativo ele é em alguns embeddings aprendidos, portanto, trate as pontuações como um sinal útil e não como uma medida da verdade.

Erros comuns

• Mistura de modelos. Incorpore consultas e documentos com o mesmo modelo e versão.
• Usando um limite de similaridade em todos os lugares. Ajuste-o para cada modelo e tarefa.
• Incorporar documentos enormes inteiros. O significado fica diluído, então separe-os primeiro.
• Ignorando a avaliação. Sem consultas de teste, você não pode dizer se uma mudança ajudou.
• Usando embeddings para tudo. Se os usuários pesquisarem IDs exatos, um índice de banco de dados normal é melhor.

Considerações finais

Uma incorporação transforma significado em números, para que o software possa comparar ideias em vez de sequências. O conceito é simples, enquanto o trabalho prático consiste em escolher um modelo, agrupar os dados e testar em consultas reais. Para experimentar você mesmo, incorpore algumas dezenas de seus próprios documentos com qualquer modelo de incorporação, pesquise-os com perguntas reais e veja onde os resultados o surpreendem.

Perguntas frequentes

Continue aprendendo