Suchen Sie nach „Wie bekomme ich mein Geld zurück?“ und ein gutes System sollte eine Seite mit dem Titel „Rückerstattungsrichtlinie“ finden, auch wenn die beiden keine wichtigen Wörter gemeinsam haben. Diese Fähigkeit kommt von Einbettungen, einer der nützlichsten Ideen in der modernen KI.

Dieser Leitfaden erklärt Einbettungen ohne schwere Mathematik. Wir haben ein kleines Beispiel in Python 3.13 ausgeführt und die Ausgabe ist unten dargestellt. Die darin enthaltenen Vektoren sind diejenigen, die wir von Hand erstellt haben, mit jeweils nur drei Zahlen, um die Idee leicht erkennbar zu machen. Echte Einbettungen stammen aus einem trainierten Modell und haben oft Hunderte oder Tausende von Zahlen.

Was ist eine Einbettung?

Eine Einbettung ist eine Darstellung von etwas als Liste von Zahlen, die als Vektor bezeichnet wird. Ein Modell wird so trainiert, dass Elemente mit verwandten Bedeutungen nahe beieinander liegende Vektoren erhalten.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Sobald der Text in dieser Form vorliegt, kann ein Computer berechnen, wie ähnlich zwei Textteile sind, was mit Wörtern nicht direkt möglich ist. Auch Einbettungen sind nicht auf Wörter beschränkt. Sätze, ganze Dokumente, Bilder, Audio und Produkte können eingebettet werden.

Warum nicht einfach Keywords abgleichen?

Unser Leitfaden zu RAG zeigt dies in der Praxis. Eine einfache Suche nach Wörtern ergab für die Frage „Wann kann ich mein Geld zurückbekommen?“ null Treffer. gegen ein Rückerstattungsdokument, da sie keine Worte austauschten. Beachten Sie auch die dritte Zeile: Genaue Bezeichner sind eine Schwäche von Einbettungen, sodass die Suche nach Schlüsselwörtern immer noch ihren Platz hat.

Denken Sie an eine Karte

Stellen Sie sich vor, Sie platzieren jedes Wort auf einer riesigen Karte, auf der der Ort die Bedeutung widerspiegelt. „Katze“ und „Kätzchen“ sitzen fast nebeneinander, „Hund“ ist in der gleichen Nachbarschaft und „Rechnung“ ist in einer anderen Stadt. Um verwandte Wörter zu finden, schauen Sie einfach in der Nähe nach.

Eine echte Einbettung funktioniert auf die gleiche Weise, außer dass die Karte Hunderte statt zwei Dimensionen hat. Die Leute können sich das nicht vorstellen, aber die Rechnung funktioniert trotzdem. Einzelne Zahlen haben im Allgemeinen keine klare Bedeutung, wie zum Beispiel „Felligkeit“. Entscheidend ist die Gesamtposition.

Ein kleines Arbeitsbeispiel

So vergleichen Sie unsere handgefertigten Vektoren:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

Gegen „Katze“ erzielt „Kätzchen“ die höchste Punktzahl, „Hund“ folgt als nächstes und „Rechnung“ deutlich schlechter. Wir haben diese Vektoren ausgewählt, um dieses Muster zu erzeugen, daher beweist die Rangfolge nichts über die tatsächliche Sprache. Es zeigt nur, wie sich die Berechnung verhält. Eine semantische Suche erledigt das Gleiche in drei Schritten: Einbetten der Abfrage, Bewerten für jedes gespeicherte Element und Sortieren.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Kosinusähnlichkeit erklärt

Man kann sich jeden Vektor als einen vom Ursprung ausgehenden Pfeil vorstellen. Die Kosinusähnlichkeit misst den Winkel zwischen zwei Pfeilen und ignoriert dabei deren Länge. Wir haben die Schlüsselwerte bestätigt:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Schauen Sie sich die erste Zeile an. [2, 4, 6] ist doppelt so lang wie [1, 2, 3], dennoch ist die Punktzahl perfekt 1,0, da nur die Richtung zählt. Das ist nützlich für Text, bei dem die Länge eher Dinge wie die Dokumentgröße als die Bedeutung widerspiegeln kann. Seien Sie auch bei Schwellenwerten vorsichtig. Es gibt keinen universellen Wert, der „ähnlich“ bedeutet, da die nützlichen Bereiche von Modell zu Modell unterschiedlich sind. Testen Sie sie daher anhand Ihrer eigenen Daten.

Andere Distanzmaße

Der Unterschied ist leicht zu erkennen. Dieselben zwei Vektoren mit einem Kosinuswert von 1,0 haben einen euklidischen Abstand von 3,742, da einer länger als der andere ist. Viele Systeme normalisieren Vektoren und skalieren jeden auf eine Länge von 1. Danach liefern Skalarprodukt und Kosinus das gleiche Ergebnis, und wir haben dies bestätigt: Beide ergaben 0,955 für „Katze“ und „Hund“. Sehen Sie in der Dokumentation Ihres Modells nach, welche Maßnahme empfohlen wird.

Wie Einbettungen gelernt werden

In realen Systemen ordnet niemand diese Nummern von Hand zu. Ein neuronales Netzwerk lernt sie beim Training. Eine frühe und einflussreiche Idee ist, dass Wörter, die in ähnlichen Kontexten vorkommen, tendenziell eine ähnliche Bedeutung haben, wie zum Beispiel „Ich habe meine Katze gefüttert“ und „Ich habe meinen Hund gefüttert“. Modelle wie Word2Vec und GloVe lernten Wortvektoren aus diesen Mustern.

Später machten transformatorbasierte Modelle wie BERT Einbettungen kontextsensitiv, sodass „Bank“ einen anderen Vektor in „Flussufer“ und „Bankdarlehen“ erhalten konnte. Viele moderne Modelle betten ganze Sätze oder Passagen auf einmal ein. Unser Leitfaden zu großen Sprachmodellen erklärt, wie Transformatoren mit Kontext umgehen.

Wo Einbettungen verwendet werden

Suche im Maßstab

In unserem Beispiel wurde eine Abfrage mit jedem Artikel verglichen, was als exakte Suche bezeichnet wird. Das funktioniert bei Tausenden von Artikeln gut, bei vielen Millionen wird es jedoch langsam. Approximate Nearest Neighbour (ANN)-Indizes wie HNSW lösen dieses Problem. Sie finden schnell sehr enge Übereinstimmungen, indem sie eine kleine Chance aufgeben, die absolut beste Übereinstimmung zu verpassen.

Vektordatenbanken und Erweiterungen wie pgvector für PostgreSQL stellen diese Indizes zusammen mit Filterung und Speicherung bereit. Unser Vektordatenbank-Leitfaden behandelt die Optionen. Für ein kleines Projekt benötigen Sie möglicherweise überhaupt keines, und eine In-Memory-Suche ist ein absolut guter Anfang.

Auswahl eines Einbettungsmodells

• Sprache. Wenn Ihre Inhalte beispielsweise auf Hindi oder Tamil vorliegen, prüfen Sie, ob das Modell damit gut zurechtkommt.
• Domäne. Allgemeine Modelle können mit juristischen oder medizinischen Fachbegriffen Schwierigkeiten haben.
• Abmessungen. Mit mehr Dimensionen können mehr Details erfasst werden, sie kosten jedoch mehr Speicherplatz und Arbeitsspeicher.
• Kosten und Hosting. Vergleichen Sie eine gehostete API mit einem offenen Modell, das Sie selbst ausführen können, insbesondere für private Daten.
• Eingabelänge. Modelle haben eine Grenze, daher müssen lange Dokumente zuerst in Blöcke aufgeteilt werden.

Der beste Test sind Ihre eigenen Daten. Sammeln Sie etwa 20 echte Anfragen zusammen mit den Dokumenten, die sie finden sollten, und vergleichen Sie, wie jedes Modell sie einordnet. Veröffentlichte Benchmarks spiegeln möglicherweise nicht Ihren Inhalt wider.

Einschränkungen

• Modell-Lock-in. Vektoren aus verschiedenen Modellen können nicht verglichen werden. Wenn Sie Modelle ändern, müssen Sie alles neu einbetten.
• Genaue Begriffe. IDs, Codes und seltene Namen werden möglicherweise nicht zuverlässig zugeordnet.
• Verneinung. „Rückerstattungen zulässig“ und „Rückerstattungen nicht zulässig“ können nahe beieinander liegen, obwohl sie gegensätzliche Bedeutungen haben.
• Ähnlich bedeutet nicht richtig. Eine enge Übereinstimmung kann veraltet oder einfach falsch sein.
• Voreingenommenheit. Einbettungen können Stereotypen aus ihren Trainingsdaten absorbieren.
• Kosinus ist keine Magie. Forscher haben in Frage gestellt, wie aussagekräftig er bei einigen erlernten Einbettungen ist. Behandeln Sie Scores daher als nützliches Signal und nicht als Maß für die Wahrheit.

Häufige Fehler

• Modelle mischen. Betten Sie Abfragen und Dokumente mit demselben Modell und derselben Version ein.
• Überall einen Ähnlichkeitsschwellenwert verwenden. Passen Sie ihn für jedes Modell und jede Aufgabe an.
• Einbetten großer Dokumente als Ganzes. Die Bedeutung wird verwässert, also teilen Sie sie zuerst in Stücke.
• Auswertung überspringen. Ohne Testabfragen können Sie nicht sagen, ob eine Änderung geholfen hat.
• Einbettungen für alles verwenden. Wenn Benutzer nach genauen IDs suchen, ist ein normaler Datenbankindex besser.

Fazit

Eine Einbettung wandelt Bedeutung in Zahlen um, sodass Software Ideen statt Zeichenfolgen vergleichen kann. Das Konzept ist einfach, während die praktische Arbeit darin besteht, ein Modell auszuwählen, Daten aufzuteilen und anhand realer Abfragen zu testen. Um es selbst auszuprobieren, betten Sie ein paar Dutzend Ihrer eigenen Dokumente mit einem beliebigen Einbettungsmodell ein, durchsuchen Sie sie mit echten Fragen und sehen Sie, welche Ergebnisse Sie überraschen.

Häufige Fragen

Lerne weiter