Wenn Sie einen allgemeinen KI-Assistenten nach den Rückerstattungsrichtlinien Ihres Unternehmens fragen, kann dieser nur Vermutungen anstellen. Es hat Ihre Dokumente noch nie gesehen. RAG, kurz für Retrieval-Augmented Generation, löst dieses Problem, indem es die richtigen Informationen nachschlägt und sie zusammen mit der Frage an das Modell übergibt.

In dieser Anleitung wird jeder Schritt im Klartext erläutert und anschließend eine kleine Version erstellt, die ausschließlich die Standardbibliothek von Python verwendet. Wir haben diesen Code auf Python 3.13 ausgeführt und die angezeigten Ergebnisse stammen aus diesem Lauf. Es verwendet kein Sprachmodell, demonstriert also das Abrufen und die Eingabeaufforderungserstellung, und wir haben den letzten Antwortschritt nicht getestet.

Was ist RAG?

Retrieval-Augmented Generation ist eine Technik, die einen Suchschritt mit einem Sprachmodell kombiniert. Wenn eine Frage eintrifft, durchsucht das System eine Wissensquelle, fügt der Eingabeaufforderung die besten Ergebnisse hinzu und fordert das Modell auf, auf der Grundlage dieses Materials zu antworten.

Stellen Sie sich eine Open-Book-Prüfung vor. Ein Schüler, der nicht mit geschlossenen Büchern arbeitet, verlässt sich auf sein Gedächtnis und kann sich getrost falsch erinnern. Ein Open-Book-Schüler kann zuerst die richtige Seite nachschlagen. RAG gibt dem Modell dieses Buch und lässt es auch darauf hinweisen, welche Seite es verwendet hat.

Das Problem, das RAG löst

Ein Sprachmodell allein hat drei Grenzen für die geschäftliche Nutzung:

• Es kennt Ihre privaten Daten nicht. Ihre Richtlinien, Tickets und Verträge waren nicht Teil seiner Schulung.
• Sein Wissen hat einen Grenzwert. Es kann nichts über einen Preis wissen, den Sie heute Morgen geändert haben.
• Es kann Antworten erfinden. Wenn es unsicher ist, kann es etwas Plausibles, aber Falsches hervorbringen.

RAG berücksichtigt alle drei Aspekte und Sie müssen nichts neu trainieren. Aktualisieren Sie ein Dokument, indizieren Sie es neu und die nächste Antwort kann es verwenden.

Wie RAG funktioniert, Schritt für Schritt

Ein RAG-System verfügt über zwei Pipelines. Einer bereitet Ihre Daten im Voraus vor und der andere wird für jede Frage ausgeführt.

Indizierung: Aufbereitung Ihrer Daten

1. Laden: Sammeln Sie Inhalte aus PDFs, Wikis, Datenbanken oder Tickets.
2. Bereinigen und aufteilen: Entfernen Sie Müll und teilen Sie die Dokumente dann in kleine Abschnitte auf.
3. Einbetten: Wandeln Sie jede Passage in eine Liste von Zahlen um, die als Einbettung bezeichnet wird und ihre Bedeutung erfasst.
4. Speichern: Speichern Sie die Einbettungen in einem durchsuchbaren Index, häufig einer Vektordatenbank.

Abfragen: eine Frage beantworten

1. Abrufen: Betten Sie die Frage ein und finden Sie die Passagen, die der Bedeutung am ähnlichsten sind.
2. Erweitern: Fügen Sie diese Passagen in die Eingabeaufforderung ein.
3. Generieren: Das Modell schreibt eine Antwort unter Verwendung dieses Kontexts.

Für den Abruf müssen keine Vektoren verwendet werden. Dabei kann es sich um eine Stichwortsuche oder sogar eine SQL-Abfrage handeln, je nachdem, welche Informationen die richtigen Informationen für Ihre Daten finden.

Ein kleines funktionierendes Beispiel

Um die beweglichen Teile deutlich zu sehen, hier ein kleiner Retriever ohne Bibliotheken. Es stellt Text als Wortanzahl dar, ein viel einfacherer Ersatz für echte Einbettungen, und bewertet die Ähnlichkeit mithilfe des Kosinusmaßes.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Wenn Sie nach Rückerstattungen fragen, finden Sie die richtige Passage und erstellen diese Eingabeaufforderung:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

In einem vollständigen System würden Sie diese Eingabeaufforderung nun an ein Sprachmodell senden. Das wichtige Detail ist die Anweisung, zuzugeben, wenn die Antwort fehlt. Mehr dazu erfahren Sie in unserem Leitfaden zum Prompt Engineering.

Was unserem Beispiel entgeht

Versuchen Sie es nun mit einer Frage, die dasselbe bedeutet, aber unterschiedliche Wörter verwendet:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Jede Punktzahl ist Null, da die Frage mit keinem Dokument Wörter gemeinsam hat. „Geld zurück“ bedeutet Rückerstattung an einen Menschen, aber die Anzahl der Worte lässt es nicht sagen. Diese einzelne Ausgabe erklärt, warum echte Systeme Einbettungen verwenden, die so konzipiert sind, dass Texte mit ähnlicher Bedeutung mit ähnlichen Zahlen enden, auch wenn keine Wörter gemeinsam sind.

Aber gehen Sie nicht davon aus, dass Einbettungen alles lösen. Sie können mit genauen Begriffen wie Produktcodes und Fehlernummern zu kämpfen haben, mit denen die Stichwortsuche sehr gut zurechtkommt. Aus diesem Grund verwenden viele Produktionssysteme die Hybridsuche und kombinieren die beiden Ansätze.

Chunking: der Schritt, den die Leute unterschätzen

Dokumente werden in Blöcke aufgeteilt, da ganze Dateien zu lang und ungenau zum Abrufen sind. Die von Ihnen gewählte Größe erfordert einen echten Kompromiss:

Ein paar hundert Wörter mit einigen Überschneidungen zwischen den Blöcken sind ein üblicher Ausgangspunkt, aber betrachten Sie das als erste Vermutung zum Testen. Teilen Sie, wenn möglich, entlang natürlicher Grenzen, z. B. Überschriften, auf. Fügen Sie außerdem Metadaten wie Dokumenttitel, Datum und Abteilung hinzu, damit Sie Ergebnisse filtern und Quellen zitieren können.

Verbesserung des Abrufs

Wenn die Antworten schlecht sind, sind dies die Upgrades, die es am meisten wert sind, ausprobiert zu werden, ungefähr in dieser Reihenfolge:

• Bereinigen Sie die Daten. Entfernen Sie zunächst veraltete und doppelte Dokumente. Kein Algorithmus behebt widersprüchliche Quellen.
• Verwenden Sie die Hybridsuche. Kombinieren Sie bedeutungsbasierte Ergebnisse und Schlüsselwortergebnisse.
• Fügen Sie einen Re-Ranker hinzu. Rufen Sie mehr Kandidaten ab und verwenden Sie dann ein spezielles Modell, um sie nach Relevanz neu zu ordnen.
• Nach Metadaten filtern. Schränken Sie die Ergebnisse vor der Suche nach Produkt, Region oder Datum ein.
• Formulieren Sie die Abfrage neu. Verwandeln Sie eine vage Antwort wie „Was ist mit der zweiten Frage?“ in eine vollständige Frage.

RAG vs. Feinabstimmung

Sie schließen sich gegenseitig nicht aus. Unser Vergleich von RAG vs. Feinabstimmung vs. Prompt Engineering befasst sich ausführlicher mit der Auswahl.

So testen Sie ein RAG-System

RAG ist Software und erfordert Tests wie jede andere Software. Erstellen Sie eine Reihe realer Fragen sowie die erwarteten Passagen und Antworten und messen Sie dann die beiden Phasen getrennt:

Beziehen Sie auch heikle Fälle ein: Fragen, auf die es in Ihren Daten keine Antwort gibt, Fragen mit unterschiedlichen Formulierungen und Fragen mit widersprüchlichen Quellen. Führen Sie diesen Satz jedes Mal erneut aus, wenn Sie Chunking, Modelle oder Eingabeaufforderungen ändern, genau wie eine Regressionssuite. Unser Pytest-Tutorial zeigt, wie Sie viele Eingaben in einem einzigen Test ausführen.

Warum RAG-Systeme scheitern

• Die Antwort ist nicht in den Daten enthalten. Das Modell versucht möglicherweise immer noch eine, also sagen Sie ihm, wie es ablehnen soll.
• Der richtige Block wurde nicht abgerufen. Dies ist oft ein Chunking- oder Suchproblem.
• Zu viel Kontext. Irrelevante Passagen können das Modell ablenken und die Kosten erhöhen.
• Veraltete Dokumente. Eine alte Richtlinie kann genauso sicher wie die aktuelle abgerufen werden.
• Tabellen und PDFs wurden schlecht geparst. Wenn der Text durch die Extraktion durcheinander gebracht wird, wird der Abruf nie wiederhergestellt.
• Testen nur mit Demo-Fragen. Echte Benutzer formulieren die Dinge ganz anders.

Sicherheit und Berechtigungen

RAG bringt zwei Risiken mit sich, die leicht zu übersehen sind. Erstens, Zugriffskontrolle: Wenn der Index HR-Dateien enthält, darf die Frage eines Nachwuchsmitarbeiters diese nicht abrufen. Wenden Sie beim Abruf die Berechtigungen jedes Benutzers an, da die Anweisung an das Modell, Geheimnisse zu bewahren, kein zuverlässiger Schutz ist.

Zweitens, schnelle Injektion. Eine abgerufene Webseite oder ein abgerufenes Dokument könnte Text wie „Ignorieren Sie Ihre Anweisungen“ enthalten. Behandeln Sie abgerufene Inhalte als nicht vertrauenswürdige Daten, schränken Sie die Aktionen des Modells ein und verlangen Sie, dass ein Mensch sensible Inhalte genehmigt.

Fazit

RAG ist eine einfache Idee mit vielen praktischen Details: Finden Sie die richtigen Informationen und bitten Sie das Modell, sie zu verwenden. Beginnen Sie mit einem kleinen, sauberen Satz Dokumente und etwa zwanzig echten Fragen. Sorgen Sie dafür, dass der Abruf funktioniert, bevor Sie die Komplexität erhöhen, denn eine bescheidene Pipeline mit guten Daten ist in der Regel besser als eine ausgefeilte mit schlechten Daten.

Häufige Fragen

Lerne weiter