Zapytaj ogólnego asystenta AI o politykę zwrotów obowiązującą w Twojej firmie, a on może tylko zgadywać. Nigdy nie widział twoich dokumentów. RAG, skrót od generowania wspomaganego wyszukiwaniem, rozwiązuje ten problem, wyszukując odpowiednie informacje i przekazując je modelowi wraz z pytaniem.

Ten przewodnik wyjaśnia każdy etap prostym językiem, a następnie tworzy małą wersję, korzystając wyłącznie ze standardowej biblioteki Pythona. Uruchomiliśmy ten kod w Pythonie 3.13 i pokazane wyniki pochodzą z tego uruchomienia. Nie wykorzystuje modelu językowego, więc demonstruje wyszukiwanie i szybkie budowanie, więc nie testowaliśmy ostatniego kroku odpowiedzi.

Co to jest RAG?

Generowanie wspomagane wyszukiwaniem to technika łącząca etap wyszukiwania z modelem językowym. Kiedy pojawia się pytanie, system przeszukuje źródło wiedzy, dodaje najlepsze wyniki do podpowiedzi i prosi model o udzielenie odpowiedzi na podstawie tego materiału.

Pomyśl o egzaminie z otwartą książką. Uczeń z zamkniętą księgą polega na pamięci i może z pewnością błędnie pamiętać. Uczeń czytający otwartą książkę może najpierw sprawdzić właściwą stronę. RAG daje modelowi tę książkę, a także pozwala mu wskazać, z której strony korzystał.

Problem rozwiązuje RAG

Sam model językowy ma trzy ograniczenia w zastosowaniu biznesowym:

• Nie zna Twoich prywatnych danych. Twoje zasady, bilety i umowy nie były częścią jego szkolenia.
• Jego wiedza jest ograniczona. Nie może wiedzieć o cenie, którą zmieniłeś dziś rano.
• Może wymyślać odpowiedzi. Kiedy nie jest pewien, może stworzyć coś wiarygodnego, ale fałszywego.

RAG zajmuje się wszystkimi trzema i nie musisz niczego przekwalifikowywać. Zaktualizuj dokument, ponownie go zaindeksuj, a następna odpowiedź będzie mogła z niego skorzystać.

Jak działa RAG, krok po kroku

System RAG składa się z dwóch rurociągów. Jeden przygotowuje dane z wyprzedzeniem, a drugi odpowiada na każde pytanie.

Indeksowanie: przygotowanie danych

1. Wczytaj: zbieraj treści z plików PDF, wiki, baz danych lub biletów.
2. Wyczyść i podziel na części: usuń śmieci, a następnie podziel dokumenty na mniejsze fragmenty.
3. Osadzanie: konwertuje każdy fragment na listę liczb, zwaną osadzaniem, która oddaje jego znaczenie.
4. Przechowywanie: zapisywanie osadzonych elementów w indeksie z możliwością przeszukiwania, często w bazie danych wektorowych.

Zapytanie: odpowiadanie na pytanie

1. Pobierz: umieść pytanie i znajdź fragmenty o najbliższym znaczeniu.
2. Ulepszenie: wstaw te fragmenty do zachęty.
3. Generuj: model zapisuje odpowiedź, korzystając z tego kontekstu.

Wyszukiwanie nie wymaga użycia wektorów. Może to być wyszukiwanie według słów kluczowych lub nawet zapytanie SQL, w zależności od tego, które z nich znajdzie odpowiednie informacje dla Twoich danych.

Mały działający przykład

Aby wyraźnie zobaczyć ruchome części, oto mały retriever bez bibliotek. Reprezentuje tekst w postaci liczonej liczby słów, co jest znacznie prostszym odpowiednikiem prawdziwego osadzania, i ocenia podobieństwo za pomocą miary cosinus.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Pytanie o zwrot pieniędzy znajduje właściwy fragment i tworzy następujący monit:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

W kompletnym systemie wysłałbyś teraz ten monit do modelu językowego. Ważnym szczegółem jest instrukcja przyznania się do braku odpowiedzi, o czym możesz dowiedzieć się więcej w naszym przewodniku po szybkiej inżynierii.

Czego brakuje w naszym przykładzie

Teraz spróbuj zadać pytanie, które oznacza to samo, ale używa innych słów:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Każdy wynik wynosi zero, ponieważ pytanie nie ma wspólnych słów z żadnym dokumentem. „Zwrot pieniędzy” oznacza zwrot pieniędzy człowiekowi, ale nie ma tego w słowach. Ten pojedynczy wynik wyjaśnia, dlaczego w rzeczywistych systemach stosuje się osadzenia, które są zaprojektowane w taki sposób, że tekst o podobnym znaczeniu kończy się podobnymi liczbami, nawet bez wspólnych słów.

Ale nie zakładaj, że osadzanie rozwiąże wszystko. Mogą mieć trudności z dokładnymi terminami, takimi jak kody produktów i numery błędów, z którymi wyszukiwanie słów kluczowych radzi sobie bardzo dobrze. Dlatego wiele systemów produkcyjnych korzysta z wyszukiwania hybrydowego, łącząc oba podejścia.

Kawałki: krok, którego ludzie nie doceniają

Dokumenty są dzielone na fragmenty, ponieważ całe pliki są zbyt długie i nieprecyzyjne, aby je odzyskać. Wybrany rozmiar wiąże się z prawdziwym kompromisem:

Kilkaset słów z pewnym nakładaniem się fragmentów to częsty punkt wyjścia, ale traktuj to jako pierwsze przypuszczenie do przetestowania. Jeśli to możliwe, dziel wzdłuż naturalnych granic, takich jak nagłówki. Dołącz metadane, takie jak tytuł dokumentu, data i dział, aby móc filtrować wyniki i cytować źródła.

Poprawa odzyskiwania

Jeśli odpowiedzi są słabe, warto wypróbować poniższe ulepszenia, mniej więcej w następującej kolejności:

• Wyczyść dane. Najpierw usuń nieaktualne i zduplikowane dokumenty. Żaden algorytm nie naprawia sprzecznych źródeł.
• Użyj wyszukiwania hybrydowego. Łącz wyniki oparte na znaczeniu i słowa kluczowe.
• Dodaj osobę oceniającą. Pobierz więcej kandydatów, a następnie użyj specjalistycznego modelu, aby zmienić ich kolejność według trafności.
• Filtruj według metadanych. Przed wyszukiwaniem ogranicz wyniki według produktu, regionu lub daty.
• Przepisz zapytanie. Zastosuj niejasną odpowiedź typu „a co z drugim?” w kompletne pytanie.

RAG vs dostrajanie

Nie wykluczają się one wzajemnie. Nasze porównanie RAG z dostrajaniem i szybką inżynierią pokazuje, jak dokonać bardziej szczegółowego wyboru.

Jak przetestować system RAG

RAG to oprogramowanie i wymaga testów, jak każde inne oprogramowanie. Utwórz zestaw prawdziwych pytań wraz z fragmentami i odpowiedziami, których oczekujesz, a następnie zmierz oba etapy osobno:

Uwzględnij także niewygodne przypadki: pytania, na które nie ma odpowiedzi w danych, pytania zawierające inne sformułowania oraz pytania pochodzące ze sprzecznych źródeł. Uruchom ponownie ten zestaw za każdym razem, gdy zmienisz fragmentację, modele lub podpowiedzi, tak jak w przypadku zestawu regresji. Nasz samouczek dotyczący testów Pythona pokazuje, jak uruchomić wiele danych wejściowych w jednym teście.

Dlaczego systemy RAG zawodzą

• Odpowiedzi nie ma w danych. Model może nadal podjąć taką próbę, więc powiedz mu, jak odmówić.
• Nie pobrano odpowiedniego fragmentu. Często jest to problem związany z fragmentowaniem lub wyszukiwaniem.
• Zbyt dużo kontekstu. Nieistotne fragmenty mogą odwrócić uwagę modelu i podnieść koszty.
• Nieaktualne dokumenty. Starą polisę można odzyskać z taką samą pewnością, jak obecną.
• Tabele i pliki PDF zostały źle przeanalizowane. Jeśli wyodrębnienie zakłóci tekst, odzyskanie nigdy nie zostanie przywrócone.
• Testowanie tylko za pomocą pytań demonstracyjnych. Prawdziwi użytkownicy wyrażają się zupełnie inaczej.

Bezpieczeństwo i uprawnienia

RAG niesie ze sobą dwa zagrożenia, które łatwo przeoczyć. Po pierwsze, kontrola dostępu: jeśli w indeksie znajdują się pliki HR, pytanie młodszego pracownika nie może ich pobierać. Zastosuj uprawnienia każdego użytkownika podczas pobierania, ponieważ poinstruowanie modelu, aby zachowywał tajemnice, nie jest niezawodnym zabezpieczeniem.

Po drugie, szybki zastrzyk. Pobrana strona internetowa lub dokument może zawierać tekst taki jak „zignoruj ​​instrukcje”. Traktuj pobrane treści jako niezaufane dane, ograniczaj działania, jakie może podjąć model i wymagaj zatwierdzenia przez człowieka wrażliwych danych.

Podsumowanie

RAG to prosty pomysł z dużą ilością praktycznych szczegółów: znajdź odpowiednie informacje, a następnie poproś modelkę, aby z nich skorzystała. Zacznij od małego, przejrzystego zestawu dokumentów i około dwudziestu prawdziwych pytań. Spraw, aby pobieranie działało dobrze, zanim zwiększysz złożoność, ponieważ skromny potok z dobrymi danymi zwykle pokonuje wyrafinowany potok ze złymi danymi.

Najczęstsze pytania

Ucz się dalej