Wyszukaj hasło „jak odzyskać pieniądze”, a dobry system powinien znaleźć stronę zatytułowaną „Zasady zwrotów”, mimo że w obu przypadkach nie ma żadnych ważnych słów. Możliwość ta wynika z osadzania, jednego z najbardziej przydatnych pomysłów współczesnej sztucznej inteligencji.

W tym przewodniku wyjaśniono osadzanie bez skomplikowanej matematyki. Uruchomiliśmy mały przykład w Pythonie 3.13, a jego wynik pokazano poniżej. Zawarte w nim wektory to te, które utworzyliśmy ręcznie i zawierają tylko trzy liczby każdy, aby ułatwić zrozumienie pomysłu. Prawdziwe osadzania pochodzą z wyszkolonego modelu i często mają setki lub tysiące liczb.

Co to jest osadzanie?

Osadzanie to reprezentacja czegoś w postaci listy liczb, zwanej wektorem. Model jest szkolony w taki sposób, aby elementy o powiązanych znaczeniach otrzymywały wektory znajdujące się blisko siebie.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Gdy tekst ma tę formę, komputer może obliczyć, jak podobne są dwa fragmenty tekstu, czego nie jest w stanie zrobić bezpośrednio za pomocą słów. Osadzanie nie ogranicza się również do słów. Można osadzać zdania, całe dokumenty, obrazy, pliki audio i produkty.

Dlaczego nie po prostu dopasować słowa kluczowe?

Nasz przewodnik po RAG pokazuje to w praktyce. Proste wyszukiwanie słów uzyskało zero punktów dla pytania „Kiedy mogę odzyskać pieniądze?” przeciwko dokumentowi zwrotu kosztów, ponieważ nie podzielili się żadnymi słowami. Zwróć także uwagę na trzeci wiersz: dokładne identyfikatory są słabą stroną osadzania, więc wyszukiwanie słów kluczowych nadal ma swoje miejsce.

Pomyśl o mapie

Wyobraź sobie, że umieszczasz każde słowo na ogromnej mapie, gdzie lokalizacja odzwierciedla znaczenie. „Kot” i „kotek” siedzą prawie obok siebie, „pies” jest w tej samej okolicy, a „faktura” jest w innym mieście. Aby znaleźć powiązane słowa, po prostu rozejrzyj się w pobliżu.

Prawdziwe osadzanie działa w ten sam sposób, z tą różnicą, że mapa ma setki wymiarów, a nie dwa. Ludzie nie są w stanie sobie tego wyobrazić, ale matematyka działa tak samo. Poszczególne liczby na ogół nie mają żadnego schludnego znaczenia, takiego jak „futrzastość”. Liczy się ogólna pozycja.

Mały działający przykład

Oto jak porównać nasze ręcznie wykonane wektory:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

W porównaniu z „kotem” najwyższy wynik osiąga „kotek”, następny „pies”, a „faktura” znacznie niżej. Wybraliśmy te wektory, aby utworzyć ten wzór, więc ranking nie dowodzi niczego na temat prawdziwego języka. Pokazuje tylko, jak zachowuje się obliczenie. Wyszukiwanie semantyczne robi to samo w trzech krokach: osadza zapytanie, ocenia je względem każdego przechowywanego elementu i sortuje.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Wyjaśnienie podobieństwa cosinusa

Każdy wektor można traktować jako strzałkę skierowaną od początku. Podobieństwo cosinusowe mierzy kąt między dwiema strzałkami, ignorując ich długość. Potwierdziliśmy kluczowe wartości:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Spójrz na pierwszą linię. [2, 4, 6] jest dwa razy dłuższy niż [1, 2, 3], ale wynik to doskonały wynik 1,0, ponieważ liczy się tylko kierunek. Jest to przydatne w przypadku tekstu, gdzie długość może odzwierciedlać takie rzeczy, jak rozmiar dokumentu, a nie znaczenie. Uważaj też na progi. Nie ma uniwersalnego wyniku, który oznaczałby „podobny”, ponieważ przydatne zakresy różnią się w zależności od modelu, więc testuj na własnych danych.

Inne pomiary odległości

Różnicę łatwo zauważyć. Te same dwa wektory z cosinusem 1,0 mają odległość euklidesową 3,742, ponieważ jeden jest dłuższy od drugiego. Wiele systemów normalizuje wektory, skalując każdy do długości 1. Następnie iloczyn skalarny i cosinus dają tę samą odpowiedź, co potwierdziliśmy: oba dały 0,955 dla „kota” i „psa”. Sprawdź dokumentację swojego modelu, aby zobaczyć, jaki środek jest zalecany.

Jak uczymy się osadzania

W rzeczywistych systemach nikt nie przypisuje tych numerów ręcznie. Sieć neuronowa uczy się ich podczas treningu. Wczesnym i wpływowym pomysłem jest to, że słowa pojawiające się w podobnych kontekstach mają zwykle podobne znaczenie, jak w przypadku „nakarmiłem mojego kota” i „nakarmiłem mojego psa”. Modele takie jak Word2Vec i GloVe nauczyły się wektorów słów z tych wzorców.

Później modele oparte na transformatorach, takie jak BERT, umożliwiły osadzanie kontekstowe, więc „bank” mógł uzyskać inny wektor w „brzegu rzeki” i „pożyczce bankowej”. Wiele nowoczesnych modeli osadza całe zdania lub fragmenty na raz. Nasz przewodnik po dużych modelach językowych wyjaśnia, jak transformatory radzą sobie z kontekstem.

Gdzie używane są osady

Wyszukiwanie na dużą skalę

W naszym przykładzie porównaliśmy zapytanie z każdym elementem, co nazywamy wyszukiwaniem ścisłym. Działa to dobrze w przypadku tysięcy elementów, ale staje się powolne w przypadku wielu milionów. Rozwiązują ten problem indeksy Przybliżonego najbliższego sąsiada (ANN), takie jak HNSW. Szybko znajdują bardzo bliskie dopasowania, rezygnując z niewielkiej szansy na przegapienie absolutnie najlepszego.

Wektorowe bazy danych i rozszerzenia, takie jak pgvector dla PostgreSQL, udostępniają te indeksy wraz z filtrowaniem i przechowywaniem. W naszym przewodniku po bazach danych wektorów omówiono dostępne opcje. W przypadku małego projektu możesz go w ogóle nie potrzebować, a wyszukiwanie w pamięci jest doskonałym sposobem na rozpoczęcie.

Wybór modelu osadzania

• Język. Jeśli Twoje treści są na przykład w języku hindi lub tamilskim, sprawdź, czy model dobrze je obsługuje.
• Domena. Modele ogólne mogą mieć trudności ze specjalistycznymi terminami prawnymi lub medycznymi.
• Wymiary. Więcej wymiarów pozwala uchwycić więcej szczegółów, ale kosztuje więcej miejsca i pamięci.
• Koszt i hosting. Porównaj hostowany interfejs API z otwartym modelem, który możesz uruchomić samodzielnie, zwłaszcza w przypadku prywatnych danych.
• Długość wejściowa. Modele mają ograniczenia, dlatego długie dokumenty należy najpierw podzielić na części.

Najlepszym testem są Twoje własne dane. Zbierz około 20 prawdziwych zapytań wraz z dokumentami, które powinny znaleźć, i porównaj sposób, w jaki każdy model je ocenia. Opublikowane testy porównawcze mogą nie odzwierciedlać Twojej zawartości.

Ograniczenia

• Blokada modelu. Nie można porównywać wektorów z różnych modeli. Jeśli zmienisz modele, musisz osadzić wszystko ponownie.
• Dokładne terminy. Dopasowanie identyfikatorów, kodów i rzadkich nazw może nie być wiarygodne.
• Negacja. „Zwroty dozwolone” i „Zwroty niedozwolone” mogą znaleźć się blisko siebie, mimo że mają przeciwne znaczenie.
• Podobny nie znaczy poprawny. Bliskie dopasowanie może być nieaktualne lub po prostu błędne.
• Odchylenie. Osadzania mogą absorbować stereotypy z danych szkoleniowych.
• Cosinus nie jest magią. Badacze kwestionują jego znaczenie w przypadku niektórych wyuczonych osadzania, dlatego traktuj wyniki jako użyteczny sygnał, a nie jako miarę prawdy.

Typowe błędy

• Mieszanie modeli. Osadzaj zapytania i dokumenty z tym samym modelem i wersją.
• Używanie wszędzie jednego progu podobieństwa. Dostosuj go do każdego modelu i zadania.
• Osadzanie dużych dokumentów w całości. Znaczenie ulega rozmyciu, więc najpierw podziel je na kawałki.
• Pomijanie oceny. Bez zapytań testowych nie można stwierdzić, czy zmiana pomogła.
• Używanie osadzania do wszystkiego. Jeśli użytkownicy wyszukują dokładne identyfikatory, lepszy jest normalny indeks bazy danych.

Podsumowanie

Osadzanie zamienia znaczenie w liczby, dzięki czemu oprogramowanie może porównywać pomysły, a nie ciągi znaków. Koncepcja jest prosta, natomiast praktyczna praca polega na wyborze modelu, porcjowaniu danych i testowaniu na rzeczywistych zapytaniach. Aby spróbować sam, osadzić kilkadziesiąt własnych dokumentów z dowolnym modelem osadzania, przeszukać je prawdziwymi pytaniami i zobaczyć, gdzie wyniki Cię zaskoczą.

Najczęstsze pytania

Ucz się dalej