Narzędzia, które czatują, podsumowują i piszą kod, wydają się niemal magiczne, dopóki nie zobaczysz mechanizmu znajdującego się pod spodem. Model dużego języka, czyli LLM, to w istocie bardzo wyrafinowany system przewidywania następnego fragmentu tekstu. Ta jedna koncepcja wyjaśnia zarówno to, co te narzędzia sprawdzają się dobrze, jak i to, dlaczego zawodzą.

W tym przewodniku objaśniono główne koncepcje bez użycia matematyki, a następnie opracowano niewielki predyktor następnego słowa, dzięki któremu koncepcja stała się konkretna. Uruchomiliśmy ten kod w Pythonie 3.13 i wynik pochodzi z tego uruchomienia. Jest to prosta zabawka do liczenia, a nie sieć neuronowa, a prawdziwe LLM mają znacznie większe możliwości. Unikamy także podawania liczb dla konkretnych modeli, bo one szybko się zmieniają.

Co to jest model dużego języka?

LLM to rodzaj sztucznej inteligencji wyszkolonej do rozumienia i generowania ludzkiego języka. Rozważmy nazwę po słowie:

• Duży: ma ogromną liczbę regulowanych wartości wewnętrznych, zwanych parametrami, i uczy się z ogromnej ilości tekstu.
• Język: działa z tekstem, w tym z językiem naturalnym i kodem.
• Model: to system matematyczny, który wychwytuje wzorce z danych i wykorzystuje je do przewidywania.

Modele to silnik, a produkty takie jak asystenci czatu to samochód zbudowany wokół nich. Produkt często dodaje interfejs użytkownika, systemy bezpieczeństwa, wyszukiwanie i inne narzędzia.

Podstawowa idea: przewidywanie tego, co będzie dalej

Robisz to sam. Jeśli czytasz „stolica Francji”, w Twojej głowie od razu pojawia się „Paryż”. LLM robi coś porównywalnego, ale na znacznie większą skalę. Mając jakiś tekst, oblicza prawdopodobieństwo każdego kolejnego tokenu, wybiera jeden, dodaje go do tekstu i powtarza.

Nie ma bazy danych zawierających przechowywane odpowiedzi. Model przechowuje wzorce wyuczone podczas treningu w postaci liczb. Kiedy te wzorce pokrywają się z prawdą, otrzymasz poprawną odpowiedź. Jeśli tak się nie stanie, nadal możesz uzyskać płynną odpowiedź, a to istotna różnica w porównaniu z wyszukiwarką.

Małe działające demo

Aby zobaczyć przewidywanie następnego tokenu w najprostszej formie, ten skrypt zlicza, które słowo następuje po którym, w drobnym tekście. Następnie generuje nowy tekst na podstawie tych liczników. Statystycy nazywają to modelem bigramu.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Wynik ten jest rozkładem prawdopodobieństwa. Po „the” model najprawdopodobniej bierze pod uwagę „kota” i „psa”. Teraz generujemy tekst poprzez wielokrotne próbkowanie na podstawie tych prawdopodobieństw:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Zwróć uwagę na trzy rzeczy. Ten sam początek może dać inny tekst, ponieważ wybór jest losowy. Dane wyjściowe przypominają dane szkoleniowe, nawet w przypadku sekwencji, które nigdy się w nich nie pojawiły. I w ogóle nie ma zrozumienia, dlatego „dywan. kot” brzmi jak nonsens.

Zapytaj go o słowo, którego nigdy nie widział, a nie ma nic do zaoferowania: follows["elephant"] jest puste. Nasza zabawka sprawdza tylko jedno poprzednie słowo. Ogromny skok w rzeczywistych LLM wynika z uwzględnienia długich odcinków kontekstu i uczenia się na znacznie większej liczbie danych przy użyciu sieci neuronowej, a nie prostego liczenia.

Tokeny: jak czyta model

LLM nie czytają całych słów tak jak my. Tekst jest najpierw dzielony na tokeny, którymi może być słowo, część słowa lub znak interpunkcyjny. Każdy token jest odwzorowywany na liczbę, a model działa wyłącznie na liczbach.

Tokeny mają znaczenie w praktyce z dwóch powodów. Korzystanie z hostowanych modeli jest zwykle wyceniane za pomocą tokenów, a każdy model ma ograniczenie liczby, które może obsłużyć jednocześnie. Tokenizacja wyjaśnia również pewne słynne dziwne zachowanie. Ponieważ modele widzą raczej kawałki niż litery, zadania takie jak liczenie liter w słowie tradycyjnie były dla nich zaskakująco trudne.

Osadzenia: znaczenie jako liczby

Każdy token zamienia się w osadzoną, długą listę liczb, która umieszcza go w pewnego rodzaju przestrzeni znaczeń. Powiązane pojęcia są blisko siebie, więc „kot” i „kotek” zajmują bliskie pozycje, podczas gdy „kot” i „faktura” nie.

Ta sama idea leży u podstaw wyszukiwania semantycznego, w którym dokumenty można znaleźć na podstawie znaczenia, a nie dokładnych słów. Nasz przewodnik po bazach danych wektorów opisuje to zastosowanie.

Uwaga i transformator

Większość nowoczesnych LLM opiera się na architekturze transformatora, wprowadzonej przez badaczy Google w artykule z 2017 r. „Attention Is All You Need”. Jego kluczowym mechanizmem jest samouwaga.

Rozważmy takie zdanie: „Trofeum nie zmieściło się do walizki, bo było za duże”. Do czego odnosi się „to”? Wiesz, że to oznacza trofeum. Uwaga pozwala modelowi zważyć każdy wcześniejszy token podczas przetwarzania każdego nowego, dzięki czemu może powiązać „go” z najbardziej odpowiednimi słowami, nawet jeśli są one daleko od siebie.

Wcześniejsze podejścia przetwarzały tekst krok po kroku i miały tendencję do utraty kontroli nad odległymi słowami. Transformatory wspólnie analizują kontekst i większość tych prac mogą wykonywać równolegle na specjalistycznym sprzęcie, co sprawia, że ​​szkolenie na tak dużej ilości tekstu jest praktyczne.

Jak szkoli się LLM

Trening wstępny daje modelowi szerokie umiejętności językowe, ale może po prostu kontynuować tekst, a nie odpowiadać na niego. Późniejsze etapy przekształcają go w przydatnego asystenta. Szkolenie dużych modeli wymaga znacznej mocy obliczeniowej i jest kosztowne. Korzystanie z gotowego modelu, znanego jako wnioskowanie, jest znacznie tańsze w przeliczeniu na żądanie.

Jak generuje tekst

1. Twój monit jest dzielony na tokeny i konwertowany na osadzanie.
2. Sieć je przetwarza, wykorzystując uwagę do powiązania ich ze sobą.
3. Podaje prawdopodobieństwo dla każdego możliwego następnego żetonu.
4. Wybierany jest jeden token i dodawany do kontekstu.
5. Kroki od 2 do 4 powtarzaj aż do osiągnięcia warunku zatrzymania.

Dlatego podczas transmisji strumieniowej odpowiedzi zazwyczaj pojawiają się słowo po słowie. Tekst powstaje dosłownie po kolei. Temperatura kontroluje stopień przygód w kroku 4: niskie wartości faworyzują najbardziej prawdopodobne żetony, podczas gdy wyższe wartości pozwalają na większą różnorodność.

Warunki, które spełnisz

Ograniczenia, które powinieneś znać

• Halucynacje. Modelka może wymyślać fakty, cytaty lub kodować funkcje. Ponieważ generuje prawdopodobny tekst, fałszywe stwierdzenia mogą wyglądać całkowicie wiarygodnie.
• Brak wiedzy. Jeśli produkt nie połączy go z wyszukiwarką lub innymi narzędziami, może nie wiedzieć o ostatnich wydarzeniach.
• Ograniczony kontekst. Jeśli rozmowa wykracza poza okno kontekstowe, wcześniejsze szczegóły mogą zostać pominięte lub podsumowane. Modelki również nie zapamiętują automatycznie przeszłych czatów, chyba że produkt dodaje taką funkcję.
• Odchylenie. Dane szkoleniowe odzwierciedlają ludzkie uprzedzenia, które mogą pojawić się w wynikach.
• Niespójność. To samo pytanie może dać różne odpowiedzi, co ma znaczenie, gdy tworzysz oprogramowanie na podstawie jednego.
• Zagrożenia bezpieczeństwa. Ukryte instrukcje w tekście mogą manipulować modelem, co jest problemem znanym jako natychmiastowe wstrzykiwanie.

Dobrze korzystaj z LLM

Traktuj LLM jako szybkiego, zdolnego asystenta, którego praca wymaga przeglądu. Kilka nawyków robi dużą różnicę:

• Wyrażaj się konkretnie. Jasne instrukcje, kontekst i przykłady dają lepsze wyniki. Nasz przewodnik po szybkiej inżynierii pokazuje, jak to zrobić.
• Podaj fakty. Jeśli odpowiedzi muszą pochodzić z twoich własnych dokumentów, użyj RAG zamiast polegać na pamięci.
• Sprawdź, co jest istotne. Sprawdź liczby, cytaty i twierdzenia prawne lub medyczne w oparciu o wiarygodne źródła.
• Przetestuj wygenerowany kod. Uruchom go i napisz dla niego testy, tak jak zrobiłbyś to dla kolegi. W naszym przewodniku narzędziach do przeglądu kodu AI znajdziesz pewną pomoc.
• Chroń wrażliwe dane. Przed udostępnieniem poufnych informacji za pomocą hostowanego narzędzia sprawdź zasady obowiązujące w Twojej organizacji.

Jeśli decydujesz, jak dostosować model do własnych potrzeb, nasze porównanie RAG z dostrajaniem i szybką inżynierią pomoże Ci w wyborze.

Podsumowanie

LLM to predyktor następnego tokenu wyszkolony na niezwykłą skalę, który jest bardziej użyteczny i bardziej omylny, niż sugeruje ten opis. Pamiętanie o mechanizmie pomoże ci dobrze go używać: jest mocny w języku i wzorach i wymaga twojego nadzoru nad faktami. Aby było to konkretne, uruchom powyższy mały skrypt z własnym tekstem, a następnie wypróbuj ten sam monit kilka razy w prawdziwym asystencie i porównaj odpowiedzi.

Najczęstsze pytania

Ucz się dalej