Tools, die chatten, zusammenfassen und Code schreiben, wirken fast magisch, bis man den Mechanismus darunter sieht. Ein großes Sprachmodell oder LLM ist im Kern ein sehr ausgefeiltes System zur Vorhersage des nächsten Textstücks. Diese eine Idee erklärt sowohl, was diese Tools gut machen, als auch, warum sie auf die Art und Weise, wie sie funktionieren, versagen.

Dieser Leitfaden erklärt die Hauptkonzepte ohne jegliche Mathematik und erstellt dann einen kleinen Prädiktor für das nächste Wort, um die Idee zu konkretisieren. Wir haben diesen Code auf Python 3.13 ausgeführt und die Ausgabe stammt von diesem Lauf. Es handelt sich eher um ein einfaches Zählspielzeug als um ein neuronales Netzwerk, und echte LLMs sind weitaus leistungsfähiger. Wir vermeiden es auch, Zahlen für bestimmte Modelle anzugeben, da diese sich schnell ändern können.

Was ist ein großes Sprachmodell?

Ein LLM ist eine Art künstlicher Intelligenz, die darauf trainiert ist, menschliche Sprache zu verstehen und zu erzeugen. Nehmen wir den Namen Wort für Wort:

• Groß: Es verfügt über eine große Anzahl einstellbarer interner Werte, sogenannte Parameter, und es lernt aus einer enormen Textmenge.
• Sprache: Es funktioniert mit Text, einschließlich natürlicher Sprache und Code.
• Modell: Es handelt sich um ein mathematisches System, das Muster aus Daten erfasst und diese verwendet, um Vorhersagen zu treffen.

Modelle sind der Motor und Produkte wie Chat-Assistenten sind das um sie herum gebaute Auto. Ein Produkt fügt häufig eine Benutzeroberfläche, Sicherheitssysteme, eine Suche und andere Tools hinzu.

Die Kernidee: vorhersagen, was als nächstes kommt

Das machen Sie selbst. Wenn Sie „die Hauptstadt Frankreichs“ lesen, kommt Ihnen sofort „Paris“ in den Sinn. Ein LLM leistet etwas Vergleichbares, allerdings in einem viel größeren Maßstab. Bei gegebenem Text berechnet es die Wahrscheinlichkeit jedes möglichen nächsten Tokens, wählt eines aus, fügt es dem Text hinzu und wiederholt es.

Es gibt keine Datenbank mit gespeicherten Antworten, die nachgeschlagen werden. Das Modell speichert während des Trainings gelernte Muster in Form von Zahlen. Wenn diese Muster mit der Wahrheit übereinstimmen, erhalten Sie eine richtige Antwort. Auch wenn dies nicht der Fall ist, können Sie immer noch eine fließende Antwort erhalten, und das ist ein wichtiger Unterschied zu einer Suchmaschine.

Eine kleine funktionierende Demo

Um die Vorhersage des nächsten Tokens in ihrer einfachsten Form zu sehen, zählt dieses Skript, welches Wort in einem kleinen Text auf welches folgt. Anschließend wird aus diesen Zählungen neuer Text generiert. Statistiker nennen dies ein Bigramm-Modell.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Diese Ausgabe ist eine Wahrscheinlichkeitsverteilung. Nach „the“ hält das Modell „cat“ und „dog“ für am wahrscheinlichsten. Jetzt generieren wir Text, indem wir wiederholt Stichproben aus diesen Wahrscheinlichkeiten ziehen:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Beachten Sie drei Dinge. Der gleiche Start kann zu unterschiedlichem Text führen, da die Auswahl zufällig ist. Die Ausgabe ähnelt den Trainingsdaten, selbst für Sequenzen, die nie darin enthalten waren. Und es hat überhaupt kein Verständnis, weshalb sich „der Teppich … die Katze“ wie Unsinn liest.

Fragen Sie es nach einem Wort, das es noch nie gesehen hat, und es hat nichts zu bieten: follows["elephant"] ist leer. Unser Spielzeug betrachtet nur ein vorheriges Wort. Der enorme Fortschritt bei realen LLMs ergibt sich aus der Berücksichtigung langer Kontextabschnitte und dem Lernen aus weitaus mehr Daten mithilfe eines neuronalen Netzwerks statt einer einfachen Zählung.

Token: wie ein Modell liest

LLMs lesen nicht wie wir ganze Wörter. Der Text wird zunächst in Tokens aufgeteilt, bei denen es sich um ein Wort, einen Wortteil oder ein Satzzeichen handeln kann. Jeder Token ist einer Zahl zugeordnet, und das Modell arbeitet ausschließlich mit Zahlen.

Token sind in der Praxis aus zwei Gründen wichtig. Die Nutzung gehosteter Modelle wird in der Regel in Token abgerechnet und jedes Modell hat eine Begrenzung, wie viele es gleichzeitig verarbeiten kann. Die Tokenisierung erklärt auch einige berühmte seltsame Verhaltensweisen. Da Modelle eher Brocken als Buchstaben sehen, waren Aufgaben wie das Zählen der Buchstaben in einem Wort für sie traditionell überraschend schwierig.

Einbettungen: Bedeutung als Zahlen

Jeder Token wird in eine Einbettung umgewandelt, eine lange Liste von Zahlen, die ihn in eine Art Bedeutungsraum platziert. Verwandte Konzepte liegen nahe beieinander, sodass „Katze“ und „Kätzchen“ nahe beieinander liegen, während dies bei „Katze“ und „Rechnung“ nicht der Fall ist.

Die gleiche Idee basiert auf der semantischen Suche, bei der Sie Dokumente anhand ihrer Bedeutung und nicht anhand exakter Wörter finden. Unser Vektordatenbank-Leitfaden behandelt diese Verwendung.

Achtung und der Transformator

Die meisten modernen LLMs basieren auf der Transformer-Architektur, die von Google-Forschern in der Arbeit „Attention Is All You Need“ aus dem Jahr 2017 vorgestellt wurde. Sein Schlüsselmechanismus ist Selbstaufmerksamkeit.

Denken Sie an diesen Satz: „Der Pokal passte nicht in den Koffer, weil er zu groß war.“ Worauf bezieht sich „es“? Du weißt, dass es die Trophäe bedeutet. Mithilfe von Attention kann ein Modell jedes frühere Token gewichten, wenn es jedes neue verarbeitet, sodass es „es“ mit den relevantesten Wörtern verknüpfen kann, auch wenn diese weit voneinander entfernt sind.

Frühere Ansätze verarbeiteten Text Schritt für Schritt und neigten dazu, entfernte Wörter aus den Augen zu verlieren. Transformer betrachten den Kontext gemeinsam und können einen Großteil dieser Arbeit parallel auf spezieller Hardware ausführen, was das Training für solch große Textmengen praktisch macht.

Wie ein LLM ausgebildet wird

Durch das Vortraining erhält ein Modell umfassende Sprachkenntnisse, es kann jedoch sein, dass es Ihren Text nur fortsetzt, anstatt ihn zu beantworten. Die späteren Phasen formen es zu einem nützlichen Assistenten. Das Training großer Modelle erfordert erhebliche Rechenleistung und ist teuer. Die Verwendung eines fertigen Modells, bekannt als Inferenz, ist pro Anfrage weitaus günstiger.

Wie es Text generiert

1. Ihre Eingabeaufforderung wird in Token aufgeteilt und in Einbettungen umgewandelt.
2. Das Netzwerk verarbeitet sie und nutzt die Aufmerksamkeit, um sie miteinander in Beziehung zu setzen.
3. Es gibt eine Wahrscheinlichkeit für jeden möglichen nächsten Token aus.
4. Ein Token wird ausgewählt und dem Kontext hinzugefügt.
5. Die Schritte 2 bis 4 werden wiederholt, bis ein Stoppzustand erreicht ist.

Aus diesem Grund erscheinen Antworten beim Streamen normalerweise Wort für Wort. Der Text wird buchstäblich der Reihe nach produziert. Die Temperatur steuert, wie abenteuerlich Schritt 4 ist: Niedrige Werte begünstigen die wahrscheinlichsten Token, während höhere Werte mehr Vielfalt ermöglichen.

Bedingungen, die Sie treffen werden

Einschränkungen, die Sie kennen sollten

• Halluzinationen. Ein Modell kann Fakten, Zitate oder Codefunktionen erfinden. Da es sich um einen wahrscheinlichen Text handelt, können falsche Aussagen völlig plausibel erscheinen.
• Wissensgrenze. Sofern ein Produkt es nicht mit der Suche oder anderen Tools verbindet, weiß es möglicherweise nichts über aktuelle Ereignisse.
• Eingeschränkter Kontext. Wenn eine Konversation über das Kontextfenster hinausgeht, können frühere Details gelöscht oder zusammengefasst werden. Models erinnern sich auch nicht automatisch an vergangene Chats, es sei denn, ein Produkt fügt diese Funktion hinzu.
• Voreingenommenheit. Trainingsdaten spiegeln menschliche Vorurteile wider, und diese können in der Ausgabe auftauchen.
• Inkonsistenz. Die gleiche Frage kann zu unterschiedlichen Antworten führen, was wichtig ist, wenn Sie Software darauf aufbauen.
• Sicherheitsrisiken. Versteckte Anweisungen im Text können ein Modell manipulieren, ein Problem, das als Prompt-Injection bekannt ist.

LLMs gut nutzen

Behandeln Sie einen LLM als einen schnellen, fähigen Assistenten, dessen Arbeit überprüft werden muss. Ein paar Gewohnheiten machen einen großen Unterschied:

• Seien Sie konkret. Klare Anweisungen, Kontext und Beispiele führen zu besseren Ergebnissen. Unser Leitfaden zum Prompt Engineering zeigt, wie.
• Liefern Sie die Fakten. Wenn Antworten aus Ihren eigenen Dokumenten stammen müssen, verwenden Sie RAG, anstatt sich auf das Gedächtnis zu verlassen.
• Überprüfen Sie, worauf es ankommt. Vergleichen Sie Zahlen, Zitate und rechtliche oder medizinische Ansprüche mit zuverlässigen Quellen.
• Generierten Code testen. Führen Sie ihn aus und schreiben Sie Tests dafür, so wie Sie es für den eines Kollegen tun würden. Unser AI-Code-Überprüfungstools-Leitfaden bietet einige Hilfestellungen.
• Schützen Sie sensible Daten. Überprüfen Sie die Regeln Ihrer Organisation, bevor Sie vertrauliche Informationen mit einem gehosteten Tool teilen.

Wenn Sie entscheiden, wie Sie ein Modell für Ihre eigene Arbeit anpassen möchten, hilft Ihnen unser Vergleich von RAG vs. Feinabstimmung vs. Prompt Engineering bei der Auswahl.

Fazit

Ein LLM ist ein Next-Token-Prädiktor, der in außergewöhnlichem Umfang trainiert wird und nützlicher und fehlbarer ist, als diese Beschreibung vermuten lässt. Wenn Sie den Mechanismus im Hinterkopf behalten, können Sie ihn gut nutzen: Er ist stark in Sprache und Mustern und erfordert Ihre Aufsicht über Fakten. Um es konkreter zu machen, führen Sie das obige kleine Skript mit Ihrem eigenen Text aus, probieren Sie dann dieselbe Eingabeaufforderung mehrmals in einem echten Assistenten aus und vergleichen Sie die Antworten.

Häufige Fragen

Lerne weiter