Инструменты, которые общаются, обобщают и пишут код, кажутся почти волшебными, пока вы не увидите механизм, скрытый за ними. большая языковая модель, или LLM, по своей сути представляет собой очень сложную систему прогнозирования следующего фрагмента текста. Одна эта идея объясняет, в чем эти инструменты хороши, и почему они терпят неудачу.

В этом руководстве объясняются основные понятия без каких-либо математических вычислений, а затем создается крошечный предсказатель следующего слова, чтобы конкретизировать идею. Мы запустили этот код на Python 3.13, и в результате этого запуска были получены выходные данные. Это простая счетная игрушка, а не нейронная сеть, а настоящие LLM гораздо более способны. Мы также избегаем приводить цифры по конкретным моделям, поскольку они быстро меняются.

Что такое большая языковая модель?

LLM — это тип искусственного интеллекта, обученный понимать и генерировать человеческий язык. Разберем название по одному слову:

• Большой: он имеет огромное количество настраиваемых внутренних значений, называемых параметрами, и обучается на огромном объеме текста.
• Язык: работает с текстом, включая естественный язык и код.
• Модель: это математическая система, которая извлекает закономерности из данных и использует их для прогнозирования.

Модели — это двигатель, а такие продукты, как чат-ассистенты, — это машина, построенная на их основе. В продукт часто добавляют пользовательский интерфейс, системы безопасности, поиск и другие инструменты.

Основная идея: предсказать, что будет дальше

Вы делаете это сами. Если вы читаете «столица Франции», ваш ум сразу же предлагает «Париж». LLM делает нечто похожее, но в гораздо большем масштабе. Учитывая некоторый текст, он вычисляет, насколько вероятен каждый возможный следующий токен, выбирает один, добавляет его в текст и повторяет.

База данных сохраненных ответов не ищется. Модель хранит закономерности, изученные во время обучения, в виде чисел. Когда эти закономерности совпадают с истиной, вы получаете правильный ответ. Даже если это не так, вы все равно можете получить беглый ответ, и это важное отличие от поисковой системы.

Крошечная рабочая демо-версия

Чтобы увидеть предсказание следующего токена в простейшей форме, этот скрипт подсчитывает, какое слово следует за каким в крошечном тексте. Затем он генерирует новый текст на основе этих значений. Статистики называют это моделью биграммы.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Этот результат представляет собой распределение вероятностей. После «the» модель, скорее всего, рассматривает «кошку» и «собаку». Теперь мы генерируем текст путем многократной выборки из этих вероятностей:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Обратите внимание на три вещи. Один и тот же старт может давать разный текст, поскольку выбор случайный. Выходные данные напоминают обучающие данные, даже для последовательностей, которые никогда в них не появлялись. И понимания у него вообще нет, поэтому «коврик. кот» читается как брехня.

Спросите его о слове, которого он никогда не видел, и ему нечего предложить: follows["elephant"] пусто. Наша игрушка смотрит только на одно предыдущее слово. Огромный скачок в реальных программах LLM происходит благодаря рассмотрению длинных отрезков контекста и обучению на гораздо большем количестве данных с использованием нейронной сети, а не простого подсчета.

Токены: как читается модель

LLM не читают целые слова, как мы. Текст сначала разбивается на лексемы, которыми может быть слово, часть слова или знак препинания. Каждый токен соответствует числу, и модель полностью работает с числами.

Токены имеют значение на практике по двум причинам. Использование размещенных моделей обычно оценивается в токенах, и каждая модель имеет ограничение на количество одновременно обрабатываемых моделей. Токенизация также объясняет некоторые известные странности поведения. Поскольку модели видят фрагменты, а не буквы, такие задачи, как подсчет букв в слове, традиционно оказывались для них на удивление трудными.

Вложения: значение в виде чисел

Каждый токен превращается в вложение, длинный список чисел, который помещает его в своего рода смысловое пространство. Связанные понятия оказываются близко друг к другу, поэтому «кот» и «котенок» занимают соседние позиции, а «кошка» и «счет» — нет.

Та же идея лежит в основе семантического поиска, при котором вы находите документы по значению, а не по точным словам. Наше руководство по векторным базам данных описывает это использование.

Внимание и трансформатор

Большинство современных LLM основаны на архитектуре трансформатора, представленной исследователями Google в статье 2017 года «Внимание — это все, что вам нужно». Его ключевой механизм — самообслуживание.

Рассмотрим такое предложение: «Трофей не поместился в чемодан, потому что был слишком большим». Что означает «оно»? Вы знаете, это означает трофей. Внимание позволяет модели взвешивать каждый предыдущий токен при обработке каждого нового, поэтому она может связать «его» с наиболее релевантными словами, даже если они находятся далеко друг от друга.

Более ранние подходы обрабатывали текст шаг за шагом и имели тенденцию терять след отдаленных слов. Трансформаторы вместе просматривают контекст и могут выполнять большую часть этой работы параллельно на специализированном оборудовании, что делает обучение на таких больших объемах текста практичным.

Как обучают LLM

Предварительное обучение дает модели широкие языковые способности, но она может просто продолжить ваш текст, а не ответить на него. Более поздние стадии превращают его в полезного помощника. Обучение больших моделей требует значительных вычислительных мощностей и стоит дорого. Использование готовой модели, известной как вывод, обходится гораздо дешевле в расчете на один запрос.

Как он генерирует текст

1. Ваше приглашение разбивается на токены и преобразуется во встраивания.
2. Сеть обрабатывает их, используя внимание, чтобы связать их друг с другом.
3. Он выводит вероятность для каждого возможного следующего токена.
4. Один токен выбирается и добавляется в контекст.
5. Шаги 2–4 повторяются до тех пор, пока не будет достигнута остановка.

Вот почему ответы обычно появляются слово за словом при потоковой передаче. Текст буквально создается последовательно. Температура определяет, насколько смелым будет шаг 4: низкие значения отдают предпочтение наиболее вероятным токенам, а более высокие значения обеспечивают большее разнообразие.

Условия, с которыми вы встретитесь

Ограничения, которые вы должны знать

• Галлюцинации. Модель может придумывать факты, цитаты или кодировать функции. Поскольку ложные утверждения создают правдоподобный текст, они могут выглядеть вполне правдоподобными.
• Ограничение знаний. Если продукт не подключает его к поиску или другим инструментам, он может не знать о недавних событиях.
• Ограниченный контекст. Если разговор выходит за рамки контекстного окна, более ранние подробности могут быть удалены или обобщены. Модели также не запоминают автоматически прошлые чаты, если только продукт не добавляет эту функцию.
• Смещение. Данные обучения отражают человеческие предубеждения, и они могут проявляться в результатах.
• Непоследовательность. На один и тот же вопрос могут быть разные ответы, что важно, когда вы создаете программное обеспечение на основе одного и того же.
• Угрозы безопасности. Скрытые инструкции в тексте могут манипулировать моделью. Эта проблема известна как быстрое внедрение.

Правильное использование LLM

Относитесь к LLM как к быстрому и способному помощнику, чья работа нуждается в проверке. Несколько привычек имеют большое значение:

• Будьте конкретны. Четкие инструкции, контекст и примеры дают лучшие результаты. Наше руководство по оперативному проектированию показывает, как это сделать.
• Предоставьте факты. Если ответы должны быть получены из ваших собственных документов, используйте RAG, а не полагайтесь на память.
• Проверяйте то, что важно. Сверяйте цифры, цитаты, юридические или медицинские утверждения с надежными источниками.
• Протестируйте сгенерированный код. Запустите его и напишите для него тесты, как если бы вы делали это для своего коллеги. Наше руководство по инструментам проверки кода AI содержит некоторую помощь.
• Защитите конфиденциальные данные. Прежде чем делиться конфиденциальной информацией с помощью размещенного инструмента, ознакомьтесь с правилами вашей организации.

Если вы решаете, как настроить модель для своей работы, наше сравнение RAG, точной настройки и быстрого проектирования поможет вам сделать выбор.

Итоги

LLM — это предсказатель следующего токена, обученный в необычайном масштабе, и он более полезен и более подвержен ошибкам, чем предполагает это описание. Помня об этом механизме, вы сможете эффективно его использовать: он богат языком и шаблонами и требует вашего контроля над фактами. Чтобы конкретизировать ситуацию, запустите небольшой скрипт, приведенный выше, со своим текстом, затем попробуйте несколько раз выполнить одно и то же приглашение в реальном помощнике и сравните ответы.

Часто задаваемые вопросы

Продолжайте учиться