Введите в поиск «как вернуть мои деньги», и хорошая система должна найти страницу с названием «Политика возврата денег», даже если между ними нет общих важных слов. Эта способность возникает благодаря встраиваниям, одной из самых полезных идей в современном ИИ.

В этом руководстве объясняются вложения без сложной математики. Мы запустили небольшой пример на Python 3.13, его результаты показаны ниже. Векторы в нем — это те, которые мы составили вручную, используя всего три числа в каждом, чтобы идею было легче понять. Настоящие вложения происходят из обученной модели и часто имеют сотни или тысячи чисел.

Что такое встраивание?

Вложение — это представление чего-либо в виде списка чисел, называемого вектором. Модель обучается так, что элементы со связанными значениями получают векторы, расположенные близко друг к другу.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Когда текст находится в такой форме, компьютер может рассчитать, насколько похожи два фрагмента текста, чего он не может сделать непосредственно со словами. Вложения также не ограничиваются словами. Предложения, целые документы, изображения, аудио и продукты могут быть встроены.

Почему бы просто не сопоставить ключевые слова?

Наше руководство по RAG показывает это на практике. Простой поиск по количеству слов не дал результатов по запросу «Когда я смогу вернуть свои деньги?» против документа о возмещении, поскольку они не обменялись ни одним словом. Обратите также внимание на третью строку: точные идентификаторы — слабость вложений, поэтому поиск по ключевым словам все еще имеет место.

Подумайте о карте

Представьте себе, что каждое слово нанесено на огромную карту, где местоположение отражает значение. «Кот» и «котенок» сидят почти рядом, «собака» в одном районе, а «счет» в другом городе. Чтобы найти похожие слова, просто посмотрите поблизости.

Настоящее встраивание работает таким же образом, за исключением того, что карта имеет сотни измерений, а не два. Люди не могут себе этого представить, но математика работает точно так же. Отдельные цифры обычно не имеют четкого значения, например, «пушистость». Важно общее положение.

Небольшой рабочий пример

Вот как можно сравнить наши сделанные вручную векторы:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

По сравнению с «кошкой» «котенок» получает наивысшие оценки, «собака» следует за ним, а «счет-фактура» гораздо ниже. Мы выбрали эти векторы для создания этого шаблона, поэтому рейтинг ничего не доказывает о реальном языке. Это только показывает, как ведет себя расчет. Семантический поиск делает то же самое в три этапа: встраивает запрос, оценивает его по каждому сохраненному элементу и сортирует.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Объяснение косинусного сходства

Каждый вектор можно рассматривать как стрелку, указывающую начало координат. Косинусное подобие измеряет угол между двумя стрелками, не обращая внимания на их длину. Мы подтвердили ключевые ценности:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Посмотрите на первую строку. [2, 4, 6] в два раза длиннее, чем [1, 2, 3], но оценка — идеальная 1,0, потому что единственное, что имеет значение — это направление. Это полезно для текста, длина которого может отражать такие вещи, как размер документа, а не его значение. Будьте осторожны и с порогами. Не существует универсального показателя, означающего «похожий», поскольку полезные диапазоны различаются от модели к модели, поэтому проверьте свои собственные данные.

Другие меры расстояния

Разницу легко увидеть. Те же самые два вектора с коэффициентом косинуса 1,0 имеют евклидово расстояние 3,742, поскольку один длиннее другого. Многие системы нормализуют векторы, масштабируя каждый из них до длины 1. После этого скалярное произведение и косинус дают один и тот же ответ, и мы это подтвердили: обе дали 0,955 для «кошки» и «собаки». Проверьте документацию вашей модели, чтобы узнать, какую меру она рекомендует.

Как изучаются вложения

В реальных системах никто не присваивает эти числа вручную. Нейронная сеть изучает их во время обучения. Ранняя и влиятельная идея заключается в том, что слова, встречающиеся в схожих контекстах, имеют схожие значения, например, «Я кормил свою кошку» и «Я кормил свою собаку». Такие модели, как Word2Vec и GloVe, изучали векторы слов на основе этих шаблонов.

Позже модели на основе преобразователей, такие как BERT, сделали встраивания контекстно-зависимыми, поэтому «банк» мог получить другой вектор в «берег реки» и «банковский кредит». Многие современные модели встраивают целые предложения или отрывки сразу. В нашем руководстве по большим языковым моделям объясняется, как преобразователи обрабатывают контекст.

Где используются вложения

Поиск в масштабе

В нашем примере запрос сравнивается с каждым элементом, что называется точным поиском. Это отлично работает для тысяч элементов, но при многих миллионах становится медленным. Индексы приблизительного ближайшего соседа (ANN), такие как HNSW, решают эту проблему. Они быстро находят очень близкие совпадения, отказываясь от небольшого шанса пропустить самое лучшее.

Векторные базы данных и расширения, такие как pgvector для PostgreSQL, предоставляют эти индексы наряду с фильтрацией и хранением. В нашем руководстве по векторным базам данных описаны эти варианты. Для небольшого проекта он может вам вообще не понадобиться, и поиск в памяти — отличный способ начать.

Выбор модели встраивания

• Язык. Если ваш контент, например, на хинди или тамильском языке, убедитесь, что модель хорошо его обрабатывает.
• Предмет. Общие модели могут противоречить специальным юридическим или медицинским терминам.
• Размеры. Чем больше измерений, тем больше деталей можно получить, но для этого требуется больше места и памяти.
• Стоимость и хостинг. Сравните размещенный API с открытой моделью, которую вы можете запустить самостоятельно, особенно для частных данных.
• Длина ввода. Модели имеют ограничение, поэтому длинные документы необходимо сначала разделить на части.

Лучший тест — ваши собственные данные. Соберите около 20 реальных запросов вместе с документами, которые они должны найти, и сравните, как их ранжирует каждая модель. Опубликованные тесты могут не отражать ваш контент.

Ограничения

• Привязка модели. Векторы из разных моделей нельзя сравнивать. Если вы меняете модели, вам придется встраивать все заново.
• Точные условия. Идентификаторы, коды и редкие имена могут не совпадать надежно.
• Отрицание. Слова «возврат разрешен» и «возврат запрещен» могут находиться рядом друг с другом, несмотря на то, что они означают противоположные вещи.
• Похоже не значит правильно. Близкое совпадение может быть устаревшим или просто неправильным.
• Смещение. Встраивания могут поглощать стереотипы из своих обучающих данных.
• Косинус — это не волшебство. Исследователи задаются вопросом, насколько он значим для некоторых изученных вложений, поэтому воспринимайте оценки как полезный сигнал, а не как меру истины.

Распространенные ошибки

• Смешение моделей. Встраивайте запросы и документы с одной и той же моделью и версией.
• Повсюду используйте один порог сходства. Настройте его для каждой модели и задачи.
• Встраивание огромных документов целиком. Смысл становится размытым, поэтому сначала разбейте их на части.
• Пропуск оценки. Без тестовых запросов вы не сможете определить, помогло ли изменение.
• Использование встраивания для всего. Если пользователи ищут точные идентификаторы, лучше использовать обычный индекс базы данных.

Итоги

Встраивание превращает смысл в числа, так что программное обеспечение может сравнивать идеи, а не строки. Идея проста, а практическая работа заключается в выборе модели, фрагментировании данных и тестировании на реальных запросах. Чтобы попробовать это самостоятельно, встройте несколько десятков собственных документов с помощью любой модели встраивания, выполните поиск по ним с помощью реальных вопросов и посмотрите, результаты вас удивят.

Часто задаваемые вопросы

Продолжайте учиться