Спросите обычного помощника по искусственному интеллекту о политике возврата средств в вашей компании, и он сможет только догадываться. Он никогда не видел ваших документов. RAG, short for retrieval-augmented generation, solves this by looking up the right information and handing it to the model along with the question.

Это руководство объясняет каждый этап простым языком, а затем создает небольшую версию, используя только стандартную библиотеку Python. Мы запустили этот код на Python 3.13, и показанные оценки получены в результате этого запуска. Он не использует языковую модель, поэтому демонстрирует поиск и построение подсказок, и мы не тестировали последний этап ответа.

Что такое РАГ?

Генерация с расширенным поиском — это метод, сочетающий этап поиска с языковой моделью. When a question arrives, the system searches a knowledge source, adds the best results to the prompt, and asks the model to answer based on that material.

Подумайте об экзамене с открытой книгой. Учащийся с закрытой книгой полагается на память и может уверенно ошибаться в запоминании. Студент с открытой книгой может сначала найти нужную страницу. RAG предоставляет модели эту книгу, а также позволяет указать, какую страницу она использовала.

Проблемы, которые решает RAG

Языковая модель сама по себе имеет три ограничения для использования в бизнесе:

• Он не знает ваших личных данных. Ваши правила, билеты и контракты не были частью его обучения.
• Его знания ограничены. Он не может знать о цене, которую вы изменили сегодня утром.
• Он может придумывать ответы. Если он не уверен, он может выдать что-то правдоподобное, но ложное.

RAG обращается ко всем трем, и вам не придется ничего переучивать. Обновите документ, переиндексируйте его, и уже следующий ответ сможет его использовать.

Как работает RAG, шаг за шагом

Система RAG имеет два конвейера. Один заранее готовит ваши данные, а другой отвечает на каждый вопрос.

Индексирование: подготовка ваших данных

1. Загрузка: собирайте контент из PDF-файлов, вики, баз данных или билетов.
2. Очистка и фрагментирование: удалите ненужный мусор, а затем разбейте документы на небольшие отрывки.
3. Встраивание: преобразование каждого отрывка в список чисел, называемый встраиванием, который отражает его смысл.
4. Сохранение: сохранение вложений в индексе с возможностью поиска, часто в векторной базе данных.

Запрос: ответ на вопрос

1. Извлечение: вставьте вопрос и найдите отрывки, наиболее близкие по смыслу.
2. Дополнение: вставьте эти отрывки в подсказку.
3. Сгенерировать: модель записывает ответ, используя этот контекст.

При поиске не обязательно использовать векторы. Это может быть поиск по ключевым словам или даже SQL-запрос, в зависимости от того, какой из них найдет нужную информацию для ваших данных.

Крошечный рабочий пример

Чтобы четко видеть движущиеся части, вот небольшой ретривер без библиотек. Он представляет текст в виде количества слов (гораздо более простой аналог реальных вложений) и оценивает сходство с помощью косинусной меры.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Вопрос о возмещении средств находит правильный отрывок и создает такое приглашение:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

В полноценной системе вы теперь должны отправить это приглашение в языковую модель. The important detail is the instruction to admit when the answer is missing, which you can learn more about in our guide to prompt engineering.

Чего не хватает в нашем примере

Теперь попробуйте задать вопрос, который означает то же самое, но использует разные слова:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Каждый балл равен нулю, поскольку в вопросе нет общих слов с каким-либо документом. «Возврат денег» означает возврат денег человеку, но количество слов не может сказать точно. This single output explains why real systems use embeddings, which are designed so that text with similar meaning ends up with similar numbers, even with no words in common.

Но не думайте, что встраивания решают все. У них могут возникнуть проблемы с точными терминами, такими как коды продуктов и номера ошибок, с которыми поиск по ключевым словам справляется очень хорошо. Вот почему многие производственные системы используют гибридный поиск, сочетая два подхода.

Чанкинг: шаг, который люди недооценивают

Документы разбиваются на фрагменты, поскольку целые файлы слишком длинные и неточные для извлечения. Выбор размера предполагает реальный компромисс:

Несколько сотен слов с некоторым перекрытием между частями — обычная отправная точка, но воспринимайте это как первое предположение для проверки. По возможности разделяйте текст по естественным границам, например заголовкам. Прикрепите метаданные, такие как название документа, дата и отдел, чтобы можно было фильтровать результаты и ссылаться на источники.

Улучшение поиска

Если ответы плохие, стоит попробовать следующие обновления, примерно в следующем порядке:

• Очистите данные. Сначала удалите устаревшие и повторяющиеся документы. Ни один алгоритм не исправляет противоречивые источники.
• Используйте гибридный поиск. Объедините результаты, основанные на значении и ключевых словах.
• Добавьте средство повторного ранжирования. Получите больше кандидатов, а затем используйте специализированную модель, чтобы переупорядочить их по релевантности.
• Фильтровать по метаданным. Ограничивайте результаты по продукту, региону или дате перед поиском.
• Перепишите запрос. Добавьте расплывчатое продолжение, например: «А как насчет второго?» в полный вопрос.

RAG против тонкой настройки

Они не являются взаимоисключающими. Наше сравнение RAG с точной настройкой и быстрым проектированием показывает, как сделать более глубокий выбор.

Как протестировать систему RAG

RAG — это программное обеспечение, и оно нуждается в тестировании, как и любое другое программное обеспечение. Создайте набор реальных вопросов вместе с ожидаемыми отрывками и ответами, а затем измерьте эти два этапа отдельно:

Включите также неловкие случаи: вопросы, на которые нет ответа в ваших данных, вопросы, в которых используются разные формулировки, и вопросы с противоречивыми источниками. Повторно запускайте этот набор всякий раз, когда вы меняете фрагменты, модели или запросы, точно так же, как набор регрессии. В нашем руководстве по pytest показано, как запустить множество входных данных в рамках одного теста.

Почему системы RAG терпят неудачу

• Ответ не содержится в данных. Модель все еще может попытаться это сделать, поэтому сообщите ей, как отказаться.
• Не удалось получить нужный фрагмент. Часто это проблема с фрагментированием или поиском.
• Слишком много контекста. Нерелевантные отрывки могут отвлекать модель и увеличивать затраты.
• Устаревшие документы. Старый полис можно восстановить так же уверенно, как и текущий.
• Таблицы и PDF-файлы анализируются плохо. Если при извлечении текст шифруется, извлечение никогда не восстанавливается.
• Тестирование только с помощью демонстрационных вопросов. Реальные пользователи формулируют вещи совсем по-другому.

Безопасность и разрешения

RAG несет в себе два риска, которые легко не заметить. Во-первых, контроль доступа: если в индексе хранятся файлы HR, вопрос младшего сотрудника не должен их извлекать. Применяйте разрешения каждого пользователя во время извлечения, поскольку указание модели хранить секреты не является надежной защитой.

Во-вторых, быстрое введение. Полученная веб-страница или документ может содержать текст, например «игнорировать ваши инструкции». Рассматривайте полученный контент как ненадежные данные, ограничивайте действия, которые может выполнять модель, и требуйте от человека одобрения конфиденциальных действий.

Итоги

RAG — это простая идея с множеством практических деталей: найдите нужную информацию, а затем попросите модель ее использовать. Начните с небольшого чистого набора документов и примерно двадцати реальных вопросов. Прежде чем добавлять сложность, убедитесь, что извлечение работает хорошо, потому что скромный конвейер с хорошими данными обычно превосходит сложный конвейер с плохими данными.

Часто задаваемые вопросы

Продолжайте учиться