Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска

  1. Главная
  2. Блог
  3. Искусственный интеллект

Искусственный интеллект

Объяснение BM25: Как ранжируются результаты поиска по ключевым словам с помощью кода Python и гибридного поиска

BM25 — это формула ранжирования большинства поисковых систем по ключевым словам, включая Elasticsearch, OpenSearch и Lucene. Документ оценивается выше, если он содержит редкие слова запроса, повторяет их в разумных количествах и не дополнен наполнителем. Мы построили его в 25 строках Python и протестировали, где он работает, где он дает сбои и как это исправляет гибридный поиск.

10 мин чтения
Поиск BM25 объяснен с помощью Python

Главное

  • BM25 оценивает документы по редким словам запроса (IDF), частоте их появления (с насыщенностью) и длине документа.
  • Насыщенность имеет значение: в нашем тесте 5 повторов слова получили оценку 1,77, а 20 повторений — только 2,08, поэтому наполнение ключевыми словами практически не помогает.
  • BM25 мгновенно обнаружил точный код ошибки «E1042», но не вернул ничего для «забыл свой логин», поскольку ни в одном документе эти слова не содержались.
  • Гибридный поиск сочетает в себе BM25 с векторным поиском с использованием взаимного слияния рангов, обеспечивая точные совпадения и значение.

Векторный поиск привлекает внимание ИИ, однако почти каждая производственная поисковая система по-прежнему использует рядом с ней рейтинг ключевых слов, и этим ранкером почти всегда является BM25. Если вы создаете поиск, RAG или вопросы и ответы по документам, понимание BM25 поможет вам понять, почему некоторые запросы работают идеально, почему другие ничего не возвращают и почему объединение их с встраиваниями лучше любого из них по отдельности. Все нижеприведенное взято из небольшой реализации, которую мы запустили в Python 3.13.6 в коллекции справочного центра из шести документов.

Что такое БМ25?

BM25, сокращение от «Best Matching 25», представляет собой функцию ранжирования, основанную на исследовании информационного поиска Окапи 1990-х годов. Учитывая запрос, он присваивает каждому документу оценку релевантности на основе трех сигналов: насколько редко каждое слово запроса встречается в коллекции, как часто оно появляется в документе и как долго документ сравнивается со средним значением. Он не требует обучения и использования графического процессора, работает на любом языке с помощью токенизатора и является рейтингом по умолчанию в Lucene, Elasticsearch, OpenSearch и Solr.

Формула BM25, шаг за шагом

score(D, Q) = Σ over query terms t of
    IDF(t) × f(t, D) × (k1 + 1) / ( f(t, D) + k1 × (1 − b + b × |D| / avgdl) )

IDF(t) = ln( (N − n(t) + 0.5) / (n(t) + 0.5) + 1 )
  • f(t, D): сколько раз термин t встречается в документе D.
  • |D| и avgdl: длина документа и средняя длина в коллекции.
  • N и n(t): количество документов и количество содержащих t.
  • k1 (обычно 1,2): насколько быстро повторяющиеся термины перестают приносить очки.
  • b (обычно 0,75): насколько сильно наказываются длинные документы.

Показанная форма IDF с «+ 1» внутри логарифма — это форма, которую использует Lucene; оно никогда не становится отрицательным. Каждый термин запроса учитывается отдельно, и оценки суммируются.

ЦАХАЛ: редкие слова несут сигнал

Из шести наших документов слово «пароль» фигурировало в трёх, а код ошибки «e1042» — только в одном. BM25 дал им веса IDF 0,693 и 1,540. Совпадение редкого конкретного слова является убедительным доказательством релевантности, в то время как обычное слово мало что говорит. Вот почему точный код продукта, номер ошибки или имя является таким мощным запросом для поиска по ключевым словам.

Насыщение терминами: эффект k1

При необработанном количестве слов документ, в котором слово «пароль» повторяется 20 раз, превзойдет все. BM25 ограничивает это. Мы рассчитали частотную часть термина для документа средней длины с k1 = 1,2:

Количество раз, когда слово появляется BM25 термин-частотный коэффициент
1 1.000
2 1.375
5 1.774
10 1.964
20 2.075

Второе упоминание добавляет много, пятое — мало, а двадцатое — почти ничего; коэффициент никогда не может превышать k1 ​​+ 1 = 2,2. Эта уменьшающаяся отдача является основной причиной, по которой BM25 противостоит заполнению ключевыми словами гораздо лучше, чем простой подсчет.

Нормализация длины: эффект b

В длинном руководстве где-то упоминается большинство слов, что несправедливо завышает его оценки. Параметр b масштабирует частоту терминов по длине документа относительно среднего значения (15,8 слов в нашей коллекции). При b = 0,75 длинному документу необходимо больше упоминаний, чтобы получить тот же балл, что и короткому и узкому документу. Установка b = 0 полностью отключает нормализацию длины.

BM25 в 25 строках Python

import math, re

tok = lambda s: re.findall(r"[a-z0-9]+", s.lower())
D = {k: tok(v) for k, v in docs.items()}
N = len(D)
avg = sum(len(v) for v in D.values()) / N

def idf(t):
    n = sum(1 for v in D.values() if t in v)
    return math.log((N - n + 0.5) / (n + 0.5) + 1)

def bm25(query, k1=1.2, b=0.75):
    scores = {}
    for k, v in D.items():
        s = 0
        for t in tok(query):
            f = v.count(t)
            if f:
                s += idf(t) * f * (k1 + 1) / (f + k1 * (1 - b + b * len(v) / avg))
        scores[k] = round(s, 3)
    return sorted(scores.items(), key=lambda x: -x[1])

Настоящие движки предварительно вычисляют инвертированный индекс — карту каждого слова с документами, содержащими его, поэтому они никогда не сканируют каждый документ. Логика подсчета очков та же. В нашей коллекции было шесть коротких справочных статей: сброс пароля (d1), ошибка E1042 (d2), правила использования паролей (d3), доставка (d4), блокировка учетной записи (d5) и спам-страница, на которой шесть раз повторяется слово «пароль» (d6).

Что показал тест

Запрос Лучшие результаты BM25 Верхний результат по необработанному количеству слов
сбросить пароль д1 (3,009), д6 (1,259), д3 (0,690) d6, спам-страница (6 совпадений)
Е1042 d2 (1.617), больше ничего d2
мой аккаунт заблокирован d5 (3,570), d2 (1,617) d5
забыл свой логин Все оценки 0 Все 0

Что касается «сброса пароля», необработанный подсчет поставил спам-страницу на первое место, поскольку она повторяет слово, в то время как BM25 поставил на первое место действительно полезную статью о сбросе с более чем удвоенным баллом: два разных совпадающих слова плюс повторение такта насыщения. Для точного кода «Е1042» идеально подошёл БМ25. Интересные неудачи следующие.

Совет: посмотрите сбои BM25 в собственных журналах. Запросы, которые везде получают нулевую оценку, — это именно те запросы, в которых окупается добавление семантического поиска.

Настройка k1 и b

Для запроса «пароль», состоящего из одного слова, мы попробовали четыре настройки параметров:

к1 б 3 лучших результата
1.2 0.75 d6 1,259, d1 0,934, d3 0,690
1.2 0.0 d6 1,271, d1 0,953, d3 0,693
0.5 0.75 d6 0,956, d1 0,823, d3 0,691
2.0 0.75 d6 1,538, d1 1,012, d3 0,690

Более низкий k1 сократил преимущество спам-страницы с 0,325 до 0,133, поскольку повторы имели меньшее значение; более высокий k1 расширил его. Рейтинг здесь остался прежним, потому что одно слово — это слабый запрос, а реальная выгода от настройки обычно невелика. Значения по умолчанию k1 = 1,2 и b = 0,75 являются разумным началом; настраивайтесь только на набор реальных запросов с известными ответами и сначала исправьте токенизацию, поскольку разделение, создание корней и стоп-слова обычно имеют большее значение.

Где BM25 терпит неудачу

  • Разные слова, одно и то же значение. «Забыл свой логин» везде получил нулевую оценку, хотя статья о сбросе пароля отвечает на этот вопрос. BM25 соответствует словам, а не значениям.
  • Словоформы. Наш токенизатор рассматривал «пароль» и «пароли» как разные слова. Реальные движки добавляют стемминг или лемматизацию, чтобы исправить это.
  • Орфографические ошибки. «пароль» не соответствует ничему без нечеткого совпадения.
  • Повторение по-прежнему немного помогает. Спам-страница заняла первое место по простому запросу «пароль», хотя из-за насыщенности разрыв оставался небольшим.

BM25 против векторного поиска

Аспект БМ25 Векторный поиск
Матчи Точные слова Значение, перефразирование
Сильный в Идентификаторы, коды, имена, редкие термины Естественные вопросы, синонимы
Слабый в Синонимы, перефразирование Точные коды, редкий жаргон
Потребности Индекс, без модели Модель внедрения и векторное хранилище
Объяснимый Да, баллы за семестр сложнее

Векторный поиск превращает текст в вложения и ранжирует по косинусному сходству, поэтому он связывает фразу «забыл свой логин» со статьей о сбросе пароля. Оба метода терпят неудачу в противоположных местах, что является аргументом в пользу использования обоих.

Гибридный поиск с обратным объединением рангов

Оценки BM25 и сходство косинусов находятся в разных масштабах, поэтому вы не можете просто сложить их. Взаимное объединение рангов (RRF) игнорирует необработанные оценки и объединяет позиции: каждый документ получает 1 / (k + ранг) из каждого списка, обычно с k = 60, а итоговые суммы суммируются.

def rrf(*lists, k=60):
    scores = {}
    for ranking in lists:
        for rank, doc in enumerate(ranking, 1):
            scores[doc] = scores.get(doc, 0) + 1 / (k + rank)
    return sorted(scores.items(), key=lambda x: -x[1])

По запросу «забыл пароль для входа» BM25 получил рейтинг d6, d1, d3. Мы соединили его с иллюстративным семантическим ранжированием d1, d5, d3 — порядком, который могла бы дать модель, основанная на значении; это было сделано вручную, а не из реальной встраиваемой модели. Затем RRF поставил на первое место d1 (0,0325), за ним следовали d3, d6 и d5. Полезная статья о сбросе поднялась на первое место, потому что оба списка оценили ее хорошо, в то время как спам-страница, которая понравилась только BM25, опустилась назад. В реальных системах вы запускаете оба поиска параллельно и объединяете 50 или 100 лучших результатов.

БМ25 на практике

  • Поисковые системы: Elasticsearch и OpenSearch по умолчанию используют BM25 для текстовых полей.
  • Базы данных: SQLite FTS5 имеет встроенную bm25() функцию ранжирования. Встроенное полнотекстовое ранжирование PostgreSQL использует другую формулу, а BM25 требует расширения (здесь мы не запускали ни того, ни другого).
  • Python: библиотеки, такие как rank_bm25, реализуют его для прототипов.
  • Конвейеры RAG: используют BM25 наряду с векторным поиском по одним и тем же фрагментам; то, как вы разбиваете данные, имеет значение для обоих, как показал наш тест стратегий разделения RAG.

Чтобы узнать, какое место в полной системе занимает извлечение, прочитайте наше руководство по RAG и руководство по векторным базам данных.

Итоги

BM25 существует уже несколько десятилетий, потому что он прост, быстр и удивительно хорош в том, что он делает: награждает редкие, конкретные совпадения, не допуская повторения и заполнения. Наш тест ясно показал обе стороны. Он определил точный код ошибки и превзошел в рейтинге спам-страницу, но ничего не дал для естественного перефразирования. Сохраните BM25 для точности, добавьте векторный поиск смысла, объедините их с RRF и оценивайте каждое изменение по реальным запросам пользователей.

Часто задаваемые вопросы

Что такое БМ25 простым языком?

BM25 — это формула ранжирования ключевых слов. Он оценивает документы выше, если они содержат редкие слова запроса, повторяют их разумное количество раз и не дополнены несвязанным текстом.

Что означают k1 и b в BM25?

k1 контролирует, как быстро повторяющиеся слова перестают прибавлять баллы, обычно 1,2. b определяет, на сколько длинные документы наказываются, обычно 0,75, где 0 отключает нормализацию длины.

Лучше ли BM25, чем векторный поиск?

И то и другое не лучше везде. BM25 превосходно справляется с точными словами, кодами и именами, а векторный поиск обрабатывает значения и перефразирует. Гибридный поиск, сочетающий оба варианта, обычно дает наилучшие результаты.

Что такое взаимное слияние рангов?

Способ объединения ранжированных списков по позиции, а не по баллам. Каждому документу присваивается 1, деленная на k, плюс его рейтинг в каждом списке, суммы суммируются, и наибольшая сумма занимает первое место.

Использует ли Elasticsearch BM25?

Да. BM25 — это сходство по умолчанию для текстовых полей в Elasticsearch, OpenSearch и Apache Lucene.

Продолжайте учиться

Работайте с Stack Quora

Нужна помощь с тестированием, WordPress или SEO?

Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.

Продолжайте читать

Больше руководств по тестирование, искусственный интеллект и современные разработки

Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.

Искусственный интеллект

Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска

BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…

Читать статью →
Разработка ПО

Объяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере

Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …

Читать статью →
DevOps

Объяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически

Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …

Читать статью →
Автоматизация тестирования

Объяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m

Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…

Читать статью →
Тестирование ПО

Позитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список

Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…

Читать статью →
Базы данных и SQL

SQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.

SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…

Читать статью →
Базы данных и SQL

Промежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE

Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…

Читать статью →
Разработка ПО

Сортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5

Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…

Читать статью →
Искусственный интеллект

Объяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное

Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…

Читать статью →
Разработка ПО

Объяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы

Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…

Читать статью →
DevOps

Объяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано

Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …

Читать статью →
Тестирование ПО

Объяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных

Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…

Читать статью →
Автоматизация тестирования

Объяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python

Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…

Читать статью →
Базы данных и SQL

Объяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано

SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…

Читать статью →
Базы данных и SQL

Объяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано

Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…

Читать статью →
Разработка ПО

Объяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано

Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…

Читать статью →
Разработка ПО

Объяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано

Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…

Читать статью →
Искусственный интеллект

Объяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное

Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…

Читать статью →
Разработка ПО

Объяснение вебхуков: как они работают и как безопасно их получать

Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…

Читать статью →
DevOps

Объяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано

Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…

Читать статью →
Автоматизация тестирования

Объяснение моментального тестирования: как оно работает, когда помогает, а когда вредит

Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…

Читать статью →
Тестирование ПО

Объяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка

Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…

Читать статью →
Искусственный интеллект

Объяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить

Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…

Читать статью →
DevOps

Объяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском

Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …

Читать статью →
DevOps

Объяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов

Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…

Читать статью →
Автоматизация тестирования

Генерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные

Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…

Читать статью →
Тестирование ПО

Объяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды

Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…

Читать статью →
Базы данных и SQL

Объяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных

Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…

Читать статью →
Базы данных и SQL

Объяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни

Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …

Читать статью →
Разработка ПО

Объяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки

Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…

Читать статью →
Разработка ПО

Модули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано

Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…

Читать статью →
Разработка ПО

Объяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано

Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…

Читать статью →
Искусственный интеллект

Объяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта

Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…

Читать статью →
DevOps

Объяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки

Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…

Читать статью →
DevOps

Объяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом

Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …

Читать статью →
Автоматизация тестирования

Объяснение тестирования контрактов API: уловите критические изменения до их выпуска

Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…

Читать статью →
Тестирование ПО

Объяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение

Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…

Читать статью →
Базы данных и SQL

Объяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано

Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…

Читать статью →
Базы данных и SQL

Объяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок

Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…

Читать статью →
Разработка ПО

Объяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем

Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…

Читать статью →
Разработка ПО

Debounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано

Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…

Читать статью →
Разработка ПО

Объяснение менеджеров контекста Python: оператор with, contextlib и реальное использование

Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…

Читать статью →
Искусственный интеллект

Объяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово

Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…

Читать статью →
DevOps

Объяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали

YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …

Читать статью →
DevOps

Объяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают

Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…

Читать статью →
Искусственный интеллект

Объяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить

Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…

Читать статью →
DevOps

Объяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация

Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…

Читать статью →
Разработка ПО

Объяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429

Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…

Читать статью →
Автоматизация тестирования

Издевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут

Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …

Читать статью →
Тестирование ПО

Объяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%

Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…

Читать статью →
Базы данных и SQL

DELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них

Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…

Читать статью →
Базы данных и SQL

Объяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами

Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…

Читать статью →
Разработка ПО

Интерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора

Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…

Читать статью →
Разработка ПО

Объяснение Python *args и **kwargs: гибкие функции с понятными примерами

Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…

Читать статью →
Разработка ПО

Лямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать

Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …

Читать статью →
Искусственный интеллект

Что такое ИИ-агенты? Как они работают: можно запустить простой цикл агента

Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…

Читать статью →
DevOps

Мониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками

Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…

Читать статью →
DevOps

Docker Volumes против Bind Mounts: правильное сохранение данных контейнера

Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…

Читать статью →
Автоматизация тестирования

TDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый

TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…

Читать статью →
Тестирование ПО

Пользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры

Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…

Читать статью →
Базы данных и SQL

Объяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать

Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…

Читать статью →
Базы данных и SQL

Оператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки

SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…

Читать статью →
Разработка ПО

Что такое JWT? Веб-токены JSON, объясненные на рабочем примере

Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…

Читать статью →
Разработка ПО

Объяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами

Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …

Читать статью →
Разработка ПО

Генераторы Python и объяснение доходности: экономьте память с помощью реальных примеров

Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…

Читать статью →
Искусственный интеллект

Что такое вложения? Простое объяснение векторов и косинусного сходства

Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…

Читать статью →
DevOps

Сине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать

Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…

Читать статью →
Автоматизация тестирования

Ненадежные тесты: что их вызывает и как их исправить навсегда

Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…

Читать статью →
Тестирование ПО

Нагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6

Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…

Читать статью →
Тестирование ПО

Тестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый

Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…

Читать статью →
Базы данных и SQL

Оптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени

Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…

Читать статью →
Базы данных и SQL

SQL UNION против UNION ALL: различия, примеры и проверка производительности

SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…

Читать статью →
Разработка ПО

Учебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты

Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…

Читать статью →
Разработка ПО

Обработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами

Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…

Читать статью →
Разработка ПО

Классы и объекты Python: учебник ООП с реальными примерами

Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…

Читать статью →
Искусственный интеллект

Что такое большая языковая модель? Как работают LLM, объяснено без шумихи

Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…

Читать статью →
DevOps

Команды Linux для начинающих: основное руководство по терминалу с примерами

Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…

Читать статью →
Автоматизация тестирования

Selenium vs Playwright: ключевые различия, сравнение кода и что выбрать

Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…

Читать статью →
Тестирование ПО

Разделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах

Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…

Читать статью →
Тестирование ПО

Серьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры

Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…

Читать статью →
Базы данных и SQL

Учебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами

Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…

Читать статью →
Базы данных и SQL

Объяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции

Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…

Читать статью →
Разработка ПО

Git Commands Cheat Sheet: The Commands You Actually Use, With Examples

Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…

Читать статью →
Разработка ПО

Объяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки

Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…

Читать статью →
Разработка ПО

Учебное пособие по словарю Python: методы, примеры и общие шаблоны

Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…

Читать статью →
Искусственный интеллект

Что такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере

Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…

Читать статью →
DevOps

Учебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей

Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…

Читать статью →
DevOps

Docker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно

Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…

Читать статью →
Автоматизация тестирования

Учебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры

Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…

Читать статью →
Тестирование ПО

Жизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример

Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…

Читать статью →
Разработка ПО

Git merge vs rebase: отличия, примеры и когда что использовать

Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.

Читать статью →
Разработка ПО

Генераторы списков в Python: синтаксис, примеры и когда их избегать

Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.

Читать статью →
Базы данных и SQL

SQL JOIN: объяснение с примерами (Inner, Left, Right, Full)

Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…

Читать статью →