Объяснение BM25: Как ранжируются результаты поиска по ключевым словам с помощью кода Python и гибридного поиска
BM25 — это формула ранжирования большинства поисковых систем по ключевым словам, включая Elasticsearch, OpenSearch и Lucene. Документ оценивается выше, если он содержит редкие слова запроса, повторяет их в разумных количествах и не дополнен наполнителем. Мы построили его в 25 строках Python и протестировали, где он работает, где он дает сбои и как это исправляет гибридный поиск.
- BM25 оценивает документы по редким словам запроса (IDF), частоте их появления (с насыщенностью) и длине документа.
- Насыщенность имеет значение: в нашем тесте 5 повторов слова получили оценку 1,77, а 20 повторений — только 2,08, поэтому наполнение ключевыми словами практически не помогает.
- BM25 мгновенно обнаружил точный код ошибки «E1042», но не вернул ничего для «забыл свой логин», поскольку ни в одном документе эти слова не содержались.
- Гибридный поиск сочетает в себе BM25 с векторным поиском с использованием взаимного слияния рангов, обеспечивая точные совпадения и значение.
Векторный поиск привлекает внимание ИИ, однако почти каждая производственная поисковая система по-прежнему использует рядом с ней рейтинг ключевых слов, и этим ранкером почти всегда является BM25. Если вы создаете поиск, RAG или вопросы и ответы по документам, понимание BM25 поможет вам понять, почему некоторые запросы работают идеально, почему другие ничего не возвращают и почему объединение их с встраиваниями лучше любого из них по отдельности. Все нижеприведенное взято из небольшой реализации, которую мы запустили в Python 3.13.6 в коллекции справочного центра из шести документов.
Что такое БМ25?
BM25, сокращение от «Best Matching 25», представляет собой функцию ранжирования, основанную на исследовании информационного поиска Окапи 1990-х годов. Учитывая запрос, он присваивает каждому документу оценку релевантности на основе трех сигналов: насколько редко каждое слово запроса встречается в коллекции, как часто оно появляется в документе и как долго документ сравнивается со средним значением. Он не требует обучения и использования графического процессора, работает на любом языке с помощью токенизатора и является рейтингом по умолчанию в Lucene, Elasticsearch, OpenSearch и Solr.
Формула BM25, шаг за шагом
score(D, Q) = Σ over query terms t of
IDF(t) × f(t, D) × (k1 + 1) / ( f(t, D) + k1 × (1 − b + b × |D| / avgdl) )
IDF(t) = ln( (N − n(t) + 0.5) / (n(t) + 0.5) + 1 )
- f(t, D): сколько раз термин t встречается в документе D.
- |D| и avgdl: длина документа и средняя длина в коллекции.
- N и n(t): количество документов и количество содержащих t.
- k1 (обычно 1,2): насколько быстро повторяющиеся термины перестают приносить очки.
- b (обычно 0,75): насколько сильно наказываются длинные документы.
Показанная форма IDF с «+ 1» внутри логарифма — это форма, которую использует Lucene; оно никогда не становится отрицательным. Каждый термин запроса учитывается отдельно, и оценки суммируются.
ЦАХАЛ: редкие слова несут сигнал
Из шести наших документов слово «пароль» фигурировало в трёх, а код ошибки «e1042» — только в одном. BM25 дал им веса IDF 0,693 и 1,540. Совпадение редкого конкретного слова является убедительным доказательством релевантности, в то время как обычное слово мало что говорит. Вот почему точный код продукта, номер ошибки или имя является таким мощным запросом для поиска по ключевым словам.
Насыщение терминами: эффект k1
При необработанном количестве слов документ, в котором слово «пароль» повторяется 20 раз, превзойдет все. BM25 ограничивает это. Мы рассчитали частотную часть термина для документа средней длины с k1 = 1,2:
| Количество раз, когда слово появляется | BM25 термин-частотный коэффициент |
|---|---|
| 1 | 1.000 |
| 2 | 1.375 |
| 5 | 1.774 |
| 10 | 1.964 |
| 20 | 2.075 |
Второе упоминание добавляет много, пятое — мало, а двадцатое — почти ничего; коэффициент никогда не может превышать k1 + 1 = 2,2. Эта уменьшающаяся отдача является основной причиной, по которой BM25 противостоит заполнению ключевыми словами гораздо лучше, чем простой подсчет.
Нормализация длины: эффект b
В длинном руководстве где-то упоминается большинство слов, что несправедливо завышает его оценки. Параметр b масштабирует частоту терминов по длине документа относительно среднего значения (15,8 слов в нашей коллекции). При b = 0,75 длинному документу необходимо больше упоминаний, чтобы получить тот же балл, что и короткому и узкому документу. Установка b = 0 полностью отключает нормализацию длины.
BM25 в 25 строках Python
import math, re
tok = lambda s: re.findall(r"[a-z0-9]+", s.lower())
D = {k: tok(v) for k, v in docs.items()}
N = len(D)
avg = sum(len(v) for v in D.values()) / N
def idf(t):
n = sum(1 for v in D.values() if t in v)
return math.log((N - n + 0.5) / (n + 0.5) + 1)
def bm25(query, k1=1.2, b=0.75):
scores = {}
for k, v in D.items():
s = 0
for t in tok(query):
f = v.count(t)
if f:
s += idf(t) * f * (k1 + 1) / (f + k1 * (1 - b + b * len(v) / avg))
scores[k] = round(s, 3)
return sorted(scores.items(), key=lambda x: -x[1])
Настоящие движки предварительно вычисляют инвертированный индекс — карту каждого слова с документами, содержащими его, поэтому они никогда не сканируют каждый документ. Логика подсчета очков та же. В нашей коллекции было шесть коротких справочных статей: сброс пароля (d1), ошибка E1042 (d2), правила использования паролей (d3), доставка (d4), блокировка учетной записи (d5) и спам-страница, на которой шесть раз повторяется слово «пароль» (d6).
Что показал тест
| Запрос | Лучшие результаты BM25 | Верхний результат по необработанному количеству слов |
|---|---|---|
| сбросить пароль | д1 (3,009), д6 (1,259), д3 (0,690) | d6, спам-страница (6 совпадений) |
| Е1042 | d2 (1.617), больше ничего | d2 |
| мой аккаунт заблокирован | d5 (3,570), d2 (1,617) | d5 |
| забыл свой логин | Все оценки 0 | Все 0 |
Что касается «сброса пароля», необработанный подсчет поставил спам-страницу на первое место, поскольку она повторяет слово, в то время как BM25 поставил на первое место действительно полезную статью о сбросе с более чем удвоенным баллом: два разных совпадающих слова плюс повторение такта насыщения. Для точного кода «Е1042» идеально подошёл БМ25. Интересные неудачи следующие.
Совет: посмотрите сбои BM25 в собственных журналах. Запросы, которые везде получают нулевую оценку, — это именно те запросы, в которых окупается добавление семантического поиска.
Настройка k1 и b
Для запроса «пароль», состоящего из одного слова, мы попробовали четыре настройки параметров:
| к1 | б | 3 лучших результата |
|---|---|---|
| 1.2 | 0.75 | d6 1,259, d1 0,934, d3 0,690 |
| 1.2 | 0.0 | d6 1,271, d1 0,953, d3 0,693 |
| 0.5 | 0.75 | d6 0,956, d1 0,823, d3 0,691 |
| 2.0 | 0.75 | d6 1,538, d1 1,012, d3 0,690 |
Более низкий k1 сократил преимущество спам-страницы с 0,325 до 0,133, поскольку повторы имели меньшее значение; более высокий k1 расширил его. Рейтинг здесь остался прежним, потому что одно слово — это слабый запрос, а реальная выгода от настройки обычно невелика. Значения по умолчанию k1 = 1,2 и b = 0,75 являются разумным началом; настраивайтесь только на набор реальных запросов с известными ответами и сначала исправьте токенизацию, поскольку разделение, создание корней и стоп-слова обычно имеют большее значение.
Где BM25 терпит неудачу
- Разные слова, одно и то же значение. «Забыл свой логин» везде получил нулевую оценку, хотя статья о сбросе пароля отвечает на этот вопрос. BM25 соответствует словам, а не значениям.
- Словоформы. Наш токенизатор рассматривал «пароль» и «пароли» как разные слова. Реальные движки добавляют стемминг или лемматизацию, чтобы исправить это.
- Орфографические ошибки. «пароль» не соответствует ничему без нечеткого совпадения.
- Повторение по-прежнему немного помогает. Спам-страница заняла первое место по простому запросу «пароль», хотя из-за насыщенности разрыв оставался небольшим.
BM25 против векторного поиска
| Аспект | БМ25 | Векторный поиск |
|---|---|---|
| Матчи | Точные слова | Значение, перефразирование |
| Сильный в | Идентификаторы, коды, имена, редкие термины | Естественные вопросы, синонимы |
| Слабый в | Синонимы, перефразирование | Точные коды, редкий жаргон |
| Потребности | Индекс, без модели | Модель внедрения и векторное хранилище |
| Объяснимый | Да, баллы за семестр | сложнее |
Векторный поиск превращает текст в вложения и ранжирует по косинусному сходству, поэтому он связывает фразу «забыл свой логин» со статьей о сбросе пароля. Оба метода терпят неудачу в противоположных местах, что является аргументом в пользу использования обоих.
Гибридный поиск с обратным объединением рангов
Оценки BM25 и сходство косинусов находятся в разных масштабах, поэтому вы не можете просто сложить их. Взаимное объединение рангов (RRF) игнорирует необработанные оценки и объединяет позиции: каждый документ получает 1 / (k + ранг) из каждого списка, обычно с k = 60, а итоговые суммы суммируются.
def rrf(*lists, k=60):
scores = {}
for ranking in lists:
for rank, doc in enumerate(ranking, 1):
scores[doc] = scores.get(doc, 0) + 1 / (k + rank)
return sorted(scores.items(), key=lambda x: -x[1])
По запросу «забыл пароль для входа» BM25 получил рейтинг d6, d1, d3. Мы соединили его с иллюстративным семантическим ранжированием d1, d5, d3 — порядком, который могла бы дать модель, основанная на значении; это было сделано вручную, а не из реальной встраиваемой модели. Затем RRF поставил на первое место d1 (0,0325), за ним следовали d3, d6 и d5. Полезная статья о сбросе поднялась на первое место, потому что оба списка оценили ее хорошо, в то время как спам-страница, которая понравилась только BM25, опустилась назад. В реальных системах вы запускаете оба поиска параллельно и объединяете 50 или 100 лучших результатов.
БМ25 на практике
- Поисковые системы: Elasticsearch и OpenSearch по умолчанию используют BM25 для текстовых полей.
- Базы данных: SQLite FTS5 имеет встроенную
bm25()функцию ранжирования. Встроенное полнотекстовое ранжирование PostgreSQL использует другую формулу, а BM25 требует расширения (здесь мы не запускали ни того, ни другого). - Python: библиотеки, такие как
rank_bm25, реализуют его для прототипов. - Конвейеры RAG: используют BM25 наряду с векторным поиском по одним и тем же фрагментам; то, как вы разбиваете данные, имеет значение для обоих, как показал наш тест стратегий разделения RAG.
Чтобы узнать, какое место в полной системе занимает извлечение, прочитайте наше руководство по RAG и руководство по векторным базам данных.
Итоги
BM25 существует уже несколько десятилетий, потому что он прост, быстр и удивительно хорош в том, что он делает: награждает редкие, конкретные совпадения, не допуская повторения и заполнения. Наш тест ясно показал обе стороны. Он определил точный код ошибки и превзошел в рейтинге спам-страницу, но ничего не дал для естественного перефразирования. Сохраните BM25 для точности, добавьте векторный поиск смысла, объедините их с RRF и оценивайте каждое изменение по реальным запросам пользователей.
Часто задаваемые вопросы
Что такое БМ25 простым языком?
BM25 — это формула ранжирования ключевых слов. Он оценивает документы выше, если они содержат редкие слова запроса, повторяют их разумное количество раз и не дополнены несвязанным текстом.
Что означают k1 и b в BM25?
k1 контролирует, как быстро повторяющиеся слова перестают прибавлять баллы, обычно 1,2. b определяет, на сколько длинные документы наказываются, обычно 0,75, где 0 отключает нормализацию длины.
Лучше ли BM25, чем векторный поиск?
И то и другое не лучше везде. BM25 превосходно справляется с точными словами, кодами и именами, а векторный поиск обрабатывает значения и перефразирует. Гибридный поиск, сочетающий оба варианта, обычно дает наилучшие результаты.
Что такое взаимное слияние рангов?
Способ объединения ранжированных списков по позиции, а не по баллам. Каждому документу присваивается 1, деленная на k, плюс его рейтинг в каждом списке, суммы суммируются, и наибольшая сумма занимает первое место.
Использует ли Elasticsearch BM25?
Да. BM25 — это сходство по умолчанию для текстовых полей в Elasticsearch, OpenSearch и Apache Lucene.
Продолжайте учиться
Нужна помощь с тестированием, WordPress или SEO?
Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.
Больше руководств по тестирование, искусственный интеллект и современные разработки
Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.
Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска
BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…
Читать статью →Разработка ПООбъяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере
Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …
Читать статью →DevOpsОбъяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически
Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …
Читать статью →Автоматизация тестированияОбъяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m
Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…
Читать статью →Тестирование ПОПозитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список
Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…
Читать статью →Базы данных и SQLSQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.
SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…
Читать статью →Базы данных и SQLПромежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE
Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…
Читать статью →Разработка ПОСортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5
Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…
Читать статью →Искусственный интеллектОбъяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное
Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…
Читать статью →Разработка ПООбъяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы
Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…
Читать статью →DevOpsОбъяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано
Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …
Читать статью →Тестирование ПООбъяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных
Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…
Читать статью →Автоматизация тестированияОбъяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python
Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…
Читать статью →Базы данных и SQLОбъяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано
SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…
Читать статью →Базы данных и SQLОбъяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано
Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…
Читать статью →Разработка ПООбъяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано
Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…
Читать статью →Разработка ПООбъяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано
Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…
Читать статью →Искусственный интеллектОбъяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное
Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…
Читать статью →Разработка ПООбъяснение вебхуков: как они работают и как безопасно их получать
Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…
Читать статью →DevOpsОбъяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано
Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…
Читать статью →Автоматизация тестированияОбъяснение моментального тестирования: как оно работает, когда помогает, а когда вредит
Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…
Читать статью →Тестирование ПООбъяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка
Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…
Читать статью →Искусственный интеллектОбъяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить
Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…
Читать статью →DevOpsОбъяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском
Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …
Читать статью →DevOpsОбъяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов
Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…
Читать статью →Автоматизация тестированияГенерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные
Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…
Читать статью →Тестирование ПООбъяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды
Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…
Читать статью →Базы данных и SQLОбъяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных
Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…
Читать статью →Базы данных и SQLОбъяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни
Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …
Читать статью →Разработка ПООбъяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки
Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…
Читать статью →Разработка ПОМодули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано
Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…
Читать статью →Разработка ПООбъяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано
Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…
Читать статью →Искусственный интеллектОбъяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта
Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…
Читать статью →DevOpsОбъяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки
Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…
Читать статью →DevOpsОбъяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом
Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …
Читать статью →Автоматизация тестированияОбъяснение тестирования контрактов API: уловите критические изменения до их выпуска
Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…
Читать статью →Тестирование ПООбъяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение
Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…
Читать статью →Базы данных и SQLОбъяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано
Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…
Читать статью →Базы данных и SQLОбъяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок
Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…
Читать статью →Разработка ПООбъяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем
Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…
Читать статью →Разработка ПОDebounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано
Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…
Читать статью →Разработка ПООбъяснение менеджеров контекста Python: оператор with, contextlib и реальное использование
Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…
Читать статью →Искусственный интеллектОбъяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово
Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…
Читать статью →DevOpsОбъяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали
YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …
Читать статью →DevOpsОбъяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают
Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…
Читать статью →Искусственный интеллектОбъяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить
Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…
Читать статью →DevOpsОбъяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация
Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…
Читать статью →Разработка ПООбъяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429
Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…
Читать статью →Автоматизация тестированияИздевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут
Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …
Читать статью →Тестирование ПООбъяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%
Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…
Читать статью →Базы данных и SQLDELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них
Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…
Читать статью →Базы данных и SQLОбъяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами
Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…
Читать статью →Разработка ПОИнтерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора
Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…
Читать статью →Разработка ПООбъяснение Python *args и **kwargs: гибкие функции с понятными примерами
Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…
Читать статью →Разработка ПОЛямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать
Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …
Читать статью →Искусственный интеллектЧто такое ИИ-агенты? Как они работают: можно запустить простой цикл агента
Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…
Читать статью →DevOpsМониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками
Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…
Читать статью →DevOpsDocker Volumes против Bind Mounts: правильное сохранение данных контейнера
Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…
Читать статью →Автоматизация тестированияTDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый
TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…
Читать статью →Тестирование ПОПользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры
Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…
Читать статью →Базы данных и SQLОбъяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать
Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…
Читать статью →Базы данных и SQLОператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки
SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…
Читать статью →Разработка ПОЧто такое JWT? Веб-токены JSON, объясненные на рабочем примере
Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…
Читать статью →Разработка ПООбъяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами
Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …
Читать статью →Разработка ПОГенераторы Python и объяснение доходности: экономьте память с помощью реальных примеров
Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…
Читать статью →Искусственный интеллектЧто такое вложения? Простое объяснение векторов и косинусного сходства
Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…
Читать статью →DevOpsСине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать
Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…
Читать статью →Автоматизация тестированияНенадежные тесты: что их вызывает и как их исправить навсегда
Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…
Читать статью →Тестирование ПОНагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6
Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…
Читать статью →Тестирование ПОТестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый
Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…
Читать статью →Базы данных и SQLОптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени
Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…
Читать статью →Базы данных и SQLSQL UNION против UNION ALL: различия, примеры и проверка производительности
SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…
Читать статью →Разработка ПОУчебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты
Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…
Читать статью →Разработка ПООбработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами
Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…
Читать статью →Разработка ПОКлассы и объекты Python: учебник ООП с реальными примерами
Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…
Читать статью →Искусственный интеллектЧто такое большая языковая модель? Как работают LLM, объяснено без шумихи
Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…
Читать статью →DevOpsКоманды Linux для начинающих: основное руководство по терминалу с примерами
Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…
Читать статью →Автоматизация тестированияSelenium vs Playwright: ключевые различия, сравнение кода и что выбрать
Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…
Читать статью →Тестирование ПОРазделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах
Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…
Читать статью →Тестирование ПОСерьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры
Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…
Читать статью →Базы данных и SQLУчебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами
Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…
Читать статью →Базы данных и SQLОбъяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции
Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…
Читать статью →Разработка ПОGit Commands Cheat Sheet: The Commands You Actually Use, With Examples
Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…
Читать статью →Разработка ПООбъяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки
Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…
Читать статью →Разработка ПОУчебное пособие по словарю Python: методы, примеры и общие шаблоны
Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…
Читать статью →Искусственный интеллектЧто такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере
Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…
Читать статью →DevOpsУчебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей
Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…
Читать статью →DevOpsDocker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно
Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…
Читать статью →Автоматизация тестированияУчебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры
Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…
Читать статью →Тестирование ПОЖизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример
Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…
Читать статью →Разработка ПОGit merge vs rebase: отличия, примеры и когда что использовать
Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.
Читать статью →Разработка ПОГенераторы списков в Python: синтаксис, примеры и когда их избегать
Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.
Читать статью →Базы данных и SQLSQL JOIN: объяснение с примерами (Inner, Left, Right, Full)
Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…
Читать статью →