Объяснение разбиения на страницы SQL: OFFSET против набора ключей, с тестом в миллион строк
Отображение результатов по одной странице за раз выглядит проще с помощью LIMIT и OFFSET. В больших таблицах глубокие страницы работают медленно, а строки могут повторяться или исчезать. Мы измерили оба подхода на миллионе строк, чтобы показать, почему существует пагинация набора ключей.
- Смещение страниц пропускает строки, поэтому более глубокие страницы выполняют больше работы. В нашем тесте последняя страница заняла около 38 мс против 0,03 мс у первой.
- Разбиение на страницы продолжается после последней просмотренной строки и остается на уровне около 0,03 мс даже на самой глубокой странице.
- Всегда сортируйте по уникальному ключу, например
(created_at, id), иначе страницы могут перекрываться. - OFFSET подходит для небольших таблиц и пронумерованных страниц; набор ключей подходит для больших таблиц, каналов и API.
На экране администратора одновременно отображается двадцать заказов. На первой странице все происходит быстро. Кто-то нажимает «последняя страница» на таблице с миллионом строк, и база данных измельчается. Между тем, в мобильной ленте одна и та же публикация отображается дважды, поскольку между прокрутками появляются новые публикации. Обе проблемы возникают из-за наиболее распространенного способа разбивки на страницы: LIMIT и OFFSET.
Мы построили таблицу SQLite 3.50 с одним миллионом сообщений и индексом по (created_at, id), затем рассчитали время для обоих методов, усреднив повторяющиеся прогоны. Все цифры ниже взяты из этого теста на одной машине; абсолютное время в вашей базе данных будет отличаться, но схема та же.
Что такое пагинация?
Пагинация разбивает большой результат на более мелкие страницы, поэтому приложение загружает двадцать строк вместо миллиона. Он обеспечивает быстроту ответов, уменьшает использование памяти и сетевой трафик и дает пользователям возможность прочитать информацию. Это необходимо каждому экрану списка, результату поиска и коллекции API.
ПРЕДЕЛ и СМЕЩЕНИЕ
-- page 3, 20 rows per page
SELECT id, created_at, title
FROM posts
ORDER BY created_at, id
LIMIT 20 OFFSET 40;
Смещение равно (page - 1) * page_size. Его легко понять, он поддерживает переход прямо к любому номеру страницы, и каждая база данных поддерживает это. SQL Server и Oracle используют стандартную форму OFFSET 40 ROWS FETCH NEXT 20 ROWS ONLY, что означает одно и то же.
Всегда заказывайте что-то уникальное
Без ORDER BY SQL не обещает никакого порядка, поэтому страница 2 может повторять строки со страницы 1. Упорядочение по столбцу, который не является уникальным, например created_at, имеет более тихую версию той же проблемы: строки, имеющие общую временную метку, могут меняться местами между запросами. Добавьте уникальный ключ разрешения конфликтов, обычно первичный ключ, чтобы порядок был полностью определен. В наших выборочных данных не было общих временных меток, но в реальных таблицах они почти всегда есть. Тот же принцип лежит в основе правил упорядочивания в оконных функциях.
Почему глубокие страницы работают медленно
OFFSET не переходит на позицию. База данных должна создавать и удалять каждую пропущенную строку. Страница 50 000 означает чтение 999 980 строк и возврат 20. План выполнения ясно это показал:
OFFSET: SCAN posts USING COVERING INDEX ix_created
KEYSET: SEARCH posts USING COVERING INDEX ix_created (created_at>?)
«СКАНИРОВАНИЕ» означает обход индекса с самого начала; «ПОИСК» означает переход непосредственно к позиции. Прочитав план, описанный в нашем руководстве по оптимизации запросов, вы поймете, какой из них у вас есть.
Пагинация набора ключей
Пагинация набора ключей, также называемая поиском или нумерацией курсора, запоминает, где закончилась предыдущая страница, и запрашивает строки после этой точки:
-- first page
SELECT id, created_at, title FROM posts
ORDER BY created_at, id
LIMIT 20;
-- next page: pass the last row's (created_at, id)
SELECT id, created_at, title FROM posts
WHERE (created_at, id) > (?, ?)
ORDER BY created_at, id
LIMIT 20;
Сравнение значений строк (created_at, id) > (?, ?) означает «более позднюю временную метку или ту же временную метку с более высоким идентификатором». PostgreSQL, MySQL 8 и SQLite поддерживают его. Если его нет, выпишите: created_at > ? OR (created_at = ? AND id > ?). При индексировании одних и тех же столбцов в одном и том же порядке база данных переходит прямо в нужное место, независимо от глубины страницы.
Наши результаты из миллиона строк
Во-первых, выбираем только индексированные столбцы, чтобы только индекс мог ответить на запрос:
| Страница | Смещение | СМЕЩЕНИЕ времени |
|---|---|---|
| 1 | 0 | 0,02 мс |
| 100 | 1,980 | 0,02 мс |
| 10,000 | 199,980 | 1,90 мс |
| 49,999 | 999,960 | 9,69 мс |
| 49 999 (клавиатура) | n/a | 0,02 мс |
Затем с помощью SELECT *, включая 200-символьный столбец тела, которого нет в индексе, что ближе к реальному экрану списка:
| Запрос | Время |
|---|---|
| СМЕЩ 0 | 0,03 мс |
| СМЕЩЕНИЕ 199 980 | 8,14 мс |
| СМЕЩЕНИЕ 999 960 | 38,00 мс |
| Набор клавиш, самая глубокая страница | 0,03 мс |
Время OFFSET росло примерно пропорционально смещению, в то время как набор ключей оставался неизменным. Оба метода вернули одну и ту же первую строку с идентификатором 999 961 для самой глубокой страницы, поэтому результаты были идентичными; отличалась только стоимость. Тридцать восемь миллисекунд кажутся небольшими, но это более чем в тысячу раз медленнее, чем первая страница, оно повторяется для каждого запроса, а на больших таблицах и более загруженных серверах оно увеличивается до секунд.
Дрейф: дубликаты и пробелы
У OFFSET также есть проблемы с корректностью. Мы читаем страницу 1 с тремя строками, сначала вставляем новую строку, которая сортируется, затем читаем страницу 2:
page 1: [1, 2, 3]
-- a new row is inserted at the top
page 2 (OFFSET 3): [3, 4, 5]
Строка 3 появилась дважды, потому что все сместилось на единицу вниз. Удаление строки приводит к обратному результату и автоматически пропускает одну строку. В фидах и экспорте это означает дублирование элементов или пропущенные записи. Пагинация набора ключей не имеет этой проблемы: страница 2 запрашивает строки после строки 3, поэтому новые строки, расположенные ранее в порядке, не могут сместить ее.
Совет. Отсортируйте страницы набора ключей по столбцам, которые никогда не меняются, например по времени создания и идентификатору. Если вы сортируете по чему-то изменяющемуся, например updated_at или счету, строки могут перескакивать между страницами, пока пользователь читает.
Компромиссы
| СМЕЩЕНИЕ | Набор ключей | |
|---|---|---|
| Глубокая скорость страницы | Замедляется с глубиной | Константа |
| Перейти на страницу 37 | Да | Нет |
| Стабильно при изменении данных | Нет | Да |
| Реализация | Тривиальный | Требуется курсор и соответствующий индекс |
| Сортировка по любому столбцу | Легко | Требуется уникальный индексированный ключ сортировки. |
| Предыдущая страница | Легко | Обратное сравнение и порядок |
Промежуточным вариантом для OFFSET является отложенное соединение: сначала просматривайте идентификаторы с использованием покрывающего индекса, а затем извлекайте полные строки только для этих идентификаторов. Это снижает стоимость пропущенных строк, как показала наша первая таблица, но не удаляет ее.
Проектирование API с разбивкой на страницы
Большинство крупных общедоступных API используют нумерацию страниц на основе курсора. Типичный ответ выглядит так:
{
"data": [ ... 20 items ... ],
"next_cursor": "eyJjIjoxNzAwMDYwMDAwLCJpIjo5OTk5ODB9",
"has_more": true
}
Курсор — это значения сортировки последней строки, часто закодированные как Base64 JSON, поэтому клиенты рассматривают его как непрозрачный токен. Клиенты передают его обратно как ?cursor=..., чтобы получить следующую страницу. Сохраняйте максимальный размер страницы, проверяйте курсоры и рассмотрите возможность их подписания, чтобы клиенты не могли создавать свои собственные. Наши рекомендации по REST API охватывают большую часть разработки ответов.
Общее количество
«Страница 3 из 50 000» требует общего подсчета, а SELECT COUNT(*) в большой отфильтрованной таблице может стоить больше, чем сама страница. Варианты включают отображение «больше результатов» вместо точного общего количества, кэширование счетчиков или использование оценки на основе статистики базы данных. Интерфейсы с бесконечной прокруткой обычно полностью пропускают итоговые значения.
Тестирование пагинации
- Запросите каждую страницу и убедитесь, что объединение соответствует полному результату, без дубликатов.
- Проверьте последнюю страницу, пустую таблицу и размер страницы, превышающий размер таблицы.
- Вставляйте и удаляйте строки между запросами страниц и проверяйте, что видят клиенты.
- Используйте строки с одинаковым значением сортировки, чтобы доказать, что механизм разрешения конфликтов работает.
- Найдите глубокую страницу с данными промышленного размера, а не только страницу 1.
Границы, такие как последняя страница и пустые результаты, являются классическими местами для ошибок, как объясняет наше руководство по анализу граничных значений.
Что использовать
- Небольшие таблицы или экраны администратора с номерами страниц: OFFSET подойдет.
- Большие таблицы, каналы, бесконечная прокрутка, экспорт и общедоступные API: набор ключей.
- Обам требуется: набор клавиш для «следующего» и «предыдущего», с ограниченным переходом по номеру страницы или поиском для сужения результатов.
Итоги
LIMIT и OFFSET идеальны до тех пор, пока таблицы не растут и данные не изменяются под пользователем. Пагинация набора ключей требует немного больше дизайна, уникального ключа сортировки, соответствующего индекса и курсора, но она остается быстрой на любой глубине и никогда не показывает одну и ту же строку дважды. Измерьте глубокую страницу на реалистичных данных, прежде чем решить, какая из них нужна вашей функции.
Часто задаваемые вопросы
Что такое пагинация набора ключей?
Он выбирает следующую страницу, запрашивая строки после последней просмотренной строки, используя WHERE в столбцах сортировки вместо пропуска строк с помощью OFFSET. Это также называется поиском или нумерацией страниц курсора.
Почему OFFSET работает медленно на больших таблицах?
База данных должна прочитать и отбросить каждую пропущенную строку. В нашем тесте с миллионом строк самая глубокая страница заняла около 38 мс при использовании OFFSET и 0,03 мс при использовании набора ключей.
Почему я вижу повторяющиеся строки на страницах?
Либо ORDER BY не уникален, либо строки были вставлены или удалены между запросами при использовании OFFSET. Добавьте уникальный механизм разрешения конфликтов и рассмотрите возможность нумерации страниц набора ключей.
Может ли нумерация страниц перейти к номеру страницы?
Не напрямую. Он движется вперед или назад от известной строки. Используйте OFFSET там, где необходимы пронумерованные переходы на страницы.
Какой индекс нужен для разбиения на страницы набора ключей?
Индекс столбцов сортировки в том же порядке, например (created_at, id), чтобы база данных могла перейти непосредственно к начальной строке.
Продолжайте учиться
Нужна помощь с тестированием, WordPress или SEO?
Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.
Больше руководств по тестирование, искусственный интеллект и современные разработки
Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.
Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска
BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…
Читать статью →Разработка ПООбъяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере
Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …
Читать статью →DevOpsОбъяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически
Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …
Читать статью →Автоматизация тестированияОбъяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m
Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…
Читать статью →Тестирование ПОПозитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список
Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…
Читать статью →Базы данных и SQLSQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.
SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…
Читать статью →Базы данных и SQLПромежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE
Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…
Читать статью →Разработка ПОСортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5
Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…
Читать статью →Разработка ПОСтроковые методы Python: шпаргалка, реальные примеры и ловушка Strip()
Строковые методы Python с проверенными примерами: разделение, объединение, удаление, замена, поиск, начало с, is-методы, регистр, разделение и перев…
Читать статью →Искусственный интеллектОбъяснение косинусного сходства: формула, рабочий пример и код Python
Сходство косинуса объясняется просто: формула, обработанный вручную пример, чистый код Python и NumPy, соотношение косинуса и евклидова расстояния п…
Читать статью →Разработка ПООбъяснение кодировки UTF-8: как текст становится байтами и как исправить искаженный текст
Кодировка UTF-8 объясняется на примерах на уровне байтов, которые мы запускали на Python: как символы становятся размером от 1 до 4 байтов, почему к…
Читать статью →Автоматизация тестированияОбъяснение параметризации pytest: 7 шаблонов с проверенными примерами
Параметризация pytest объясняется с помощью 7 протестированных шаблонов: базовые случаи, читаемые идентификаторы, составные декораторы, pytest.param…
Читать статью →Тестирование ПОПовторное тестирование и регрессионное тестирование: 8 ключевых отличий от реального примера исправления ошибок
Повторное тестирование и регрессионное тестирование объясняются реальным исправлением ошибки, запущенным в pytest: повторное тестирование подтвердил…
Читать статью →Базы данных и SQLУдаление повторяющихся строк в SQL: 5 безопасных методов, проверенных шаг за шагом
Как безопасно удалить повторяющиеся строки в SQL: найдите их, просмотрите их, затем удалите их с помощью ROW_NUMBER, MIN(id), EXISTS, rowid или ново…
Читать статью →Базы данных и SQLSQL RANK, DENSE_RANK и ROW_NUMBER: различия с протестированными примерами
SQL RANK, DENSE_RANK и ROW_NUMBER в одной таблице: как каждая из них обрабатывает связи, топ-N на группу, вторую по величине ловушку зарплаты и дете…
Читать статью →Разработка ПОНеобязательное связывание JavaScript (?.) Объяснение: 8 примеров, ?? Значения по умолчанию и ловушки
Необязательная цепочка JavaScript останавливает ошибки «Невозможно прочитать свойства неопределенных». 8 проверенных примеров свойств, массивов и ме…
Читать статью →Разработка ПООбъяснение Python enumerate(): 7 примеров, start=1 и ошибок, которых следует избегать
Python enumerate() дает вам индекс и значение в одном чистом цикле. 7 проверенных примеров, трюк start=1, словари, файлы, числа скорости и 3 ошибки,…
Читать статью →Искусственный интеллектОбъяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное
Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…
Читать статью →Разработка ПООбъяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы
Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…
Читать статью →DevOpsОбъяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано
Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …
Читать статью →Тестирование ПООбъяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных
Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…
Читать статью →Автоматизация тестированияОбъяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python
Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…
Читать статью →Базы данных и SQLОбъяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано
SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…
Читать статью →Базы данных и SQLОбъяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано
Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…
Читать статью →Разработка ПООбъяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано
Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…
Читать статью →Разработка ПООбъяснение функций Python: lru_cache, частичное, сокращение, переносы и многое другое, протестировано
Функциональные инструменты Python объяснены с помощью кода, который мы запускали на Python 3.13: lru_cache и кэш, частичное, сокращение, обертки, кэ…
Читать статью →Разработка ПООбъяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано
Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…
Читать статью →Искусственный интеллектОбъяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное
Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…
Читать статью →Разработка ПООбъяснение вебхуков: как они работают и как безопасно их получать
Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…
Читать статью →DevOpsОбъяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано
Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…
Читать статью →Автоматизация тестированияОбъяснение моментального тестирования: как оно работает, когда помогает, а когда вредит
Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…
Читать статью →Тестирование ПООбъяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка
Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…
Читать статью →Базы данных и SQLОбъяснение функций SQL JSON: запрос, обновление и индексирование JSON в SQL, протестировано
Функции SQL JSON, объясненные с помощью запросов, которые мы выполняли в SQLite 3.50: json_extract, операторы -> и ->>, json_each, json_set…
Читать статью →Базы данных и SQLОбъяснение SQL Pivot: Преобразование строк в столбцы с помощью CASE, FILTER и PIVOT
Поворот SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: условная агрегация с CASE и SUM, FILTER, NULL против нуля, итоги, ди…
Читать статью →Разработка ПООбъяснение этого ключевого слова в JavaScript: каждое правило привязки, протестированное в Node
Это ключевое слово JavaScript объяснило 17 случаев, которые мы запускали в Node 24: вызовы методов, потеря this в обратных вызовах, строгий режим, ф…
Читать статью →Разработка ПООбъяснение Python pathlib: пути, файлы и папки по-современному, протестировано
Python pathlib объясняется на примерах, которые мы запускали на Python 3.13: объединение путей с помощью /, имени, основы и суффикса, чтение и запис…
Читать статью →Разработка ПООбъяснение инструментов Python itertools: ленивые циклы, комбинации и группировка, протестировано
Инструменты Python itertools объяснены на примерах, которые мы запускали на Python 3.13: подсчет, цикл, накопление, цепочка, группировка, произведен…
Читать статью →Искусственный интеллектОбъяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить
Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…
Читать статью →DevOpsОбъяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском
Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …
Читать статью →DevOpsОбъяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов
Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…
Читать статью →Автоматизация тестированияГенерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные
Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…
Читать статью →Тестирование ПООбъяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды
Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…
Читать статью →Базы данных и SQLОбъяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных
Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…
Читать статью →Базы данных и SQLОбъяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни
Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …
Читать статью →Разработка ПООбъяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки
Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…
Читать статью →Разработка ПОМодули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано
Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…
Читать статью →Разработка ПООбъяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано
Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…
Читать статью →Искусственный интеллектОбъяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта
Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…
Читать статью →DevOpsОбъяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки
Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…
Читать статью →DevOpsОбъяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом
Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …
Читать статью →Автоматизация тестированияОбъяснение тестирования контрактов API: уловите критические изменения до их выпуска
Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…
Читать статью →Тестирование ПООбъяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение
Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…
Читать статью →Базы данных и SQLОбъяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано
Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…
Читать статью →Базы данных и SQLОбъяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок
Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…
Читать статью →Разработка ПООбъяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем
Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…
Читать статью →Разработка ПОDebounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано
Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…
Читать статью →Разработка ПООбъяснение менеджеров контекста Python: оператор with, contextlib и реальное использование
Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…
Читать статью →Искусственный интеллектОбъяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово
Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…
Читать статью →DevOpsОбъяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали
YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …
Читать статью →DevOpsОбъяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают
Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…
Читать статью →Тестирование ПОЖизненный цикл ошибки в тестировании программного обеспечения: каждый статус, кто им владеет и распространенные ошибки
Объясняется жизненный цикл ошибки: каждый статус дефекта от «Нового» до «Закрытого», кто отвечает за каждый шаг, отклоненные, отложенные и повторно …
Читать статью →Автоматизация тестированияТестирование на основе свойств в Python: гипотеза находит ошибки, которые упускают ваши примеры
Тестирование на основе свойств, объясненное с помощью тестов гипотез, которые мы проводили: свойства и примеры, стратегии, сокращение, реальные ошиб…
Читать статью →Базы данных и SQLОбъяснение разбиения на страницы SQL: OFFSET против набора ключей, с тестом в миллион строк
Разбивка на страницы SQL, объясненная с помощью теста с миллионом строк, который мы провели: LIMIT и OFFSET, почему глубокие страницы работают медле…
Читать статью →Искусственный интеллектОбъяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить
Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…
Читать статью →DevOpsОбъяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация
Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…
Читать статью →Разработка ПООбъяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429
Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…
Читать статью →Автоматизация тестированияИздевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут
Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …
Читать статью →Тестирование ПООбъяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%
Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…
Читать статью →Базы данных и SQLDELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них
Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…
Читать статью →Базы данных и SQLОбъяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами
Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…
Читать статью →Разработка ПОИнтерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора
Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…
Читать статью →Разработка ПООбъяснение Python *args и **kwargs: гибкие функции с понятными примерами
Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…
Читать статью →Разработка ПОЛямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать
Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …
Читать статью →Искусственный интеллектЧто такое ИИ-агенты? Как они работают: можно запустить простой цикл агента
Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…
Читать статью →DevOpsМониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками
Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…
Читать статью →DevOpsDocker Volumes против Bind Mounts: правильное сохранение данных контейнера
Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…
Читать статью →Автоматизация тестированияTDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый
TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…
Читать статью →Тестирование ПОПользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры
Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…
Читать статью →Базы данных и SQLОбъяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать
Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…
Читать статью →Базы данных и SQLОператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки
SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…
Читать статью →Разработка ПОЧто такое JWT? Веб-токены JSON, объясненные на рабочем примере
Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…
Читать статью →Разработка ПООбъяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами
Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …
Читать статью →Разработка ПОГенераторы Python и объяснение доходности: экономьте память с помощью реальных примеров
Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…
Читать статью →Искусственный интеллектЧто такое вложения? Простое объяснение векторов и косинусного сходства
Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…
Читать статью →DevOpsСине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать
Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…
Читать статью →Автоматизация тестированияНенадежные тесты: что их вызывает и как их исправить навсегда
Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…
Читать статью →Тестирование ПОНагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6
Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…
Читать статью →Тестирование ПОТестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый
Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…
Читать статью →Базы данных и SQLОптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени
Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…
Читать статью →Базы данных и SQLSQL UNION против UNION ALL: различия, примеры и проверка производительности
SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…
Читать статью →Разработка ПОУчебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты
Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…
Читать статью →Разработка ПООбработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами
Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…
Читать статью →Разработка ПОКлассы и объекты Python: учебник ООП с реальными примерами
Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…
Читать статью →Искусственный интеллектЧто такое большая языковая модель? Как работают LLM, объяснено без шумихи
Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…
Читать статью →DevOpsКоманды Linux для начинающих: основное руководство по терминалу с примерами
Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…
Читать статью →Автоматизация тестированияSelenium vs Playwright: ключевые различия, сравнение кода и что выбрать
Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…
Читать статью →Тестирование ПОРазделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах
Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…
Читать статью →Тестирование ПОСерьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры
Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…
Читать статью →Базы данных и SQLУчебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами
Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…
Читать статью →Базы данных и SQLОбъяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции
Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…
Читать статью →Разработка ПОGit Commands Cheat Sheet: The Commands You Actually Use, With Examples
Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…
Читать статью →Разработка ПООбъяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки
Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…
Читать статью →Разработка ПОУчебное пособие по словарю Python: методы, примеры и общие шаблоны
Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…
Читать статью →Искусственный интеллектЧто такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере
Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…
Читать статью →DevOpsУчебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей
Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…
Читать статью →DevOpsDocker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно
Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…
Читать статью →Автоматизация тестированияУчебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры
Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…
Читать статью →Тестирование ПОЖизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример
Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…
Читать статью →Разработка ПОGit merge vs rebase: отличия, примеры и когда что использовать
Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.
Читать статью →Разработка ПОГенераторы списков в Python: синтаксис, примеры и когда их избегать
Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.
Читать статью →Базы данных и SQLSQL JOIN: объяснение с примерами (Inner, Left, Right, Full)
Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…
Читать статью →