Объяснение инструментов Python itertools: ленивые циклы, комбинации и группировка, протестировано

  1. Главная
  2. Блог
  3. Разработка программного обеспечения

Разработка программного обеспечения

Объяснение Python itertools: Отложенные циклы, комбинации и группировка, протестировано

Python itertools предоставляет вам быстрые и легкие в использовании строительные блоки для циклов: бесконечные счетчики, цепочки, группировки, комбинации и пакетная обработка. Изучите каждый инструмент, используя результаты, которые мы на самом деле использовали, а также ловушки, которые незаметно возвращают неправильные ответы.

10 мин чтения
Объяснение Python itertools: ленивые циклы, комбинации и группировка, протестировано

Главное

  • itertools встроен в Python. Его функции возвращают ленивые итераторы, поэтому они выдают значения только по вашему запросу.
  • groupby группирует только соседние элементы. Сначала выполните сортировку по одному и тому же ключу, иначе вы получите разделенные группы.
  • product, permutations и combinations заменяют вложенные циклы и удобны для тестовых матриц.
  • В нашем тесте выравнивание 100 списков с помощью chain.from_iterable заняло 0,045 мс против 0,522 мс для sum(lists, []).

Многие циклы Python следуют одной и той же схеме: считают вечно, объединяют несколько списков, группируют строки по ключу, пробуют каждую пару или разбивают работу на пакеты. Вы можете написать каждый из них вручную, используя вложенные for циклы и временные списки, но Python itertools уже предлагает проверенные и быстрые версии всех из них. Как только вы узнаете имена, ваши циклы станут короче и будут использовать гораздо меньше памяти.

Каждый пример в этом руководстве был запущен с использованием Python 3.13.6, и показанные выходные данные скопированы из этого запуска. Если вы новичок в использовании итераторов, наше руководство по генераторам Python станет хорошим помощником, поскольку генераторы и инструменты itertools естественным образом работают вместе.

Что такое itertools?

itertools представляет собой стандартный библиотечный модуль, состоящий из строительных блоков итераторов. Вы импортируете его, вызываете функцию и получаете объект итератора, а не список. Функции делятся на три группы:

  • Бесконечные итераторы: count, cycle и repeat.
  • Итераторы, заканчивающиеся самым коротким вводом: accumulate, chain, groupby, compress, pairwise, batched, takewhile и другие.
  • Комбинаторные итераторы: product, permutations, combinations и combinations_with_replacement.
import itertools as it

Почему ленивые итераторы имеют значение

Список хранит все значения в памяти одновременно. Итератор хранит ровно столько состояния, сколько необходимо для создания следующего значения. Вот почему вы можете построить бесконечный счетчик без зависания программы: ничего не вычисляется до тех пор, пока цикл next() или list() не вытащит значение.

Мы измерили разницу. Список из миллиона целых чисел занял 8 448 728 байт согласно sys.getsizeof, который учитывает только массив указателей списка. Объект islice, который возвращает тот же миллион чисел, занял 72 байта. Загвоздка в том, что итератор можно прочитать только один раз, о чем мы поговорим в разделе tee.

считать, повторять и повторять

Эти три никогда не останавливаются сами по себе, поэтому соедините их с islice, zip или break.

print(list(it.islice(it.count(10, 5), 4)))
print(list(it.islice(it.cycle("AB"), 5)))
print(list(map(pow, range(4), it.repeat(2))))
[10, 15, 20, 25]
['A', 'B', 'A', 'B', 'A']
[0, 1, 4, 9]

count(start, step) идеально подходит для генерации идентификаторов. cycle зацикливает последовательность навсегда, что подходит для циклической работы, такой как назначение билетов ротации тестировщиков. repeat передает то же значение в map без создания списка копий.

Аккуратный трюк объединяет count с выражением-генератором, чтобы найти первое значение, соответствующее правилу:

first = next(x for x in it.count(1) if x * x > 2026)
print(first)   # 46

накапливать: текущие итоги

accumulate возвращает текущие результаты. По умолчанию он добавляется, но вы можете передать любую функцию с двумя аргументами.

print(list(it.accumulate([5, 3, -2, 4])))
print(list(it.accumulate([3, 1, 4, 1, 5], max)))
[5, 8, 6, 10]
[3, 3, 4, 4, 5]

Первая строка — текущий баланс. Второй — это текущий максимум, который полезен для отслеживания лучшего результата или пикового времени отклика в нагрузочном тесте.

цепочка: объединять итерации без копирования

chain проходит через несколько итераций одну за другой, как если бы они были одним целым. chain.from_iterable делает то же самое для итерации из итераций, что является стандартным способом выравнивания одного уровня вложенности.

print(list(it.chain([1, 2], (3,), "ab")))
print(list(it.chain.from_iterable([[1, 2], [3], [4, 5]])))
[1, 2, 3, 'a', 'b']
[1, 2, 3, 4, 5]

Обратите внимание, что строка сама по себе является итеративной, поэтому "ab" становится двумя элементами. Если вы хотите, чтобы строка была одним элементом, сначала оберните ее в список.

groupby: самый непонятый инструмент

groupby разбивает последовательность на серии элементов, имеющих общий ключ. Слово «бежит» — важная часть: оно группирует только элементы, расположенные рядом друг с другом. Посмотрите, что произошло с несортированными уровнями журналов:

logs = ["error", "error", "info", "error", "info", "info"]
print([(k, len(list(g))) for k, g in it.groupby(logs)])
print([(k, len(list(g))) for k, g in it.groupby(sorted(logs))])
[('error', 2), ('info', 1), ('error', 1), ('info', 2)]
[('error', 3), ('info', 3)]

Несортированная версия выдала четыре группы вместо двух, и нас ничего не предупредило. Это поведение сильно отличается от SQL, где GROUP BY собирает все совпадающие строки, где бы они ни находились. Если это сравнение поможет, см. SQL GROUP BY и HAVING.

Для записей сортировка и группировка с одной и той же ключевой функцией:

import operator
orders = [{"city": "Pune", "amt": 120}, {"city": "Delhi", "amt": 80}, {"city": "Pune", "amt": 50}]
key = operator.itemgetter("city")
print({k: sum(o["amt"] for o in g) for k, g in it.groupby(sorted(orders, key=key), key=key)})
{'Delhi': 80, 'Pune': 170}

Совет: каждая группа сама по себе является итератором, который становится недействительным, как только groupby движется дальше. Употребите его сразу, например, с list(g) или sum(...), перед следующей группой.

Если ваши данные еще не отсортированы и вам нужны только итоговые значения, простой словарь Python или collections.Counter зачастую проще и позволяет избежать сортировки.

произведение, перестановки и комбинации

Они заменяют вложенные циклы, когда вам нужно каждое расположение некоторых входов.

print(list(it.product(["chrome", "firefox"], ["win", "mac"])))
print(["".join(p) for p in it.permutations("ABC", 2)])
print(["".join(c) for c in it.combinations("ABCD", 2)])
print(["".join(c) for c in it.combinations_with_replacement("AB", 2)])
[('chrome', 'win'), ('chrome', 'mac'), ('firefox', 'win'), ('firefox', 'mac')]
['AB', 'AC', 'BA', 'BC', 'CA', 'CB']
['AB', 'AC', 'AD', 'BC', 'BD', 'CD']
['AA', 'AB', 'BB']
Функция Порядок имеет значение? Повторы разрешены? Типичное использование
продукт Да Yes (across inputs) Матрица браузера и ОС
перестановки Да Нет Порядок шагов
комбинации Нет Нет Уникальные пары для сравнения
combinations_with_replacement Нет Да Мультисеты, суммы кубиков

Будьте осторожны с размером. Подсчет произведения трех диапазонов по 3, 4 и 5 элементов дал 60 кортежей. Каждое дополнительное измерение умножает общее число, поэтому матрица, которая выглядит маленькой, может взорваться. Посчитайте с помощью sum(1 for _ in ...) или math.prod, прежде чем запускать что-либо дорогостоящее внутри цикла.

попарно и пакетно

pairwise (Python 3.10+) дает перекрывающихся соседей, что идеально подходит для различий между показаниями. batched (Python 3.12+) разбивает данные на фрагменты фиксированного размера.

print(list(it.pairwise([1, 4, 9, 16])))
print(list(it.batched(range(7), 3)))
[(1, 4), (4, 9), (9, 16)]
[(0, 1, 2), (3, 4, 5), (6,)]

Обратите внимание, что последняя партия короче. Если вы отправляете пакеты в API, который ожидает ровно три элемента, обработайте этот последний фрагмент. batched — это простой способ вставлять в базу данных несколько сотен строк за раз или соблюдать ограничение скорости API.

Фильтрация: сжимать, брать, удалять, фильтровать ложно.

print(list(it.compress("ABCDE", [1, 0, 1, 0, 1])))
print(list(it.takewhile(lambda x: x < 5, [1, 3, 6, 2])))
print(list(it.dropwhile(lambda x: x < 5, [1, 3, 6, 2])))
print(list(it.filterfalse(lambda x: x % 2, range(8))))
['A', 'C', 'E']
[1, 3]
[6, 2]
[0, 2, 4, 6]

Здесь сюрпризом является takewhile. Он останавливается при первой ошибке, поэтому 2 в конце никогда не проверялось. dropwhile является зеркальным отражением: как только условие не выполняется, оно возвращает все после него, включая 2. Используйте их для отсортированных данных или потоков с четким ограничением, например для чтения строк журнала до тех пор, пока не пройдет временная метка. Для общего фильтра используйте filter или понимание. Короткие функции, переданные здесь, — это лямбда-функции Python.

zip_longest и звездная карта

Встроенный zip останавливается на самом коротком входе и молча отбрасывает остальные. zip_longest продолжает работу и заполняет пробелы:

print(list(zip("abc", [1, 2])))
print(list(it.zip_longest("abc", [1, 2], fillvalue=0)))
print(list(it.starmap(pow, [(2, 3), (3, 2), (10, 0)])))
[('a', 1), ('b', 2)]
[('a', 1), ('b', 2), ('c', 0)]
[8, 9, 1]

При сравнении ожидаемого списка с фактическим списком в тесте zip может скрыть отсутствующий конечный элемент. zip_longest раскрывает это. Начиная с Python 3.10, вы также можете передавать strict=True в zip, чтобы вызвать ошибку при неравной длине. starmap распаковывает каждый кортеж в аргументы функции, что сохраняет лямбду.

исчерпание тройника и итератора

Итератор используется после одного прохода. Это наиболее распространенная ошибка itertools:

g = (x * x for x in range(3))
print(list(g), list(g))     # [0, 1, 4] []

a, b = it.tee(iter([1, 2, 3]))
print(list(a), list(b))     # [1, 2, 3] [1, 2, 3]

Второй list(g) был пустым, без ошибок. tee разбивает один итератор на независимые копии, но буферизует значения внутри. Если одна копия опережает другую, память увеличивается, и в этот момент простой список обычно проще. Кроме того, не используйте исходный итератор после вызова tee.

Память и скорость на практике

Мы запланировали сведение 100 списков по 100 чисел по 200 раз в каждом. sum(lists, []) в среднем составил 0,522 мс, а list(chain.from_iterable(lists)) — в среднем 0,045 мс, что примерно в одиннадцать раз быстрее. Версия sum работает медленно, поскольку на каждом этапе она создает новый, более длинный список.

Ваши числа будут различаться в зависимости от машины, но форма сохраняется: функции itertools реализованы на C и не позволяют создавать временные списки. Больший выигрыш обычно — это память. Конвейер итераторов может обрабатывать файл из миллионов строк, удерживая одновременно только одну строку. Если вы предпочитаете синтаксис понимания, понимание списков с готовностью создает списки, а выражения-генераторы хорошо сочетаются с itertools.

Использование itertools в тестировании

Тестировщики получают много пользы от этого модуля. product строит матрицы конфигурации для параметризованных тестов, например, для каждого браузера с любым размером экрана. В combinations каждая пара функций предлагается для совместного тестирования, что является отправной точкой для парного тестирования. cycle чередует тестовые учетные записи, чтобы параллельные запуски не ссорились из-за одного входа в систему. count генерирует уникальные порядковые номера для тестовых данных.

import pytest
MATRIX = list(it.product(["chrome", "firefox"], ["1280x800", "375x812"]))

@pytest.mark.parametrize("browser,size", MATRIX)
def test_home_page(browser, size):
    ...

Этот фрагмент pytest показывает только шаблон; мы не запускали его в браузере. Матрица должна быть небольшой и продуманной, потому что четыре комбинации быстро превращаются в сорок. В нашем руководстве по настройке pytest показано, как совместно использовать настройки в таких случаях.

Когда использовать itertools, а когда нет

  • Используйте его для потоков, больших файлов, сгенерированных последовательностей, комбинаций и пакетной обработки, где лень экономит память.
  • Используйте его для замены вложенных циклов, единственная задача которых — создание аранжировок.
  • Пропустите, когда понимание списка станет более понятным для вашей команды. Умный однострочник, который никто не может отладить, — это не победа.
  • Пропустите, если вам нужно многократно использовать данные; сохраните список вместо того, чтобы бороться с утомлением.

В официальной документации также есть раздел «рецепты» с готовыми помощниками, собранными из этих кусочков. Прочтите их, как только освоитесь с основами.

Итоги

Python itertools вознаграждает за небольшие инвестиции. Сначала изучите chain, groupby, product, pairwise и batched, поскольку они охватывают большинство повседневных циклов. Тогда помните о двух ловушках, которые поймали нас при тестировании: сортируйте до groupby и никогда не читайте итератор дважды. Благодаря этим привычкам ваши циклы станут короче, быстрее и их будет легче просматривать.

Часто задаваемые вопросы

Что такое itertools в Python?

itertools — это встроенный модуль быстрых инструментов-итераторов для подсчета, объединения в цепочки, группировки, фильтрации и генерации комбинаций. Его функции возвращают ленивые итераторы вместо списков.

Почему itertools.groupby предоставляет повторяющиеся группы?

groupby группирует только последовательные элементы с одним и тем же ключом. Сначала отсортируйте данные по одному и тому же ключу. В нашем тесте несортированные бревна образовали четыре группы вместо двух.

В чем разница между перестановками и комбинациями?

перестановки рассматривают AB и BA как разные, а комбинации рассматривают их как одну и ту же пару. Для двух предметов из ABC перестановки дали 6 результатов, а комбинации — 3.

Какая версия Python мне нужна для пакетной и парной обработки?

попарно было добавлено в Python 3.10 и упаковано в Python 3.12. Мы запускали каждый пример из этого руководства на Python 3.13.6.

Itertools быстрее, чем написание циклов?

Часто да, потому что функции реализованы на C и не требуют использования временных списков. Сглаживание с помощью Chain.from_iterable было примерно в одиннадцать раз быстрее, чем sum(lists, []) по нашему времени.

Продолжайте учиться

Работайте с Stack Quora

Нужна помощь с тестированием, WordPress или SEO?

Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.

Продолжайте читать

Больше руководств по тестирование, искусственный интеллект и современные разработки

Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.

Искусственный интеллект

Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска

BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…

Читать статью →
Разработка ПО

Объяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере

Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …

Читать статью →
DevOps

Объяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически

Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …

Читать статью →
Автоматизация тестирования

Объяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m

Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…

Читать статью →
Тестирование ПО

Позитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список

Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…

Читать статью →
Базы данных и SQL

SQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.

SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…

Читать статью →
Базы данных и SQL

Промежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE

Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…

Читать статью →
Разработка ПО

Сортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5

Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…

Читать статью →
Разработка ПО

Строковые методы Python: шпаргалка, реальные примеры и ловушка Strip()

Строковые методы Python с проверенными примерами: разделение, объединение, удаление, замена, поиск, начало с, is-методы, регистр, разделение и перев…

Читать статью →
Искусственный интеллект

Объяснение косинусного сходства: формула, рабочий пример и код Python

Сходство косинуса объясняется просто: формула, обработанный вручную пример, чистый код Python и NumPy, соотношение косинуса и евклидова расстояния п…

Читать статью →
Разработка ПО

Объяснение кодировки UTF-8: как текст становится байтами и как исправить искаженный текст

Кодировка UTF-8 объясняется на примерах на уровне байтов, которые мы запускали на Python: как символы становятся размером от 1 до 4 байтов, почему к…

Читать статью →
Автоматизация тестирования

Объяснение параметризации pytest: 7 шаблонов с проверенными примерами

Параметризация pytest объясняется с помощью 7 протестированных шаблонов: базовые случаи, читаемые идентификаторы, составные декораторы, pytest.param…

Читать статью →
Тестирование ПО

Повторное тестирование и регрессионное тестирование: 8 ключевых отличий от реального примера исправления ошибок

Повторное тестирование и регрессионное тестирование объясняются реальным исправлением ошибки, запущенным в pytest: повторное тестирование подтвердил…

Читать статью →
Базы данных и SQL

Удаление повторяющихся строк в SQL: 5 безопасных методов, проверенных шаг за шагом

Как безопасно удалить повторяющиеся строки в SQL: найдите их, просмотрите их, затем удалите их с помощью ROW_NUMBER, MIN(id), EXISTS, rowid или ново…

Читать статью →
Базы данных и SQL

SQL RANK, DENSE_RANK и ROW_NUMBER: различия с протестированными примерами

SQL RANK, DENSE_RANK и ROW_NUMBER в одной таблице: как каждая из них обрабатывает связи, топ-N на группу, вторую по величине ловушку зарплаты и дете…

Читать статью →
Разработка ПО

Необязательное связывание JavaScript (?.) Объяснение: 8 примеров, ?? Значения по умолчанию и ловушки

Необязательная цепочка JavaScript останавливает ошибки «Невозможно прочитать свойства неопределенных». 8 проверенных примеров свойств, массивов и ме…

Читать статью →
Разработка ПО

Объяснение Python enumerate(): 7 примеров, start=1 и ошибок, которых следует избегать

Python enumerate() дает вам индекс и значение в одном чистом цикле. 7 проверенных примеров, трюк start=1, словари, файлы, числа скорости и 3 ошибки,…

Читать статью →
Искусственный интеллект

Объяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное

Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…

Читать статью →
Разработка ПО

Объяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы

Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…

Читать статью →
DevOps

Объяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано

Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …

Читать статью →
Тестирование ПО

Объяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных

Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…

Читать статью →
Автоматизация тестирования

Объяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python

Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…

Читать статью →
Базы данных и SQL

Объяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано

SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…

Читать статью →
Базы данных и SQL

Объяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано

Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…

Читать статью →
Разработка ПО

Объяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано

Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…

Читать статью →
Разработка ПО

Объяснение функций Python: lru_cache, частичное, сокращение, переносы и многое другое, протестировано

Функциональные инструменты Python объяснены с помощью кода, который мы запускали на Python 3.13: lru_cache и кэш, частичное, сокращение, обертки, кэ…

Читать статью →
Разработка ПО

Объяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано

Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…

Читать статью →
Искусственный интеллект

Объяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное

Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…

Читать статью →
Разработка ПО

Объяснение вебхуков: как они работают и как безопасно их получать

Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…

Читать статью →
DevOps

Объяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано

Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…

Читать статью →
Автоматизация тестирования

Объяснение моментального тестирования: как оно работает, когда помогает, а когда вредит

Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…

Читать статью →
Тестирование ПО

Объяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка

Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…

Читать статью →
Базы данных и SQL

Объяснение функций SQL JSON: запрос, обновление и индексирование JSON в SQL, протестировано

Функции SQL JSON, объясненные с помощью запросов, которые мы выполняли в SQLite 3.50: json_extract, операторы -> и ->>, json_each, json_set…

Читать статью →
Базы данных и SQL

Объяснение SQL Pivot: Преобразование строк в столбцы с помощью CASE, FILTER и PIVOT

Поворот SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: условная агрегация с CASE и SUM, FILTER, NULL против нуля, итоги, ди…

Читать статью →
Разработка ПО

Объяснение этого ключевого слова в JavaScript: каждое правило привязки, протестированное в Node

Это ключевое слово JavaScript объяснило 17 случаев, которые мы запускали в Node 24: вызовы методов, потеря this в обратных вызовах, строгий режим, ф…

Читать статью →
Разработка ПО

Объяснение Python pathlib: пути, файлы и папки по-современному, протестировано

Python pathlib объясняется на примерах, которые мы запускали на Python 3.13: объединение путей с помощью /, имени, основы и суффикса, чтение и запис…

Читать статью →
Разработка ПО

Объяснение инструментов Python itertools: ленивые циклы, комбинации и группировка, протестировано

Инструменты Python itertools объяснены на примерах, которые мы запускали на Python 3.13: подсчет, цикл, накопление, цепочка, группировка, произведен…

Читать статью →
Искусственный интеллект

Объяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить

Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…

Читать статью →
DevOps

Объяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском

Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …

Читать статью →
DevOps

Объяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов

Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…

Читать статью →
Автоматизация тестирования

Генерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные

Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…

Читать статью →
Тестирование ПО

Объяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды

Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…

Читать статью →
Базы данных и SQL

Объяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных

Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…

Читать статью →
Базы данных и SQL

Объяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни

Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …

Читать статью →
Разработка ПО

Объяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки

Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…

Читать статью →
Разработка ПО

Модули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано

Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…

Читать статью →
Разработка ПО

Объяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано

Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…

Читать статью →
Искусственный интеллект

Объяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта

Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…

Читать статью →
DevOps

Объяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки

Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…

Читать статью →
DevOps

Объяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом

Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …

Читать статью →
Автоматизация тестирования

Объяснение тестирования контрактов API: уловите критические изменения до их выпуска

Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…

Читать статью →
Тестирование ПО

Объяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение

Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…

Читать статью →
Базы данных и SQL

Объяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано

Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…

Читать статью →
Базы данных и SQL

Объяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок

Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…

Читать статью →
Разработка ПО

Объяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем

Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…

Читать статью →
Разработка ПО

Debounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано

Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…

Читать статью →
Разработка ПО

Объяснение менеджеров контекста Python: оператор with, contextlib и реальное использование

Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…

Читать статью →
Искусственный интеллект

Объяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово

Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…

Читать статью →
DevOps

Объяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали

YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …

Читать статью →
DevOps

Объяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают

Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…

Читать статью →
Тестирование ПО

Жизненный цикл ошибки в тестировании программного обеспечения: каждый статус, кто им владеет и распространенные ошибки

Объясняется жизненный цикл ошибки: каждый статус дефекта от «Нового» до «Закрытого», кто отвечает за каждый шаг, отклоненные, отложенные и повторно …

Читать статью →
Автоматизация тестирования

Тестирование на основе свойств в Python: гипотеза находит ошибки, которые упускают ваши примеры

Тестирование на основе свойств, объясненное с помощью тестов гипотез, которые мы проводили: свойства и примеры, стратегии, сокращение, реальные ошиб…

Читать статью →
Базы данных и SQL

Объяснение разбиения на страницы SQL: OFFSET против набора ключей, с тестом в миллион строк

Разбивка на страницы SQL, объясненная с помощью теста с миллионом строк, который мы провели: LIMIT и OFFSET, почему глубокие страницы работают медле…

Читать статью →
Искусственный интеллект

Объяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить

Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…

Читать статью →
DevOps

Объяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация

Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…

Читать статью →
Разработка ПО

Объяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429

Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…

Читать статью →
Автоматизация тестирования

Издевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут

Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …

Читать статью →
Тестирование ПО

Объяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%

Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…

Читать статью →
Базы данных и SQL

DELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них

Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…

Читать статью →
Базы данных и SQL

Объяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами

Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…

Читать статью →
Разработка ПО

Интерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора

Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…

Читать статью →
Разработка ПО

Объяснение Python *args и **kwargs: гибкие функции с понятными примерами

Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…

Читать статью →
Разработка ПО

Лямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать

Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …

Читать статью →
Искусственный интеллект

Что такое ИИ-агенты? Как они работают: можно запустить простой цикл агента

Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…

Читать статью →
DevOps

Мониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками

Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…

Читать статью →
DevOps

Docker Volumes против Bind Mounts: правильное сохранение данных контейнера

Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…

Читать статью →
Автоматизация тестирования

TDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый

TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…

Читать статью →
Тестирование ПО

Пользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры

Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…

Читать статью →
Базы данных и SQL

Объяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать

Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…

Читать статью →
Базы данных и SQL

Оператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки

SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…

Читать статью →
Разработка ПО

Что такое JWT? Веб-токены JSON, объясненные на рабочем примере

Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…

Читать статью →
Разработка ПО

Объяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами

Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …

Читать статью →
Разработка ПО

Генераторы Python и объяснение доходности: экономьте память с помощью реальных примеров

Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…

Читать статью →
Искусственный интеллект

Что такое вложения? Простое объяснение векторов и косинусного сходства

Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…

Читать статью →
DevOps

Сине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать

Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…

Читать статью →
Автоматизация тестирования

Ненадежные тесты: что их вызывает и как их исправить навсегда

Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…

Читать статью →
Тестирование ПО

Нагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6

Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…

Читать статью →
Тестирование ПО

Тестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый

Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…

Читать статью →
Базы данных и SQL

Оптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени

Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…

Читать статью →
Базы данных и SQL

SQL UNION против UNION ALL: различия, примеры и проверка производительности

SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…

Читать статью →
Разработка ПО

Учебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты

Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…

Читать статью →
Разработка ПО

Обработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами

Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…

Читать статью →
Разработка ПО

Классы и объекты Python: учебник ООП с реальными примерами

Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…

Читать статью →
Искусственный интеллект

Что такое большая языковая модель? Как работают LLM, объяснено без шумихи

Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…

Читать статью →
DevOps

Команды Linux для начинающих: основное руководство по терминалу с примерами

Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…

Читать статью →
Автоматизация тестирования

Selenium vs Playwright: ключевые различия, сравнение кода и что выбрать

Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…

Читать статью →
Тестирование ПО

Разделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах

Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…

Читать статью →
Тестирование ПО

Серьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры

Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…

Читать статью →
Базы данных и SQL

Учебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами

Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…

Читать статью →
Базы данных и SQL

Объяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции

Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…

Читать статью →
Разработка ПО

Git Commands Cheat Sheet: The Commands You Actually Use, With Examples

Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…

Читать статью →
Разработка ПО

Объяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки

Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…

Читать статью →
Разработка ПО

Учебное пособие по словарю Python: методы, примеры и общие шаблоны

Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…

Читать статью →
Искусственный интеллект

Что такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере

Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…

Читать статью →
DevOps

Учебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей

Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…

Читать статью →
DevOps

Docker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно

Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…

Читать статью →
Автоматизация тестирования

Учебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры

Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…

Читать статью →
Тестирование ПО

Жизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример

Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…

Читать статью →
Разработка ПО

Git merge vs rebase: отличия, примеры и когда что использовать

Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.

Читать статью →
Разработка ПО

Генераторы списков в Python: синтаксис, примеры и когда их избегать

Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.

Читать статью →
Базы данных и SQL

SQL JOIN: объяснение с примерами (Inner, Left, Right, Full)

Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…

Читать статью →