Объяснение функции Softmax: формула, код Python и стабильная версия

  1. Главная
  2. Блог
  3. Искусственный интеллект

Искусственный интеллект

Объяснение функции Softmax: Формула, код Python и стабильная версия

Функция softmax преобразует список необработанных оценок в вероятности, сумма которых равна 1. Изучите формулу на рабочем примере, закодируйте ее в NumPy, посмотрите, почему простая версия возвращает NaN и как это исправляет одно вычитание, а также поймите температуру и перекрестную энтропию, и все это с помощью проверенных результатов.

9 мин чтения
Объяснение функции Softmax: формула, код Python и стабильная версия

Главное

  • Функция softmax возводит каждый балл в степень и делит его на общую сумму, получая положительные значения, сумма которых равна 1.
  • Оценки [2,0, 1,0, 0,1] становятся вероятностями [0,659, 0,2424, 0,0986]. Порядок никогда не меняется, поэтому argmax остается прежним.
  • Простая формула переполнилась и вернула nan для входных данных, близких к 1000. Сначала вычитание максимума исправило ситуацию без изменения результата.
  • Разделение оценок на температуру контролирует достоверность выходного сигнала — та же ручка, которая используется при отборе проб LLM.

Нейронная сеть, которая классифицирует изображение как кошку, собаку или птицу, не выводит вероятности напрямую. Его последний уровень выдает необработанные оценки, называемые логитами, например 2,0, 1,0 и 0,1, которые могут быть любыми действительными числами. Функция softmax преобразует эти оценки в распределение вероятностей, которое вы можете читать, сравнивать и тренировать. Он находится в конце большинства классификаторов и внутри каждой большой языковой модели.

Весь приведенный ниже код выполнялся на Python 3.13.6 с NumPy 2.5.5, и вывод на печать отображается в том виде, в котором он появился. Для этого не требуется никакой структуры машинного обучения.

Что такое функция softmax?

Softmax принимает вектор из K действительных чисел и возвращает вектор из K вероятностей. Каждый выход находится в диапазоне от 0 до 1, сумма всех выходов равна ровно 1, а более крупные входные значения всегда имеют большую вероятность. Его часто называют «мягкой» версией argmax: вместо того, чтобы придавать весь вес наибольшему баллу, он распределяет вес пропорционально тому, насколько больше каждый балл.

Формула софтмакс

Для вектора оценок z с K элементами вероятность элемента i равна:

softmax(z)_i = exp(z_i) / ( exp(z_1) + exp(z_2) + ... + exp(z_K) )

Другими словами: возведите е в степень каждого балла, затем разделите каждый результат на сумму всех из них. Экспонента делает каждое значение положительным; деление нормализует их, так что их сумма равна 1.

Пример работы вручную

Возьмем логиты [2.0, 1.0, 0.1]:

Логит z exp(z) exp(z) / всего
2.0 7.3891 0.6590
1.0 2.7183 0.2424
0.1 1.1052 0.0986
Итого 11.2125 1.0000

Первый класс получает около 66 процентов. Обратите внимание, что оценка 2,0 всего лишь в два раза больше 1,0, но ее вероятность почти в три раза выше. Экспоненты увеличивают разрывы, поэтому результаты softmax часто выглядят уверенно.

Softmax в Python с помощью NumPy

import numpy as np

def softmax_naive(z):
    e = np.exp(z)
    return e / e.sum()

logits = np.array([2.0, 1.0, 0.1])
p = softmax_naive(logits)
print(p.round(4), p.sum())   # [0.659  0.2424 0.0986] 1.0
print(np.argmax(logits), np.argmax(p))   # 0 0

Код соответствует таблице, сумма выходных данных равна 1, а argmax выбирает один и тот же класс до и после softmax. Этот последний момент имеет значение на практике: если вам нужен только прогнозируемый класс, вы можете пропустить softmax и напрямую взять argmax логитов.

Зачем использовать экспоненту?

Почему бы просто не разделить каждый балл на сумму баллов? Потому что логиты могут быть отрицательными или нулевыми, что даст отрицательные «вероятности» или деление на ноль. Экспонента всегда положительна, она строго возрастает, поэтому рейтинг сохраняется, а ее производная проста, что делает обучение с градиентным спуском чистым. Как мы увидим, он также естественным образом сочетается с логарифмом перекрестной энтропийной потери.

Проблема переполнения: когда softmax возвращает NaN

Большие логи нарушают наивную версию:

softmax_naive(np.array([1000.0, 1001.0, 1002.0]))
# RuntimeWarning: overflow encountered in exp
# RuntimeWarning: invalid value encountered in divide
# [nan nan nan]

softmax_naive(np.array([-1000.0, -1001.0]))
# [nan nan]

exp(1000) намного превышает самое большое 64-битное число с плавающей запятой (около 1,8e308), поэтому оно становится бесконечностью, а бесконечность, разделенная на бесконечность, равна NaN. Очень отрицательные логиты не работают в обратном направлении: exp(-1000) уменьшает значение до 0, а 0, разделенный на 0, также является NaN. Логиты такого размера редки в работоспособной модели, но они появляются при плохой инициализации, немасштабированных показателях внимания или взрывном обучении, а один NaN может испортить весь цикл обучения.

Численно стабильный softmax

def softmax(z, axis=-1):
    z = np.asarray(z, dtype=float)
    e = np.exp(z - z.max(axis=axis, keepdims=True))
    return e / e.sum(axis=axis, keepdims=True)

print(softmax([1000, 1001, 1002]).round(4))   # [0.09   0.2447 0.6652]
print(softmax([-1000, -1001]).round(4))       # [0.7311 0.2689]

Вычитание максимума приводит к тому, что наибольшее значение становится равным 0, поэтому наибольшая экспонента равна exp(0) = 1, и ничто не может переполниться. По крайней мере одно слагаемое в сумме равно 1, поэтому знаменатель также никогда не может быть равен 0. Оба ранее сломанных входа теперь дают разумные ответы. Каждая серьезная библиотека, включая PyTorch, TensorFlow и SciPy, использует этот трюк внутри себя.

Совет: никогда не выпускайте простой двухстрочный softmax. Стабильная версия требует одного дополнительного вычитания и удаляет целый класс ошибок NaN.

Почему вычитание работает: сдвиг против масштаба

print(softmax(logits + 100).round(4))  # [0.659  0.2424 0.0986]
print(softmax(logits * 2).round(4))    # [0.8638 0.1169 0.0193]

Добавление одной и той же константы к каждому логиту оставляет softmax неизменным, поскольку константа становится общим множителем exp(c), который сокращается между числителем и знаменателем. Именно поэтому вычитание максимума безопасно. Умножение логитов происходит по-другому: при их удвоении показатель высшего класса подскочил с 66 до 86 процентов. Softmax зависит от разниц между оценками, и масштабирование увеличивает эти различия.

Температура: сделать softmax более резким или более плоским

Деление логитов на температуру T перед управлением softmax, которое намеренно растягивается:

Температура Вероятности для [2.0, 1.0, 0.1]
0.5 [0.8638, 0.1169, 0.0193]
1.0 [0.6590, 0.2424, 0.0986]
2.0 [0.5017, 0.3043, 0.1940]
10.0 [0.3661, 0.3312, 0.3027]

Низкая температура усиливает распределение в сторону верхнего варианта; высокая температура выравнивает его до однородного состояния. В языковых моделях это именно та настройка температуры, которая меняет предсказуемые ответы на творческие, как объясняет наш Справочник по температуре LLM. Температура также используется при дистилляции знаний, чтобы выявить более мягкие предпочтения модели учителя.

Пакеты и аргумент оси

batch = np.array([[2.0, 1.0, 0.1],
                  [0.0, 0.0, 0.0],
                  [5.0, -1.0, 3.0]])
pb = softmax(batch, axis=1)
print(pb.round(4))
# [[0.659  0.2424 0.0986]
#  [0.3333 0.3333 0.3333]
#  [0.8789 0.0022 0.1189]]
print(pb.sum(axis=1))                         # [1. 1. 1.]
print(softmax(batch, axis=0).sum(axis=1).round(4))  # [0.7622 0.2962 1.9417]

Реальные модели обрабатывают множество примеров одновременно, по одному в строке. Softmax должен проходить вдоль оси классов, здесь axis=1, поэтому сумма каждой строки равна 1. Равные логиты, как и во второй строке, дают равномерное распределение. Использование неправильной оси — это тихая ошибка: код выполняется, но вместо этого нормализуется по примерам, и суммы строк получаются как 0,76, 0,30 и 1,94. Всегда утверждайте, что сумма строк равна 1 в тестах.

Softmax и потеря перекрестной энтропии

y = 0   # the true class
loss = -np.log(p[y])
print(round(float(loss), 4))   # 0.417

# log-softmax computed directly, without exponentiating twice
logsm = logits - logits.max() - np.log(np.exp(logits - logits.max()).sum())
print(logsm.round(4))          # [-0.417 -1.417 -2.317]

Классификаторы обучаются путем минимизации перекрестной энтропии: отрицательного логарифма вероятности, присвоенной правильному классу. Вероятность 0,659 дает убыток 0,417; идеальный прогноз дает 0. Библиотеки вычисляют log-softmax за один стабильный шаг вместо того, чтобы брать журнал выходных данных softmax, что позволяет избежать log(0). Вот почему PyTorch CrossEntropyLoss ожидает необработанных логитов, а не вероятностей. При передаче выходных данных softmax softmax применяется дважды, что является распространенной ошибкой новичков.

Softmax против сигмовидной кишки

print(1 / (1 + np.exp(-(2.0 - 1.0))))    # 0.7311
print(softmax([2.0, 1.0])[0])            # 0.7311

При использовании двух классов softmax сводится к сигмовидной разнице между логитами, и наш прогон дал одинаковые 0,7311 в обоих направлениях. Практическое правило:

  • Softmax: ровно один правильный класс из многих (мультикласс), например кошка, собака или птица.
  • Сигмоид на вывод: несколько меток могут быть истинными одновременно (мультиметка), например статья с тегами Python и тестирование.

Softmax внутри больших языковых моделей

В большой языковой модели каждый шаг заканчивается одним логитом на токен в словаре, что может означать десятки тысяч оценок. Softmax превращает их в вероятность для каждого возможного следующего токена, а выборка выбирает один. Softmax также появляется внутри каждого уровня внимания, где он превращает оценки сходства между токенами в веса. Эти оценки делятся на квадратный корень из размера вектора перед softmax именно для того, чтобы они не становились слишком большими, та же проблема переполнения и насыщения, показанная выше. Подробнее читайте в что такое большая языковая модель.

Насколько быстро работает софтмакс?

Мы запустили стабильную версию NumPy с пакетом из 1000 строк по 50 257 столбцов в каждой (размер словаря GPT-2) с 32-битными числами с плавающей запятой. Лучший из трех запусков занял у процессора нашей машины 874,9 мс, примерно 0,9 мс на строку. Графические процессоры делают это гораздо быстрее, а фреймворки объединяют softmax с соседними операциями, но стоимость экспоненты в огромном словаре является причиной того, что такие приемы, как выборка softmax, существуют для очень больших выходных слоев.

Итоги

Функция softmax — это небольшая формула с большой задачей: она превращает любой список оценок в чистые вероятности. Возводите в степень, нормализуйте и всегда сначала вычитайте максимум, чтобы большие логиты никогда не превращались в NaN. Примените его вдоль правой оси, соедините с log-softmax для перекрестной энтропии и используйте температуру, когда вам нужны более резкие или более мягкие выходные данные. С такими привычками softmax станет самой надежной линией в вашей модели. Сопутствующую математику см. в разделе косинусное сходство.

Часто задаваемые вопросы

Что делает функция softmax?

Он преобразует вектор необработанных оценок, называемый логитами, в вероятности. Каждый выходной результат находится в диапазоне от 0 до 1, сумма всех выходных данных равна 1, а более высокие баллы всегда дают более высокие вероятности.

Почему мой softmax возвращает NaN?

Большие логиты переполняются при возведении в степень, а бесконечность, разделенная на бесконечность, равна NaN. Вычтите максимальный логит перед вызовом exp. Результат математически идентичен и численно стабилен.

В чем разница между softmax и сигмоидой?

Softmax создает одно распределение по классам, сумма которого равна 1, для задач только с одним правильным классом. Sigmoid оценивает каждый выход независимо для задач с несколькими метками, где несколько меток могут быть истинными.

Изменяет ли softmax прогнозируемый класс?

Нет. Softmax сохраняет порядок оценок, поэтому класс с самым высоким логитом также имеет самую высокую вероятность. Если вам нужна только метка, достаточно argmax логитов.

Какая температура в софтмаксе?

Температура — это число, которое делит логиты перед softmax. Значения ниже 1 делают результат более уверенным, а значения выше 1 делают его более плоским и близким к однородному.

Продолжайте учиться

Работайте с Stack Quora

Нужна помощь с тестированием, WordPress или SEO?

Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.

Продолжайте читать

Больше руководств по тестирование, искусственный интеллект и современные разработки

Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.

Разработка ПО

Объяснение файлов cookie HTTP: Secure, HttpOnly, SameSite и область действия

Объяснение файлов cookie HTTP: Set-Cookie, Path, Domain, срок действия, Secure, HttpOnly, SameSite, префиксы, удаление файлов cookie и рецепт безопа…

Читать статью →
DevOps

Git Rebase Interactive: сжатие, исправление, переформулирование и автосквош

Интерактивное перебазирование Git объясняет шаг за шагом: выбор, переформулирование, сжатие, исправление, редактирование, удаление, автосжатие, конф…

Читать статью →
Тестирование ПО

Альфа-тестирование и бета-тестирование: ключевые различия, критерии выхода и контрольный список

Сравнение альфа- и бета-тестирования: кто тестирует, что обнаруживает каждый этап, критерии входа и выхода, как запустить бета-тестирование и прораб…

Читать статью →
Автоматизация тестирования

Pytest Monkeypatch: 10 протестированных примеров для переменных Env, времени и API

Pytest Monkeypatch объяснил 10 пройденными тестами: переменные среды, функции, конфигурация, время, спящий режим, пути, блокировка сети и ловушка не…

Читать статью →
Базы данных и SQL

Автоматическое увеличение SQL: MySQL, PostgreSQL, SQL Server и SQLite

Автоинкремент SQL в MySQL, PostgreSQL, SQL Server и SQLite: синтаксис, чтение нового идентификатора, почему появляются пробелы, повторное использова…

Читать статью →
Базы данных и SQL

SQL BETWEEN: объяснение инклюзивных диапазонов и ловушки дат

SQL BETWEEN объясняется с помощью проверенных запросов: включающие диапазоны, обратные границы, NULL, ловушка даты последнего дня, полуоткрытые диап…

Читать статью →
Разработка ПО

Литералы шаблонов JavaScript: 10 примеров, включая шаблоны с тегами

Литералы шаблонов JavaScript объяснены на 10 проверенных примерах: интерполяция, многострочные строки, экранирование, шаблоны с тегами для безопасно…

Читать статью →
Разработка ПО

Python heapq: объяснение приоритетных очередей, Top N и куч

Объяснение Python heapq: heappush, heappop, heapify, приоритетные очереди с разграничителями тай-брейков, максимальные кучи, nlargest и merge, с реа…

Читать статью →
Разработка ПО

Оператор Python Walrus (:=) объяснен на 8 реальных примерах

Оператор Python walrus := объяснен на 8 проверенных примерах: проверки if, совпадения регулярных выражений, циклы while, понимание, правила области …

Читать статью →
Искусственный интеллект

Объяснение функции Softmax: формула, код Python и стабильная версия

Объяснение функции softmax: формула, рабочий пример, код NumPy, стабильная версия, которая позволяет избежать NaN, температуры, перекрестной энтропи…

Читать статью →
Разработка ПО

Объяснение CORS: предварительные запросы, заголовки и способы исправления ошибок CORS

Объяснение CORS: происхождение, простые и предполетные запросы, заголовки ответов, которые ваш сервер должен отправлять, учетные данные и способы ис…

Читать статью →
DevOps

Объяснение Git Diff: поэтапные изменения, ветки и коммиты

Git diff объяснил: прочитайте выходные данные, сравните непроиндексированные и проиндексированные изменения, коммиты и ветки, две точки против трех …

Читать статью →
Автоматизация тестирования

Pytest Xdist: запускайте тесты параллельно и сокращайте время тестирования

Запускайте тесты pytest параллельно с помощью pytest-xdist: установка, опция -n, режимы распространения, реальное время и способы исправления сбоев …

Читать статью →
Тестирование ПО

Верификация и валидация при тестировании программного обеспечения: пример и таблица

Верификация и валидация при тестировании программного обеспечения объясняются с помощью сравнительной таблицы и примера протестированного купона, гд…

Читать статью →
Искусственный интеллект

Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска

BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…

Читать статью →
Разработка ПО

Объяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере

Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …

Читать статью →
DevOps

Объяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически

Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …

Читать статью →
Автоматизация тестирования

Объяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m

Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…

Читать статью →
Тестирование ПО

Позитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список

Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…

Читать статью →
Базы данных и SQL

SQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.

SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…

Читать статью →
Базы данных и SQL

Промежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE

Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…

Читать статью →
Разработка ПО

Сортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5

Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…

Читать статью →
Разработка ПО

Строковые методы Python: шпаргалка, реальные примеры и ловушка Strip()

Строковые методы Python с проверенными примерами: разделение, объединение, удаление, замена, поиск, начало с, is-методы, регистр, разделение и перев…

Читать статью →
Искусственный интеллект

Объяснение косинусного сходства: формула, рабочий пример и код Python

Сходство косинуса объясняется просто: формула, обработанный вручную пример, чистый код Python и NumPy, соотношение косинуса и евклидова расстояния п…

Читать статью →
Разработка ПО

Объяснение кодировки UTF-8: как текст становится байтами и как исправить искаженный текст

Кодировка UTF-8 объясняется на примерах на уровне байтов, которые мы запускали на Python: как символы становятся размером от 1 до 4 байтов, почему к…

Читать статью →
Автоматизация тестирования

Объяснение параметризации pytest: 7 шаблонов с проверенными примерами

Параметризация pytest объясняется с помощью 7 протестированных шаблонов: базовые случаи, читаемые идентификаторы, составные декораторы, pytest.param…

Читать статью →
Тестирование ПО

Повторное тестирование и регрессионное тестирование: 8 ключевых отличий от реального примера исправления ошибок

Повторное тестирование и регрессионное тестирование объясняются реальным исправлением ошибки, запущенным в pytest: повторное тестирование подтвердил…

Читать статью →
Базы данных и SQL

Удаление повторяющихся строк в SQL: 5 безопасных методов, проверенных шаг за шагом

Как безопасно удалить повторяющиеся строки в SQL: найдите их, просмотрите их, затем удалите их с помощью ROW_NUMBER, MIN(id), EXISTS, rowid или ново…

Читать статью →
Базы данных и SQL

SQL RANK, DENSE_RANK и ROW_NUMBER: различия с протестированными примерами

SQL RANK, DENSE_RANK и ROW_NUMBER в одной таблице: как каждая из них обрабатывает связи, топ-N на группу, вторую по величине ловушку зарплаты и дете…

Читать статью →
Разработка ПО

Необязательное связывание JavaScript (?.) Объяснение: 8 примеров, ?? Значения по умолчанию и ловушки

Необязательная цепочка JavaScript останавливает ошибки «Невозможно прочитать свойства неопределенных». 8 проверенных примеров свойств, массивов и ме…

Читать статью →
Разработка ПО

Объяснение Python enumerate(): 7 примеров, start=1 и ошибок, которых следует избегать

Python enumerate() дает вам индекс и значение в одном чистом цикле. 7 проверенных примеров, трюк start=1, словари, файлы, числа скорости и 3 ошибки,…

Читать статью →
Искусственный интеллект

Объяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное

Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…

Читать статью →
Разработка ПО

Объяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы

Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…

Читать статью →
DevOps

Объяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано

Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …

Читать статью →
Тестирование ПО

Объяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных

Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…

Читать статью →
Автоматизация тестирования

Объяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python

Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…

Читать статью →
Базы данных и SQL

Объяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано

SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…

Читать статью →
Базы данных и SQL

Объяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано

Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…

Читать статью →
Разработка ПО

Объяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано

Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…

Читать статью →
Разработка ПО

Объяснение функций Python: lru_cache, частичное, сокращение, переносы и многое другое, протестировано

Функциональные инструменты Python объяснены с помощью кода, который мы запускали на Python 3.13: lru_cache и кэш, частичное, сокращение, обертки, кэ…

Читать статью →
Разработка ПО

Объяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано

Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…

Читать статью →
Искусственный интеллект

Объяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное

Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…

Читать статью →
Разработка ПО

Объяснение вебхуков: как они работают и как безопасно их получать

Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…

Читать статью →
DevOps

Объяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано

Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…

Читать статью →
Автоматизация тестирования

Объяснение моментального тестирования: как оно работает, когда помогает, а когда вредит

Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…

Читать статью →
Тестирование ПО

Объяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка

Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…

Читать статью →
Базы данных и SQL

Объяснение функций SQL JSON: запрос, обновление и индексирование JSON в SQL, протестировано

Функции SQL JSON, объясненные с помощью запросов, которые мы выполняли в SQLite 3.50: json_extract, операторы -> и ->>, json_each, json_set…

Читать статью →
Базы данных и SQL

Объяснение SQL Pivot: Преобразование строк в столбцы с помощью CASE, FILTER и PIVOT

Поворот SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: условная агрегация с CASE и SUM, FILTER, NULL против нуля, итоги, ди…

Читать статью →
Разработка ПО

Объяснение этого ключевого слова в JavaScript: каждое правило привязки, протестированное в Node

Это ключевое слово JavaScript объяснило 17 случаев, которые мы запускали в Node 24: вызовы методов, потеря this в обратных вызовах, строгий режим, ф…

Читать статью →
Разработка ПО

Объяснение Python pathlib: пути, файлы и папки по-современному, протестировано

Python pathlib объясняется на примерах, которые мы запускали на Python 3.13: объединение путей с помощью /, имени, основы и суффикса, чтение и запис…

Читать статью →
Разработка ПО

Объяснение инструментов Python itertools: ленивые циклы, комбинации и группировка, протестировано

Инструменты Python itertools объяснены на примерах, которые мы запускали на Python 3.13: подсчет, цикл, накопление, цепочка, группировка, произведен…

Читать статью →
Искусственный интеллект

Объяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить

Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…

Читать статью →
DevOps

Объяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском

Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …

Читать статью →
DevOps

Объяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов

Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…

Читать статью →
Автоматизация тестирования

Генерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные

Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…

Читать статью →
Тестирование ПО

Объяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды

Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…

Читать статью →
Базы данных и SQL

Объяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных

Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…

Читать статью →
Базы данных и SQL

Объяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни

Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …

Читать статью →
Разработка ПО

Объяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки

Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…

Читать статью →
Разработка ПО

Модули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано

Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…

Читать статью →
Разработка ПО

Объяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано

Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…

Читать статью →
Искусственный интеллект

Объяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта

Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…

Читать статью →
DevOps

Объяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки

Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…

Читать статью →
DevOps

Объяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом

Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …

Читать статью →
Автоматизация тестирования

Объяснение тестирования контрактов API: уловите критические изменения до их выпуска

Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…

Читать статью →
Тестирование ПО

Объяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение

Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…

Читать статью →
Базы данных и SQL

Объяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано

Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…

Читать статью →
Базы данных и SQL

Объяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок

Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…

Читать статью →
Разработка ПО

Объяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем

Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…

Читать статью →
Разработка ПО

Debounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано

Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…

Читать статью →
Разработка ПО

Объяснение менеджеров контекста Python: оператор with, contextlib и реальное использование

Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…

Читать статью →
Искусственный интеллект

Объяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово

Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…

Читать статью →
DevOps

Объяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали

YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …

Читать статью →
DevOps

Объяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают

Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…

Читать статью →
Тестирование ПО

Жизненный цикл ошибки в тестировании программного обеспечения: каждый статус, кто им владеет и распространенные ошибки

Объясняется жизненный цикл ошибки: каждый статус дефекта от «Нового» до «Закрытого», кто отвечает за каждый шаг, отклоненные, отложенные и повторно …

Читать статью →
Автоматизация тестирования

Тестирование на основе свойств в Python: гипотеза находит ошибки, которые упускают ваши примеры

Тестирование на основе свойств, объясненное с помощью тестов гипотез, которые мы проводили: свойства и примеры, стратегии, сокращение, реальные ошиб…

Читать статью →
Базы данных и SQL

Объяснение разбиения на страницы SQL: OFFSET против набора ключей, с тестом в миллион строк

Разбивка на страницы SQL, объясненная с помощью теста с миллионом строк, который мы провели: LIMIT и OFFSET, почему глубокие страницы работают медле…

Читать статью →
Искусственный интеллект

Объяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить

Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…

Читать статью →
DevOps

Объяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация

Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…

Читать статью →
Разработка ПО

Объяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429

Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…

Читать статью →
Автоматизация тестирования

Издевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут

Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …

Читать статью →
Тестирование ПО

Объяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%

Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…

Читать статью →
Базы данных и SQL

DELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них

Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…

Читать статью →
Базы данных и SQL

Объяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами

Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…

Читать статью →
Разработка ПО

Интерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора

Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…

Читать статью →
Разработка ПО

Объяснение Python *args и **kwargs: гибкие функции с понятными примерами

Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…

Читать статью →
Разработка ПО

Лямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать

Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …

Читать статью →
Искусственный интеллект

Что такое ИИ-агенты? Как они работают: можно запустить простой цикл агента

Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…

Читать статью →
DevOps

Мониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками

Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…

Читать статью →
DevOps

Docker Volumes против Bind Mounts: правильное сохранение данных контейнера

Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…

Читать статью →
Автоматизация тестирования

TDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый

TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…

Читать статью →
Тестирование ПО

Пользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры

Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…

Читать статью →
Базы данных и SQL

Объяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать

Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…

Читать статью →
Базы данных и SQL

Оператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки

SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…

Читать статью →
Разработка ПО

Что такое JWT? Веб-токены JSON, объясненные на рабочем примере

Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…

Читать статью →
Разработка ПО

Объяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами

Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …

Читать статью →
Разработка ПО

Генераторы Python и объяснение доходности: экономьте память с помощью реальных примеров

Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…

Читать статью →
Искусственный интеллект

Что такое вложения? Простое объяснение векторов и косинусного сходства

Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…

Читать статью →
DevOps

Сине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать

Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…

Читать статью →
Автоматизация тестирования

Ненадежные тесты: что их вызывает и как их исправить навсегда

Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…

Читать статью →
Тестирование ПО

Нагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6

Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…

Читать статью →
Тестирование ПО

Тестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый

Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…

Читать статью →
Базы данных и SQL

Оптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени

Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…

Читать статью →
Базы данных и SQL

SQL UNION против UNION ALL: различия, примеры и проверка производительности

SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…

Читать статью →
Разработка ПО

Учебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты

Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…

Читать статью →
Разработка ПО

Обработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами

Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…

Читать статью →
Разработка ПО

Классы и объекты Python: учебник ООП с реальными примерами

Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…

Читать статью →
Искусственный интеллект

Что такое большая языковая модель? Как работают LLM, объяснено без шумихи

Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…

Читать статью →
DevOps

Команды Linux для начинающих: основное руководство по терминалу с примерами

Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…

Читать статью →
Автоматизация тестирования

Selenium vs Playwright: ключевые различия, сравнение кода и что выбрать

Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…

Читать статью →
Тестирование ПО

Разделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах

Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…

Читать статью →
Тестирование ПО

Серьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры

Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…

Читать статью →
Базы данных и SQL

Учебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами

Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…

Читать статью →
Базы данных и SQL

Объяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции

Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…

Читать статью →
Разработка ПО

Git Commands Cheat Sheet: The Commands You Actually Use, With Examples

Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…

Читать статью →
Разработка ПО

Объяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки

Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…

Читать статью →
Разработка ПО

Учебное пособие по словарю Python: методы, примеры и общие шаблоны

Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…

Читать статью →
Искусственный интеллект

Что такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере

Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…

Читать статью →
DevOps

Учебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей

Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…

Читать статью →
DevOps

Docker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно

Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…

Читать статью →
Автоматизация тестирования

Учебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры

Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…

Читать статью →
Тестирование ПО

Жизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример

Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…

Читать статью →
Разработка ПО

Git merge vs rebase: отличия, примеры и когда что использовать

Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.

Читать статью →
Разработка ПО

Генераторы списков в Python: синтаксис, примеры и когда их избегать

Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.

Читать статью →
Базы данных и SQL

SQL JOIN: объяснение с примерами (Inner, Left, Right, Full)

Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…

Читать статью →