Объяснение кодировки UTF-8: как текст становится байтами и как исправить искаженный текст

  1. Главная
  2. Блог
  3. Разработка программного обеспечения

Разработка программного обеспечения

Объяснение кодировки UTF-8: Как текст становится байтами и как исправить искаженный текст

Кодировка UTF-8 хранит каждый символ Юникода в виде от 1 до 4 байтов и является стандартом для Интернета, JSON и большинства кода. Узнайте, как это работает побайтно, почему текст превращается в тарабарщину, как в кафе, и 6 исправлений, которые навсегда прекращают кодирование ошибок.

9 мин чтения
Объяснение кодировки UTF-8

Главное

  • Кодировка UTF-8 преобразует кодовые точки Unicode в байты: 1 байт для ASCII, 2 для é, 3 для букв € и хинди, 4 для большинства эмодзи.
  • Искаженный текст, например café, означает, что байты UTF-8 были декодированы с неправильной кодировкой; данные обычно все еще в порядке.
  • Даже наша собственная демо-версия аварийно завершала работу с UnicodeEncodeError на консоли Windows, использующей cp1252.
  • Всегда называйте кодировку при чтении и записи файлов: open(path, encoding="utf-8").

Рано или поздно это видит каждый разработчик: клиент с именем «Хосе» появляется как «Хосе», знак рупии становится «¹», или скрипт умирает с UnicodeDecodeError. Эти ошибки кажутся случайными, но следуют простым правилам. Как только вы поймете кодировку UTF-8, вы сможете предсказать и исправить их за считанные минуты. Каждое значение байта в этом руководстве взято из кода, который мы запускали на Python 3.13.6 в Windows.

Unicode против UTF-8: две разные вещи

Юникод — это огромный нумерованный список символов. У каждого символа есть кодовая точка, записанная как U+00E9 для é. UTF-8 — это один из способов хранения этих чисел в виде байтов в файлах, сетевых сообщениях и памяти. Существуют и другие кодировки, такие как UTF-16 и более старая версия Windows-1252 (cp1252), но UTF-8 доминирует в Интернете, JSON, HTML, Linux и большинстве инструментов программирования.

Думайте о Unicode как об алфавите, а о UTF-8 — как о рукописном вводе. Одна и та же буква может быть написана разными буквами, и путаница начинается, когда читатель предполагает неправильный вариант.

Как UTF-8 кодирует символы

for ch in ["A", "é", "€", "ह", "😀"]:
    b = ch.encode("utf-8")
    print(ch, f"U+{ord(ch):04X}", len(b), b.hex(" ").upper())
Персонаж Кодовая точка UTF-8 байт Шестигранник UTF-16 байт
А U + 0041 1 41 2
é U + 00E9 2 С3 А9 2
€ U + 20AC 3 Е2 82 АС 2
ह (хинди) U + 0939 3 Е0 А4 Б9 2
😀 U + 1F600 4 Ф0 9Ф 98 80 4

Дизайн продуманный. Обычный ASCII сохраняет один байт, поэтому старый английский текст уже действителен в формате UTF-8. Кодовые точки большего размера используют больше байтов, а первые биты каждого байта говорят, сколько байтов принадлежит символу, поэтому читатель всегда знает, где заканчивается один символ. Благодаря этой самосинхронизирующейся конструкции победил UTF-8.

Символы не являются байтами

len("café")            # 4 characters
len("café".encode())   # 5 bytes

Количество байтов зависит от сценария. Мы измерили три коротких предложения:

Текст Персонажи UTF-8 байт UTF-16 байт
английский 28 28 56
Хинди 32 84 64
японский 17 51 34

UTF-8 компактен для английского языка и кода и больше для многих азиатских алфавитов. Это имеет значение, когда ограничение установлено в байтах: столбцы базы данных, SMS, заголовки HTTP, полезные данные API. Ограничение в 100 байт вмещает 100 английских букв и только около 33 букв хинди. Тот же урок «один персонаж — не одна единица» применим и к ИИ, как показано в нашем руководстве по токенам LLM. Даже len("👍🏽") вернул 2 в Python, потому что смайлик телесного цвета — это две кодовые точки.

Почему текст искажается (моджибаке)

Искаженный текст имеет название: mojibake, что в переводе с японского означает «трансформация персонажа». Это происходит, когда байты, записанные в формате UTF-8, читаются как что-то другое:

"café".encode("utf-8").decode("cp1252")    # 'café'

Два байта для é, C3 A9, означают «Ã» и «©» в Windows-1252, поэтому один символ превратился в два. Если неправильный текст будет сохранен и снова прочитан неправильно, ситуация ухудшится: произойдет двойной обход café. Мы записали ₹500 café в файл в UTF-8 и прочитали его как cp1252; получилось как ₹500 café.

Хорошая новость: исходные байты обычно не повреждены, поэтому ущерб можно устранить, повторив ошибку в обратном порядке:

"café".encode("cp1252").decode("utf-8")   # 'café'

Совет: когда вы видите шаблоны Ã, †или Â, подумайте: «UTF-8 читается как cp1252 или Latin-1». Если вы видите � (символ замены), это означает, что байты недействительны и некоторая информация может быть потеряна.

Объяснение UnicodeDecodeError

Противоположная ошибка — чтение байтов cp1252 или Latin-1 как UTF-8. В Latin-1 é — это один байт E9, который сам по себе не является допустимой последовательностью UTF-8:

b"caf\xe9".decode("utf-8")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 3: unexpected end of data

Варианты, от лучшего к худшему: узнать реальную кодировку и декодировать с ее помощью (b"caf\xe9".decode("latin-1") вернуло «кафе») или, если нужно продолжать, использовать errors="replace", что дало caf� и потеряло символ. Никогда не скрывайте ошибки в данных, которые вам нужно сохранить. Правильное чтение файлов описано в нашем Руководстве по работе с файлами Python.

Наш консольный сюрприз

Во время написания этой статьи наш первый демонстрационный скрипт дал сбой перед печатью строки на хинди:

UnicodeEncodeError: 'charmap' codec can't encode character 'ह' in position 1: character maps to <undefined>

Код был правильным. Проблема заключалась в выводе: Python сообщал sys.stdout.encoding как cp1252 в этой оболочке Windows, а в cp1252 нет букв хинди. Запуск с переменной среды PYTHONIOENCODING=utf-8 исправил эту проблему, а режим Python UTF-8 (python -X utf8) является еще одним вариантом. Это прекрасный пример того, как ошибки кодирования живут на границах: файлы, консоли, базы данных и сети, а не строки внутри вашей программы.

Спецификация: невидимые байты в начале

Некоторые инструменты Windows добавляют метку порядка байтов EF BB BF в начале файлов UTF-8. Прочитайте с помощью обычного utf-8, он отображается как невидимый символ:

"hi".encode("utf-8-sig")                     # b'\xef\xbb\xbfhi'
b"\xef\xbb\xbfhi".decode("utf-8")            # 'hi'
b"\xef\xbb\xbfhi".decode("utf-8-sig")        # 'hi'

Эта ошибка  нарушает заголовки CSV («имя» больше не равно «имя») и анализаторы JSON. Прочитайте файлы, которые могут иметь спецификацию с encoding="utf-8-sig", что удаляет ее, если она присутствует. В нашем руководстве по Python JSON рассматривается безопасная загрузка файлов данных.

Тот же текст, разные байты: нормализация

a = "é"           # one code point U+00E9
b = "é"     # e + combining accent
print(a == b, len(a), len(b))                    # False 1 2
print(unicodedata.normalize("NFC", b) == a)      # True

Оба выглядят одинаково на экране, но представляют собой разные кодовые точки, поэтому сравнения, поиск и ограничения уникальности рассматривают их как разные. Текст, вставленный из macOS или некоторых клавиатур, часто использует разложенную форму. Нормализуйте ввод пользователя в NFC перед его сравнением или сохранением.

6 исправлений, предотвращающих ошибки кодирования

  1. Назовите везде кодировку: open(p, encoding="utf-8"). Наша машина с Windows сообщила, что cp1252 является значением по умолчанию, поэтому использование значений по умолчанию не работает на разных машинах.
  2. Объявите UTF-8 в Интернете: <meta charset="utf-8"> в HTML и Content-Type: text/html; charset=utf-8 в ответах. По спецификации JSON имеет формат UTF-8, на основе которого основано наше руководство по передовым практикам REST API.
  3. Используйте полный Unicode в базах данных: в MySQL выберите utf8mb4, а не старую версию utf8, которая не может хранить 4-байтовые символы, такие как эмодзи (для этой статьи мы не запускали MySQL).
  4. Декодируйте по краям, работайте с текстом внутри: преобразуйте байты в строки при поступлении данных и обратно при их выходе.
  5. Обработка спецификаций и нормализация ввода: используйте utf-8-sig для неизвестных файлов и NFC для пользовательского текста.
  6. Протестируйте реальные данные, отличные от английского: включите é, ₹, хинди, японский язык и эмодзи в свои тестовые данные и проверьте API, экспорт CSV и электронные письма.

Симптом, который необходимо устранить: быстрый поиск

Вы видите Вероятная причина Исправить
café, ₹, à узоры Байты UTF-8 читаются как cp1252 или Latin-1. Читать как UTF-8; или .encode("cp1252").decode("utf-8") для ремонта
caf� со знаками замены Неверные байты заменены при декодировании Найдите исходную кодировку; замененные символы не подлежат восстановлению
UnicodeDecodeError Байты, отличные от UTF-8, читаются как UTF-8. Декодируйте с помощью реальной кодировки
UnicodeEncodeError при печати Консоль или файл используют ограниченную кодировку PYTHONIOENCODING=utf-8 или python -X utf8
Имя первого столбца CSV не будет совпадать. Скрытая спецификация () Читайте с помощью utf-8-sig
Одинаковые на вид строки не равны Другая нормализация Unicode unicodedata.normalize("NFC", s)
Эмодзи сохранен как ???? в MySQL. Столбец использует 3 байта utf8 Переключиться на utf8mb4

Мы подтвердили первые шесть строк в Python 3.13; строка MySQL — это стандартный совет, который мы здесь не тестировали. Если ошибка кодирования пересекает границу API, также проверьте заголовок Content-Type, который должен называться charset=utf-8 для текстовых ответов.

Итоги

Кодировка UTF-8 по своей сути проста: Unicode нумерует символы, UTF-8 хранит числа размером от 1 до 4 байтов, а каждая искаженная строка представляет собой несоответствие между тем, как были записаны байты и как они были прочитаны. Назовите кодировку на каждой границе, отдайте предпочтение сквозной UTF-8 и протестируйте реальный многоязычный текст. Вы редко будете видеть кафе снова, и когда вы это увидите, вы точно будете знать, как изменить ситуацию.

Часто задаваемые вопросы

Что такое кодировка UTF-8?

UTF-8 — это кодировка переменной длины, в которой каждый символ Юникода хранится от 1 до 4 байтов. Символы ASCII занимают 1 байт, поэтому простой английский текст идентичен в ASCII и UTF-8.

В чем разница между Unicode и UTF-8?

Unicode присваивает каждому символу номер, называемый кодовой точкой. UTF-8 — это способ хранения этих чисел в байтах. UTF-16 и UTF-32 — это другие способы.

Почему в моем тексте присутствуют странные символы, такие как é?

Байты UTF-8 декодировались как Windows-1252 или Latin-1. Прочитайте данные в формате UTF-8 или устраните ущерб, закодировав искаженный текст обратно неправильной кодировкой и декодировав его как UTF-8.

Как исправить ошибку UnicodeDecodeError в Python?

Откройте файл, используя кодировку, в которой он был записан, например,coding=latin-1 или utf-8-sig, вместо того, чтобы полагаться на кодировку по умолчанию. Используйте error=replace только в том случае, если потеря символов допустима.

Сколько байтов использует символ UTF-8?

Один к четырем. В ASCII используется 1 байт, в большинстве европейских букв с акцентом — 2, в хинди, китайском и многих символах — 3, а в большинстве эмодзи — 4.

Продолжайте учиться

Работайте с Stack Quora

Нужна помощь с тестированием, WordPress или SEO?

Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.

Продолжайте читать

Больше руководств по тестирование, искусственный интеллект и современные разработки

Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.

Искусственный интеллект

Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска

BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…

Читать статью →
Разработка ПО

Объяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере

Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …

Читать статью →
DevOps

Объяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически

Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …

Читать статью →
Автоматизация тестирования

Объяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m

Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…

Читать статью →
Тестирование ПО

Позитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список

Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…

Читать статью →
Базы данных и SQL

SQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.

SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…

Читать статью →
Базы данных и SQL

Промежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE

Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…

Читать статью →
Разработка ПО

Сортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5

Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…

Читать статью →
Разработка ПО

Строковые методы Python: шпаргалка, реальные примеры и ловушка Strip()

Строковые методы Python с проверенными примерами: разделение, объединение, удаление, замена, поиск, начало с, is-методы, регистр, разделение и перев…

Читать статью →
Искусственный интеллект

Объяснение косинусного сходства: формула, рабочий пример и код Python

Сходство косинуса объясняется просто: формула, обработанный вручную пример, чистый код Python и NumPy, соотношение косинуса и евклидова расстояния п…

Читать статью →
Разработка ПО

Объяснение кодировки UTF-8: как текст становится байтами и как исправить искаженный текст

Кодировка UTF-8 объясняется на примерах на уровне байтов, которые мы запускали на Python: как символы становятся размером от 1 до 4 байтов, почему к…

Читать статью →
Автоматизация тестирования

Объяснение параметризации pytest: 7 шаблонов с проверенными примерами

Параметризация pytest объясняется с помощью 7 протестированных шаблонов: базовые случаи, читаемые идентификаторы, составные декораторы, pytest.param…

Читать статью →
Тестирование ПО

Повторное тестирование и регрессионное тестирование: 8 ключевых отличий от реального примера исправления ошибок

Повторное тестирование и регрессионное тестирование объясняются реальным исправлением ошибки, запущенным в pytest: повторное тестирование подтвердил…

Читать статью →
Базы данных и SQL

Удаление повторяющихся строк в SQL: 5 безопасных методов, проверенных шаг за шагом

Как безопасно удалить повторяющиеся строки в SQL: найдите их, просмотрите их, затем удалите их с помощью ROW_NUMBER, MIN(id), EXISTS, rowid или ново…

Читать статью →
Базы данных и SQL

SQL RANK, DENSE_RANK и ROW_NUMBER: различия с протестированными примерами

SQL RANK, DENSE_RANK и ROW_NUMBER в одной таблице: как каждая из них обрабатывает связи, топ-N на группу, вторую по величине ловушку зарплаты и дете…

Читать статью →
Разработка ПО

Необязательное связывание JavaScript (?.) Объяснение: 8 примеров, ?? Значения по умолчанию и ловушки

Необязательная цепочка JavaScript останавливает ошибки «Невозможно прочитать свойства неопределенных». 8 проверенных примеров свойств, массивов и ме…

Читать статью →
Разработка ПО

Объяснение Python enumerate(): 7 примеров, start=1 и ошибок, которых следует избегать

Python enumerate() дает вам индекс и значение в одном чистом цикле. 7 проверенных примеров, трюк start=1, словари, файлы, числа скорости и 3 ошибки,…

Читать статью →
Искусственный интеллект

Объяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное

Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…

Читать статью →
Разработка ПО

Объяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы

Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…

Читать статью →
DevOps

Объяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано

Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …

Читать статью →
Тестирование ПО

Объяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных

Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…

Читать статью →
Автоматизация тестирования

Объяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python

Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…

Читать статью →
Базы данных и SQL

Объяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано

SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…

Читать статью →
Базы данных и SQL

Объяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано

Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…

Читать статью →
Разработка ПО

Объяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано

Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…

Читать статью →
Разработка ПО

Объяснение функций Python: lru_cache, частичное, сокращение, переносы и многое другое, протестировано

Функциональные инструменты Python объяснены с помощью кода, который мы запускали на Python 3.13: lru_cache и кэш, частичное, сокращение, обертки, кэ…

Читать статью →
Разработка ПО

Объяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано

Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…

Читать статью →
Искусственный интеллект

Объяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное

Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…

Читать статью →
Разработка ПО

Объяснение вебхуков: как они работают и как безопасно их получать

Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…

Читать статью →
DevOps

Объяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано

Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…

Читать статью →
Автоматизация тестирования

Объяснение моментального тестирования: как оно работает, когда помогает, а когда вредит

Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…

Читать статью →
Тестирование ПО

Объяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка

Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…

Читать статью →
Базы данных и SQL

Объяснение функций SQL JSON: запрос, обновление и индексирование JSON в SQL, протестировано

Функции SQL JSON, объясненные с помощью запросов, которые мы выполняли в SQLite 3.50: json_extract, операторы -> и ->>, json_each, json_set…

Читать статью →
Базы данных и SQL

Объяснение SQL Pivot: Преобразование строк в столбцы с помощью CASE, FILTER и PIVOT

Поворот SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: условная агрегация с CASE и SUM, FILTER, NULL против нуля, итоги, ди…

Читать статью →
Искусственный интеллект

Объяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить

Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…

Читать статью →
DevOps

Объяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском

Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …

Читать статью →
DevOps

Объяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов

Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…

Читать статью →
Автоматизация тестирования

Генерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные

Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…

Читать статью →
Тестирование ПО

Объяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды

Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…

Читать статью →
Базы данных и SQL

Объяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных

Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…

Читать статью →
Базы данных и SQL

Объяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни

Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …

Читать статью →
Разработка ПО

Объяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки

Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…

Читать статью →
Разработка ПО

Модули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано

Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…

Читать статью →
Разработка ПО

Объяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано

Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…

Читать статью →
Искусственный интеллект

Объяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта

Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…

Читать статью →
DevOps

Объяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки

Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…

Читать статью →
DevOps

Объяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом

Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …

Читать статью →
Автоматизация тестирования

Объяснение тестирования контрактов API: уловите критические изменения до их выпуска

Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…

Читать статью →
Тестирование ПО

Объяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение

Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…

Читать статью →
Базы данных и SQL

Объяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано

Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…

Читать статью →
Базы данных и SQL

Объяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок

Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…

Читать статью →
Разработка ПО

Объяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем

Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…

Читать статью →
Разработка ПО

Debounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано

Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…

Читать статью →
Разработка ПО

Объяснение менеджеров контекста Python: оператор with, contextlib и реальное использование

Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…

Читать статью →
Искусственный интеллект

Объяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово

Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…

Читать статью →
DevOps

Объяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали

YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …

Читать статью →
DevOps

Объяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают

Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…

Читать статью →
Искусственный интеллект

Объяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить

Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…

Читать статью →
DevOps

Объяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация

Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…

Читать статью →
Разработка ПО

Объяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429

Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…

Читать статью →
Автоматизация тестирования

Издевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут

Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …

Читать статью →
Тестирование ПО

Объяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%

Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…

Читать статью →
Базы данных и SQL

DELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них

Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…

Читать статью →
Базы данных и SQL

Объяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами

Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…

Читать статью →
Разработка ПО

Интерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора

Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…

Читать статью →
Разработка ПО

Объяснение Python *args и **kwargs: гибкие функции с понятными примерами

Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…

Читать статью →
Разработка ПО

Лямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать

Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …

Читать статью →
Искусственный интеллект

Что такое ИИ-агенты? Как они работают: можно запустить простой цикл агента

Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…

Читать статью →
DevOps

Мониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками

Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…

Читать статью →
DevOps

Docker Volumes против Bind Mounts: правильное сохранение данных контейнера

Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…

Читать статью →
Автоматизация тестирования

TDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый

TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…

Читать статью →
Тестирование ПО

Пользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры

Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…

Читать статью →
Базы данных и SQL

Объяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать

Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…

Читать статью →
Базы данных и SQL

Оператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки

SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…

Читать статью →
Разработка ПО

Что такое JWT? Веб-токены JSON, объясненные на рабочем примере

Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…

Читать статью →
Разработка ПО

Объяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами

Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …

Читать статью →
Разработка ПО

Генераторы Python и объяснение доходности: экономьте память с помощью реальных примеров

Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…

Читать статью →
Искусственный интеллект

Что такое вложения? Простое объяснение векторов и косинусного сходства

Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…

Читать статью →
DevOps

Сине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать

Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…

Читать статью →
Автоматизация тестирования

Ненадежные тесты: что их вызывает и как их исправить навсегда

Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…

Читать статью →
Тестирование ПО

Нагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6

Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…

Читать статью →
Тестирование ПО

Тестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый

Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…

Читать статью →
Базы данных и SQL

Оптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени

Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…

Читать статью →
Базы данных и SQL

SQL UNION против UNION ALL: различия, примеры и проверка производительности

SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…

Читать статью →
Разработка ПО

Учебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты

Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…

Читать статью →
Разработка ПО

Обработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами

Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…

Читать статью →
Разработка ПО

Классы и объекты Python: учебник ООП с реальными примерами

Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…

Читать статью →
Искусственный интеллект

Что такое большая языковая модель? Как работают LLM, объяснено без шумихи

Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…

Читать статью →
DevOps

Команды Linux для начинающих: основное руководство по терминалу с примерами

Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…

Читать статью →
Автоматизация тестирования

Selenium vs Playwright: ключевые различия, сравнение кода и что выбрать

Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…

Читать статью →
Тестирование ПО

Разделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах

Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…

Читать статью →
Тестирование ПО

Серьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры

Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…

Читать статью →
Базы данных и SQL

Учебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами

Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…

Читать статью →
Базы данных и SQL

Объяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции

Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…

Читать статью →
Разработка ПО

Git Commands Cheat Sheet: The Commands You Actually Use, With Examples

Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…

Читать статью →
Разработка ПО

Объяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки

Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…

Читать статью →
Разработка ПО

Учебное пособие по словарю Python: методы, примеры и общие шаблоны

Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…

Читать статью →
Искусственный интеллект

Что такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере

Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…

Читать статью →
DevOps

Учебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей

Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…

Читать статью →
DevOps

Docker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно

Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…

Читать статью →
Автоматизация тестирования

Учебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры

Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…

Читать статью →
Тестирование ПО

Жизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример

Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…

Читать статью →
Разработка ПО

Git merge vs rebase: отличия, примеры и когда что использовать

Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.

Читать статью →
Разработка ПО

Генераторы списков в Python: синтаксис, примеры и когда их избегать

Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.

Читать статью →
Базы данных и SQL

SQL JOIN: объяснение с примерами (Inner, Left, Right, Full)

Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…

Читать статью →