Разработка программного обеспечения
Объяснение кодировки UTF-8: Как текст становится байтами и как исправить искаженный текст
Кодировка UTF-8 хранит каждый символ Юникода в виде от 1 до 4 байтов и является стандартом для Интернета, JSON и большинства кода. Узнайте, как это работает побайтно, почему текст превращается в тарабарщину, как в кафе, и 6 исправлений, которые навсегда прекращают кодирование ошибок.
- Кодировка UTF-8 преобразует кодовые точки Unicode в байты: 1 байт для ASCII, 2 для é, 3 для букв € и хинди, 4 для большинства эмодзи.
- Искаженный текст, например
café, означает, что байты UTF-8 были декодированы с неправильной кодировкой; данные обычно все еще в порядке. - Даже наша собственная демо-версия аварийно завершала работу с
UnicodeEncodeErrorна консоли Windows, использующей cp1252. - Всегда называйте кодировку при чтении и записи файлов:
open(path, encoding="utf-8").
Рано или поздно это видит каждый разработчик: клиент с именем «Хосе» появляется как «Хосе», знак рупии становится «¹», или скрипт умирает с UnicodeDecodeError. Эти ошибки кажутся случайными, но следуют простым правилам. Как только вы поймете кодировку UTF-8, вы сможете предсказать и исправить их за считанные минуты. Каждое значение байта в этом руководстве взято из кода, который мы запускали на Python 3.13.6 в Windows.
Unicode против UTF-8: две разные вещи
Юникод — это огромный нумерованный список символов. У каждого символа есть кодовая точка, записанная как U+00E9 для é. UTF-8 — это один из способов хранения этих чисел в виде байтов в файлах, сетевых сообщениях и памяти. Существуют и другие кодировки, такие как UTF-16 и более старая версия Windows-1252 (cp1252), но UTF-8 доминирует в Интернете, JSON, HTML, Linux и большинстве инструментов программирования.
Думайте о Unicode как об алфавите, а о UTF-8 — как о рукописном вводе. Одна и та же буква может быть написана разными буквами, и путаница начинается, когда читатель предполагает неправильный вариант.
Как UTF-8 кодирует символы
for ch in ["A", "é", "€", "ह", "😀"]:
b = ch.encode("utf-8")
print(ch, f"U+{ord(ch):04X}", len(b), b.hex(" ").upper())
| Персонаж | Кодовая точка | UTF-8 байт | Шестигранник | UTF-16 байт |
|---|---|---|---|---|
| А | U + 0041 | 1 | 41 | 2 |
| é | U + 00E9 | 2 | С3 А9 | 2 |
| € | U + 20AC | 3 | Е2 82 АС | 2 |
| ह (хинди) | U + 0939 | 3 | Е0 А4 Б9 | 2 |
| 😀 | U + 1F600 | 4 | Ф0 9Ф 98 80 | 4 |
Дизайн продуманный. Обычный ASCII сохраняет один байт, поэтому старый английский текст уже действителен в формате UTF-8. Кодовые точки большего размера используют больше байтов, а первые биты каждого байта говорят, сколько байтов принадлежит символу, поэтому читатель всегда знает, где заканчивается один символ. Благодаря этой самосинхронизирующейся конструкции победил UTF-8.
Символы не являются байтами
len("café") # 4 characters
len("café".encode()) # 5 bytes
Количество байтов зависит от сценария. Мы измерили три коротких предложения:
| Текст | Персонажи | UTF-8 байт | UTF-16 байт |
|---|---|---|---|
| английский | 28 | 28 | 56 |
| Хинди | 32 | 84 | 64 |
| японский | 17 | 51 | 34 |
UTF-8 компактен для английского языка и кода и больше для многих азиатских алфавитов. Это имеет значение, когда ограничение установлено в байтах: столбцы базы данных, SMS, заголовки HTTP, полезные данные API. Ограничение в 100 байт вмещает 100 английских букв и только около 33 букв хинди. Тот же урок «один персонаж — не одна единица» применим и к ИИ, как показано в нашем руководстве по токенам LLM. Даже len("👍🏽") вернул 2 в Python, потому что смайлик телесного цвета — это две кодовые точки.
Почему текст искажается (моджибаке)
Искаженный текст имеет название: mojibake, что в переводе с японского означает «трансформация персонажа». Это происходит, когда байты, записанные в формате UTF-8, читаются как что-то другое:
"café".encode("utf-8").decode("cp1252") # 'café'
Два байта для é, C3 A9, означают «Ã» и «©» в Windows-1252, поэтому один символ превратился в два. Если неправильный текст будет сохранен и снова прочитан неправильно, ситуация ухудшится: произойдет двойной обход café. Мы записали ₹500 café в файл в UTF-8 и прочитали его как cp1252; получилось как ₹500 café.
Хорошая новость: исходные байты обычно не повреждены, поэтому ущерб можно устранить, повторив ошибку в обратном порядке:
"café".encode("cp1252").decode("utf-8") # 'café'
Совет: когда вы видите шаблоны Ã, †или Â, подумайте: «UTF-8 читается как cp1252 или Latin-1». Если вы видите � (символ замены), это означает, что байты недействительны и некоторая информация может быть потеряна.
Объяснение UnicodeDecodeError
Противоположная ошибка — чтение байтов cp1252 или Latin-1 как UTF-8. В Latin-1 é — это один байт E9, который сам по себе не является допустимой последовательностью UTF-8:
b"caf\xe9".decode("utf-8")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 3: unexpected end of data
Варианты, от лучшего к худшему: узнать реальную кодировку и декодировать с ее помощью (b"caf\xe9".decode("latin-1") вернуло «кафе») или, если нужно продолжать, использовать errors="replace", что дало caf� и потеряло символ. Никогда не скрывайте ошибки в данных, которые вам нужно сохранить. Правильное чтение файлов описано в нашем Руководстве по работе с файлами Python.
Наш консольный сюрприз
Во время написания этой статьи наш первый демонстрационный скрипт дал сбой перед печатью строки на хинди:
UnicodeEncodeError: 'charmap' codec can't encode character 'ह' in position 1: character maps to <undefined>
Код был правильным. Проблема заключалась в выводе: Python сообщал sys.stdout.encoding как cp1252 в этой оболочке Windows, а в cp1252 нет букв хинди. Запуск с переменной среды PYTHONIOENCODING=utf-8 исправил эту проблему, а режим Python UTF-8 (python -X utf8) является еще одним вариантом. Это прекрасный пример того, как ошибки кодирования живут на границах: файлы, консоли, базы данных и сети, а не строки внутри вашей программы.
Спецификация: невидимые байты в начале
Некоторые инструменты Windows добавляют метку порядка байтов EF BB BF в начале файлов UTF-8. Прочитайте с помощью обычного utf-8, он отображается как невидимый символ:
"hi".encode("utf-8-sig") # b'\xef\xbb\xbfhi'
b"\xef\xbb\xbfhi".decode("utf-8") # 'hi'
b"\xef\xbb\xbfhi".decode("utf-8-sig") # 'hi'
Эта ошибка нарушает заголовки CSV («имя» больше не равно «имя») и анализаторы JSON. Прочитайте файлы, которые могут иметь спецификацию с encoding="utf-8-sig", что удаляет ее, если она присутствует. В нашем руководстве по Python JSON рассматривается безопасная загрузка файлов данных.
Тот же текст, разные байты: нормализация
a = "é" # one code point U+00E9
b = "é" # e + combining accent
print(a == b, len(a), len(b)) # False 1 2
print(unicodedata.normalize("NFC", b) == a) # True
Оба выглядят одинаково на экране, но представляют собой разные кодовые точки, поэтому сравнения, поиск и ограничения уникальности рассматривают их как разные. Текст, вставленный из macOS или некоторых клавиатур, часто использует разложенную форму. Нормализуйте ввод пользователя в NFC перед его сравнением или сохранением.
6 исправлений, предотвращающих ошибки кодирования
- Назовите везде кодировку:
open(p, encoding="utf-8"). Наша машина с Windows сообщила, что cp1252 является значением по умолчанию, поэтому использование значений по умолчанию не работает на разных машинах. - Объявите UTF-8 в Интернете:
<meta charset="utf-8">в HTML иContent-Type: text/html; charset=utf-8в ответах. По спецификации JSON имеет формат UTF-8, на основе которого основано наше руководство по передовым практикам REST API. - Используйте полный Unicode в базах данных: в MySQL выберите
utf8mb4, а не старую версиюutf8, которая не может хранить 4-байтовые символы, такие как эмодзи (для этой статьи мы не запускали MySQL). - Декодируйте по краям, работайте с текстом внутри: преобразуйте байты в строки при поступлении данных и обратно при их выходе.
- Обработка спецификаций и нормализация ввода: используйте
utf-8-sigдля неизвестных файлов и NFC для пользовательского текста. - Протестируйте реальные данные, отличные от английского: включите é, ₹, хинди, японский язык и эмодзи в свои тестовые данные и проверьте API, экспорт CSV и электронные письма.
Симптом, который необходимо устранить: быстрый поиск
| Вы видите | Вероятная причина | Исправить |
|---|---|---|
café, ₹, à узоры |
Байты UTF-8 читаются как cp1252 или Latin-1. | Читать как UTF-8; или .encode("cp1252").decode("utf-8") для ремонта |
caf� со знаками замены |
Неверные байты заменены при декодировании | Найдите исходную кодировку; замененные символы не подлежат восстановлению |
UnicodeDecodeError |
Байты, отличные от UTF-8, читаются как UTF-8. | Декодируйте с помощью реальной кодировки |
UnicodeEncodeError при печати |
Консоль или файл используют ограниченную кодировку | PYTHONIOENCODING=utf-8 или python -X utf8 |
| Имя первого столбца CSV не будет совпадать. | Скрытая спецификация () |
Читайте с помощью utf-8-sig |
| Одинаковые на вид строки не равны | Другая нормализация Unicode | unicodedata.normalize("NFC", s) |
Эмодзи сохранен как ???? в MySQL. |
Столбец использует 3 байта utf8 |
Переключиться на utf8mb4 |
Мы подтвердили первые шесть строк в Python 3.13; строка MySQL — это стандартный совет, который мы здесь не тестировали. Если ошибка кодирования пересекает границу API, также проверьте заголовок Content-Type, который должен называться charset=utf-8 для текстовых ответов.
Итоги
Кодировка UTF-8 по своей сути проста: Unicode нумерует символы, UTF-8 хранит числа размером от 1 до 4 байтов, а каждая искаженная строка представляет собой несоответствие между тем, как были записаны байты и как они были прочитаны. Назовите кодировку на каждой границе, отдайте предпочтение сквозной UTF-8 и протестируйте реальный многоязычный текст. Вы редко будете видеть кафе снова, и когда вы это увидите, вы точно будете знать, как изменить ситуацию.
Часто задаваемые вопросы
Что такое кодировка UTF-8?
UTF-8 — это кодировка переменной длины, в которой каждый символ Юникода хранится от 1 до 4 байтов. Символы ASCII занимают 1 байт, поэтому простой английский текст идентичен в ASCII и UTF-8.
В чем разница между Unicode и UTF-8?
Unicode присваивает каждому символу номер, называемый кодовой точкой. UTF-8 — это способ хранения этих чисел в байтах. UTF-16 и UTF-32 — это другие способы.
Почему в моем тексте присутствуют странные символы, такие как é?
Байты UTF-8 декодировались как Windows-1252 или Latin-1. Прочитайте данные в формате UTF-8 или устраните ущерб, закодировав искаженный текст обратно неправильной кодировкой и декодировав его как UTF-8.
Как исправить ошибку UnicodeDecodeError в Python?
Откройте файл, используя кодировку, в которой он был записан, например,coding=latin-1 или utf-8-sig, вместо того, чтобы полагаться на кодировку по умолчанию. Используйте error=replace только в том случае, если потеря символов допустима.
Сколько байтов использует символ UTF-8?
Один к четырем. В ASCII используется 1 байт, в большинстве европейских букв с акцентом — 2, в хинди, китайском и многих символах — 3, а в большинстве эмодзи — 4.
Продолжайте учиться
Нужна помощь с тестированием, WordPress или SEO?
Мы помогаем командам выпускать лучшее программное обеспечение и развивать свои сайты. Расскажите нам, над чем вы работаете, и мы предложим четкий следующий шаг.
Больше руководств по тестирование, искусственный интеллект и современные разработки
Понравилась эта статья? Выберите тему и сразу приступайте к нашим новейшим руководствам.
Объяснение BM25: как ранжируется результат поиска по ключевым словам с помощью кода Python и гибридного поиска
BM25 объяснил на примере чистой реализации Python, которую мы использовали: формулу, IDF, насыщенность терминов, параметры k1 и b, почему она превос…
Читать статью →Разработка ПООбъяснение методов HTTP: GET, POST, PUT, PATCH, DELETE, протестировано на реальном сервере
Методы HTTP, объясненные на небольшом сервере, который мы запускали: GET, POST, PUT, PATCH, DELETE, HEAD и OPTIONS, безопасный и идемпотентный, PUT …
Читать статью →DevOpsОбъяснение Git Bisect: найдите коммит, который сломал ваш код, вручную или автоматически
Git bisect объясняет на примере проверенного репозитория: найдите один плохой коммит среди 41 из 5 тестовых запусков, автоматизируйте его с помощью …
Читать статью →Автоматизация тестированияОбъяснение маркеров pytest: пользовательские метки, фильтры пропуска, пропуска, xfail и -m
Маркеры pytest объяснены с помощью протестированного набора: регистрируйте пользовательские метки, запускайте только дымовые тесты с -m, комбинируйт…
Читать статью →Тестирование ПОПозитивное и негативное тестирование: различия, 24 реальных тестовых примера и контрольный список
Положительное и отрицательное тестирование объяснено с помощью реальной формы регистрации: 6 положительных и 18 отрицательных тестовых случаев, выпо…
Читать статью →Базы данных и SQLSQL ORDER BY по нескольким столбцам: ASC, DESC, NULLS LAST, регистр и пользовательский порядок.
SQL ORDER BY с несколькими столбцами, объясненными с помощью проверенных запросов: смешанные ASC и DESC, средства разрешения конфликтов, NULLS FIRST…
Читать статью →Базы данных и SQLПромежуточный итог SQL: SUM OVER, итоги по группам, скользящие суммы и ловушка RANGE
Как вычислить промежуточную сумму SQL с помощью SUM() OVER: итоги по группам, ежедневные накопительные суммы, скользящие суммы, проценты от суммы, л…
Читать статью →Разработка ПОСортировка массива в JavaScript: числа, объекты, строки и почему 10 предшествует 5
Как правильно сортировать массив в JavaScript: числа с функцией сравнения, объекты по одному или нескольким полям, строки с localeCompare, даты, ест…
Читать статью →Разработка ПОСтроковые методы Python: шпаргалка, реальные примеры и ловушка Strip()
Строковые методы Python с проверенными примерами: разделение, объединение, удаление, замена, поиск, начало с, is-методы, регистр, разделение и перев…
Читать статью →Искусственный интеллектОбъяснение косинусного сходства: формула, рабочий пример и код Python
Сходство косинуса объясняется просто: формула, обработанный вручную пример, чистый код Python и NumPy, соотношение косинуса и евклидова расстояния п…
Читать статью →Разработка ПООбъяснение кодировки UTF-8: как текст становится байтами и как исправить искаженный текст
Кодировка UTF-8 объясняется на примерах на уровне байтов, которые мы запускали на Python: как символы становятся размером от 1 до 4 байтов, почему к…
Читать статью →Автоматизация тестированияОбъяснение параметризации pytest: 7 шаблонов с проверенными примерами
Параметризация pytest объясняется с помощью 7 протестированных шаблонов: базовые случаи, читаемые идентификаторы, составные декораторы, pytest.param…
Читать статью →Тестирование ПОПовторное тестирование и регрессионное тестирование: 8 ключевых отличий от реального примера исправления ошибок
Повторное тестирование и регрессионное тестирование объясняются реальным исправлением ошибки, запущенным в pytest: повторное тестирование подтвердил…
Читать статью →Базы данных и SQLУдаление повторяющихся строк в SQL: 5 безопасных методов, проверенных шаг за шагом
Как безопасно удалить повторяющиеся строки в SQL: найдите их, просмотрите их, затем удалите их с помощью ROW_NUMBER, MIN(id), EXISTS, rowid или ново…
Читать статью →Базы данных и SQLSQL RANK, DENSE_RANK и ROW_NUMBER: различия с протестированными примерами
SQL RANK, DENSE_RANK и ROW_NUMBER в одной таблице: как каждая из них обрабатывает связи, топ-N на группу, вторую по величине ловушку зарплаты и дете…
Читать статью →Разработка ПОНеобязательное связывание JavaScript (?.) Объяснение: 8 примеров, ?? Значения по умолчанию и ловушки
Необязательная цепочка JavaScript останавливает ошибки «Невозможно прочитать свойства неопределенных». 8 проверенных примеров свойств, массивов и ме…
Читать статью →Разработка ПООбъяснение Python enumerate(): 7 примеров, start=1 и ошибок, которых следует избегать
Python enumerate() дает вам индекс и значение в одном чистом цикле. 7 проверенных примеров, трюк start=1, словари, файлы, числа скорости и 3 ошибки,…
Читать статью →Искусственный интеллектОбъяснение стратегий разделения RAG: фиксированное, перекрытие, предложение, рекурсивное и заголовки, измеренное
Стратегии фрагментирования RAG в одном документе с tiktoken 0,14: фиксированный размер, перекрытие, упаковка предложений, рекурсивное разделение и ф…
Читать статью →Разработка ПООбъяснение идемпотентности API: проверенные ключи идемпотентности и безопасные повторы
Идемпотентность API, объясненная на примере сервера и клиента Python, которые мы запускали: потеря ответа вызывала двойную оплату без ключа и единст…
Читать статью →DevOpsОбъяснение Git Stash: сохранение, применение, удаление и неотслеживаемые файлы, протестировано
Git stash объясняется с помощью команд, которые мы запускали в Git 2.56: push с сообщением, неотслеживаемые файлы, список и отображение, применение …
Читать статью →Тестирование ПООбъяснение парного тестирования: как все пары сокращают 216 тестов до 13, протестированных
Попарное тестирование объясняется с помощью генератора, который мы запускали в Python 3.13: проверка с 216 комбинациями, охватываемыми 13 тестами, п…
Читать статью →Автоматизация тестированияОбъяснение тестовых двойников: манекен, заглушка, шпион, макет и подделка, с протестированным кодом Python
Двойные тесты объяснены на одном примере Python, запущенном в pytest 9.2: манекен, заглушка, шпион, макет и подделка, когда использовать каждый из н…
Читать статью →Базы данных и SQLОбъяснение SQL COALESCE: значения по умолчанию, NULLIF, IFNULL против ISNULL и ловушки, протестировано
SQL COALESCE объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: первые ненулевые значения, пустые строки, NULL в математике, NULLIF…
Читать статью →Базы данных и SQLОбъяснение самосоединения SQL: сотрудник-менеджер, сравнение пар и строк, протестировано
Самосоединение SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: сотрудник и менеджер, заработок больше, чем менеджер, уникаль…
Читать статью →Разработка ПООбъяснение оператора расширения JavaScript: распространение против остальных, копии и ошибки, протестировано
Оператор расширения JavaScript, объясненный с помощью кода, который мы запускали на узле 24: массивы, объекты, мелкие копии, остальные параметры, ог…
Читать статью →Разработка ПООбъяснение функций Python: lru_cache, частичное, сокращение, переносы и многое другое, протестировано
Функциональные инструменты Python объяснены с помощью кода, который мы запускали на Python 3.13: lru_cache и кэш, частичное, сокращение, обертки, кэ…
Читать статью →Разработка ПООбъяснение модуля коллекций Python: счетчик, defaultdict, deque и многое другое, протестировано
Коллекции Python объяснены с помощью кода, который мы запускали в Python 3.13: Counter, defaultdict, deque, Nametuple, OrderedDict и ChainMap, а так…
Читать статью →Искусственный интеллектОбъяснение контекстного окна LLM: токены, ограничения и способы вместить больше, измеренное
Контекстное окно LLM поясняется количеством токенов, которые мы измеряли с помощью tiktoken: слова и токены для прозы, кода и хинди, входные и выход…
Читать статью →Разработка ПООбъяснение вебхуков: как они работают и как безопасно их получать
Веб-хуки объясняются с помощью получателя и отправителя, которые мы запускали на Python: push и опрос, подписи HMAC-SHA256, отклонение подделанных и…
Читать статью →DevOpsОбъяснение Git Cherry-Pick: скопируйте нужный вам коммит, безопасно и протестировано
Git Cherry-Pick объяснил это командами, которые мы запускали в Git 2.56: копирование исправления в ветку выпуска, новые хэши и идентификаторы патчей…
Читать статью →Автоматизация тестированияОбъяснение моментального тестирования: как оно работает, когда помогает, а когда вредит
Тестирование снимков объясняется с помощью pytest и сладкой демонстрации, которую мы запускали: создание снимков, чтение различий после изменения ко…
Читать статью →Тестирование ПООбъяснение мутационного тестирования: почему при 100% покрытии все еще не обнаружена наша ошибка
Тестирование мутаций объясняется с помощью небольшого инструмента мутаций, который мы создали и запустили: 14 мутантов, набор тестов со 100%-ным пок…
Читать статью →Базы данных и SQLОбъяснение функций SQL JSON: запрос, обновление и индексирование JSON в SQL, протестировано
Функции SQL JSON, объясненные с помощью запросов, которые мы выполняли в SQLite 3.50: json_extract, операторы -> и ->>, json_each, json_set…
Читать статью →Базы данных и SQLОбъяснение SQL Pivot: Преобразование строк в столбцы с помощью CASE, FILTER и PIVOT
Поворот SQL объясняется с помощью запросов, которые мы выполняли в SQLite 3.50: условная агрегация с CASE и SUM, FILTER, NULL против нуля, итоги, ди…
Читать статью →Искусственный интеллектОбъяснение быстрого внедрения: как обманывают приложения искусственного интеллекта и как их защитить
Быстрое внедрение, объясненное для разработчиков: прямые и косвенные атаки, почему фильтры ключевых слов не работают (наш тест заблокировал 1 из 4),…
Читать статью →DevOpsОбъяснение DNS-записей: A, AAAA, CNAME, MX, TXT и TTL с реальным поиском
Записи DNS объяснены с помощью выполненных нами поисков: как работает разрешение, A и AAAA, правила CNAME, MX и нулевой MX, TXT для SPF и проверки, …
Читать статью →DevOpsОбъяснение флагов функций: безопасные выпуски, постепенное развертывание и гигиена флагов
Флаги функций объяснены с помощью моделирования развертывания, которое мы провели: типы флагов, процентное развертывание со стабильным хешированием,…
Читать статью →Автоматизация тестированияГенерация тестовых данных с помощью Python Faker: реалистичные, повторяемые и безопасные данные
Генерация тестовых данных с помощью Python Faker, запуск и измерение: заполнение повторяющихся данных, локали, уникальные значения, записи в форме д…
Читать статью →Тестирование ПООбъяснение тестирования с помощью Shift-Left: находите ошибки раньше, не замедляя работу команды
Сдвиг влево при тестировании объяснил: что это значит, почему ранние дефекты обходятся дешевле, практики от проверки требований до CI-проверок, меня…
Читать статью →Базы данных и SQLОбъяснение строковых функций SQL: TRIM, SUBSTR, REPLACE, CONCAT и очистка данных
Строковые функции SQL, объясненные с помощью выполненных нами запросов: конкатенация и NULL, TRIM, UPPER и LOWER, SUBSTR и INSTR, REPLACE, заполнени…
Читать статью →Базы данных и SQLОбъяснение триггеров SQL: триггеры ДО и ПОСЛЕ, журналы аудита и подводные камни
Триггеры SQL объяснены с помощью триггеров, которые мы запускали: ДО и ПОСЛЕ, СТАРЫЙ и НОВЫЙ, журналы аудита, проверка, обновления запасов, условия …
Читать статью →Разработка ПООбъяснение модуля Python JSON: дампы, загрузки, пользовательские типы и распространенные ошибки
Модуль Python JSON, объясненный с помощью кода, который мы выполнили: дампы и загрузки, файлы, преобразования типов, даты и десятичные дроби, пользо…
Читать статью →Разработка ПОМодули ES против CommonJS: как работает импорт JavaScript в Node.js, протестировано
Модули ES и CommonJS объяснены с помощью кода, который мы запускали в Node.js: синтаксис импорта и экспорта, требование, живые привязки, кэширование…
Читать статью →Разработка ПООбъяснение регулярных выражений Python: шаблоны, группы, предварительные просмотры и подводные камни, протестировано
Регулярное выражение Python объясняется с помощью шаблонов, которые мы использовали: поиск против совпадения, поиск, группы и именованные группы, жа…
Читать статью →Искусственный интеллектОбъяснение структурированного вывода LLM: получение надежного JSON из моделей искусственного интеллекта
Структурированный вывод LLM объясняется проверкой, которую мы проводили в Pydantic: режим и схемы JSON, ограниченное декодирование, способы моделиро…
Читать статью →DevOpsОбъяснение ключей SSH: как они работают, ssh-keygen, Ed25519 и безопасные привычки
Ключи SSH объяснены ключами, которые мы сгенерировали: открытые и закрытые ключи, ssh-keygen, Ed25519 и RSA, отпечатки пальцев, парольные фразы, ssh…
Читать статью →DevOpsОбъяснение HTTP-кэширования: Cache-Control, ETag и ответы 304, с живым тестом
Объяснение HTTP-кеширования на небольшом сервере, который мы запускали: директивы Cache-Control, максимальный возраст, отсутствие кэша и отсутствие …
Читать статью →Автоматизация тестированияОбъяснение тестирования контрактов API: уловите критические изменения до их выпуска
Тестирование контрактов API объясняется с помощью проведенной нами проверки схемы: что такое контракт, контракты, управляемые потребителем, Pact, Op…
Читать статью →Тестирование ПООбъяснение тестирования на основе рисков: оцените риски, постройте матрицу и протестируйте то, что имеет значение
Тестирование на основе рисков объясняется шаг за шагом: выявление рисков, оценка вероятности и воздействия, построение матрицы рисков, сопоставление…
Читать статью →Базы данных и SQLОбъяснение ограничений SQL: NOT NULL, UNIQUE, CHECK и FOREIGN KEY, протестировано
Ограничения SQL объяснены с помощью проведенных нами тестов: NOT NULL, UNIQUE, CHECK, DEFAULT, PRIMARY и FOREIGN KEY, лазейки NULL, настройка внешне…
Читать статью →Базы данных и SQLОбъяснение функций даты SQL: добавление, сравнение и группировка дат без ошибок
Функции даты SQL, объясненные с помощью запросов, которые мы выполняли: добавление интервалов, сюрпризы в конце месяца, различия в датах, ловушка МЕ…
Читать статью →Разработка ПООбъяснение Python asyncio: асинхронность, ожидание, сбор и группа задач с реальным временем
Python asyncio объяснен с помощью кода, который мы запланировали: сопрограммы, ожидание, сбор, TaskGroup, обработка ошибок, тайм-ауты, ограничение п…
Читать статью →Разработка ПОDebounce против Throttle в JavaScript: как они работают, когда использовать каждый, протестировано
Сравнение Debounce и Throttle в JavaScript объясняется с помощью таймингов, которые мы измеряли в Node.js: как каждый из них работает, простые реали…
Читать статью →Разработка ПООбъяснение менеджеров контекста Python: оператор with, contextlib и реальное использование
Контекстные менеджеры Python объяснили с помощью кода, который мы запускали: как работает, __enter__ и __exit__, contextlib.contextmanager, подавлен…
Читать статью →Искусственный интеллектОбъяснение температуры LLM и Top-p: как модели ИИ выбирают свое следующее слово
Температура LLM и top-p объяснены с помощью моделирования, которое мы провели: как изменяются вероятности, что сохраняет top-p, рекомендуемые настро…
Читать статью →DevOpsОбъяснение YAML: синтаксис, проблема Норвегии и другие ловушки, которые мы тестировали
YAML объясняется с помощью теста парсера: базовый синтаксис, списки и карты, проблема Норвегии, версии, превращающиеся в числа с плавающей запятой, …
Читать статью →DevOpsОбъяснение Cron Jobs: синтаксис, реальные расписания и ошибки, которые их нарушают
Задания Cron объясняются графиками, которые мы проверили: пять полей, операторы, реальные примеры, ловушка дня месяца ИЛИ дня недели, проблемы окруж…
Читать статью →Искусственный интеллектОбъяснение галлюцинаций искусственного интеллекта: почему языковые модели все выдумывают и как их уменьшить
Галлюцинации ИИ объяснили: что это такое, почему языковые модели их создают, распространенные типы, как уменьшить их с помощью заземления и подсказо…
Читать статью →DevOpsОбъяснение переменных среды: файлы .env, секреты и правильно выполненная конфигурация
Переменные среды объясняются на примерах Python, которые мы запускали: их чтение и установка, почему каждое значение является строкой, файлы .env, н…
Читать статью →Разработка ПООбъяснение ограничения скорости API: алгоритмы, заголовки и обработка ошибок 429
Ограничение скорости API объясняется с помощью проведенного нами моделирования: сегмент токенов, фиксированное окно, скользящее окно, 429 ответов, з…
Читать статью →Автоматизация тестированияИздевательство в Python: unittest.mock, патч и ошибки, из-за которых тесты лгут
Издевательство на Python с помощью unittest.mock, протестировано: Mock и return_value, Side_effect, исправление использования имени, спецификация и …
Читать статью →Тестирование ПООбъяснение покрытия кода: покрытие линий или ветвей и что на самом деле означает 100%
Покрытие кода объяснено с помощью реального запуска покрытия.py: покрытие строк, ветвей и условий, чтение отчета, почему 100%-ное покрытие все еще м…
Читать статью →Базы данных и SQLDELETE, TRUNCATE и DROP в SQL: различия, откат и когда использовать каждый из них
Объяснение DELETE, TRUNCATE и DROP на примере протестированного SQL: что каждый из них удаляет, откат, триггеры, сброс идентификаторов, скорость и ч…
Читать статью →Базы данных и SQLОбъяснение представлений SQL: создавайте, используйте и избегайте ловушек, с примерами
Представления SQL, объясненные с помощью запросов, которые мы выполняли: создание представления, результаты в реальном времени, скрытие столбцов, пр…
Читать статью →Разработка ПОИнтерфейс TypeScript и тип: реальные различия, протестированные с помощью компилятора
Интерфейс TypeScript против типа, проверенный реальным компилятором: что могут делать оба, что может делать только один, слияние объявлений, расшире…
Читать статью →Разработка ПООбъяснение Python *args и **kwargs: гибкие функции с понятными примерами
Python *args и **kwargs, объясненные с помощью кода, который мы запускали: упаковка и распаковка, порядок параметров, аргументы только по ключевым с…
Читать статью →Разработка ПОЛямбда-функции Python: синтаксис, реальное использование и когда их не следует использовать
Лямбда-функции Python, объясненные с помощью кода, который мы запускали: синтаксис, сортировка с помощью ключа, карты и фильтра, замыкания, ловушка …
Читать статью →Искусственный интеллектЧто такое ИИ-агенты? Как они работают: можно запустить простой цикл агента
Что такое агенты ИИ? Простое руководство по циклу агента, инструментам, памяти и ограничениям, с небольшим циклом Python, который мы запустили, реал…
Читать статью →DevOpsМониторинг и наблюдаемость: реальная разница с журналами, метриками и трассировками
Объяснение мониторинга и наблюдаемости: известные и неизвестные сбои, журналы, метрики и трассировки, пошаговое руководство по инцидентам при оформл…
Читать статью →DevOpsDocker Volumes против Bind Mounts: правильное сохранение данных контейнера
Объяснение томов Docker и монтирования привязки: почему исчезают данные контейнера, именованные тома, монтирование привязки, tmpfs, примеры создания…
Читать статью →Автоматизация тестированияTDD против BDD: ключевые различия, одна функция, созданная для обоих способов, и когда использовать каждый
TDD и BDD объясняются с помощью одной функции скидки, созданной в обоих направлениях: красно-зеленый рефакторинг с кодом, который мы запускали, сцен…
Читать статью →Тестирование ПОПользовательское приемочное тестирование (UAT): процесс, контрольный список и реальные примеры
Приемочное тестирование пользователей объяснило: кто его проводит, чем оно отличается от контроля качества, семиэтапный процесс, шаблон тестового сц…
Читать статью →Базы данных и SQLОбъяснение значений NULL в SQL: IS NULL, COALESCE, NULLIF и ловушки, которых следует избегать
Значения SQL NULL объяснены с помощью запросов, которые мы выполнили: трехзначная логика, IS NULL, COALESCE, NULLIF, как агрегаты, соединения и сорт…
Читать статью →Базы данных и SQLОператор SQL CASE WHEN: синтаксис, реальные примеры и распространенные ошибки
SQL CASE WHEN объяснен с помощью запросов, которые мы выполняли: простые формы и формы для поиска, порядок условий, повороты с помощью SUM, трюки CO…
Читать статью →Разработка ПОЧто такое JWT? Веб-токены JSON, объясненные на рабочем примере
Что такое JWT? Объяснение JSON Web Tokens: три части: токен, созданный и измененный в коде, который мы запускали, JWT и сеансы, хранилище, токены об…
Читать статью →Разработка ПООбъяснение цикла событий JavaScript: стек вызовов, микрозадачи и таймеры с примерами
Цикл событий JavaScript объясняется с помощью кода, который мы запускали: стек вызовов, очереди задач и микрозадач, почему setTimeout 0 не является …
Читать статью →Разработка ПОГенераторы Python и объяснение доходности: экономьте память с помощью реальных примеров
Генераторы Python и доходность, объясненные с помощью кода, который мы запускали: как они приостанавливаются и возобновляются, измеряют экономию пам…
Читать статью →Искусственный интеллектЧто такое вложения? Простое объяснение векторов и косинусного сходства
Что такое вложения? Простое руководство по векторам, косинусному подобию и семантическому поиску с небольшим примером, который мы использовали, общи…
Читать статью →DevOpsСине-зеленое и канареечное развертывание: различия, компромиссы и как выбрать
Объяснение сине-зеленого и канареечного развертывания: как каждый из них работает, стоимость, риски и откат, стабильное группирование пользователей,…
Читать статью →Автоматизация тестированияНенадежные тесты: что их вызывает и как их исправить навсегда
Ненадежные тесты объясняются на демонстрациях, которые мы запускали: основные причины, способы подтверждения и диагностики, правильные исправления в…
Читать статью →Тестирование ПОНагрузочное тестирование и стресс-тестирование: различия, метрики и примеры k6
Объяснение нагрузочного и стресс-тестирования: что доказывает каждое из них, тесты на всплески и выдержки, важные метрики, почему средние значения в…
Читать статью →Тестирование ПОТестовый пример и тестовый сценарий: ключевые различия, примеры и когда использовать каждый
Объяснение тестового случая и тестового сценария: четкие определения, параллельная таблица, одна функция сброса пароля, взятая из сценариев в случаи…
Читать статью →Базы данных и SQLОптимизация SQL-запросов: чтение планов выполнения и исправление медленных запросов с указанием времени
Оптимизация SQL-запросов проверена на миллионе строк: читайте планы выполнения, добавляйте правильные индексы, исправляйте неразмещаемые фильтры, ис…
Читать статью →Базы данных и SQLSQL UNION против UNION ALL: различия, примеры и проверка производительности
SQL UNION и UNION ALL объяснены с помощью запросов, которые мы выполнили: дубликаты, правила, которым следуют оба, реальная ошибка данных, измеренна…
Читать статью →Разработка ПОУчебное пособие по API JavaScript Fetch: GET, POST, обработка ошибок и тайм-ауты
Учебное пособие по API JavaScript Fetch, протестированное на локальном сервере: GET и POST, почему не выдается ошибка 404, многоразовый помощник, ст…
Читать статью →Разработка ПООбработка файлов Python: чтение, запись, CSV, JSON и pathlib с примерами
Обработка файлов Python объясняется с помощью кода, который мы запускали: открытые режимы, чтение больших файлов, CSV, JSON, pathlib, двоичные файлы…
Читать статью →Разработка ПОКлассы и объекты Python: учебник ООП с реальными примерами
Классы и объекты Python, объясненные с помощью кода, который мы запускали: __init__, методы, атрибуты класса и экземпляра, наследование, свойства, м…
Читать статью →Искусственный интеллектЧто такое большая языковая модель? Как работают LLM, объяснено без шумихи
Что такое большая языковая модель? LLM объясняется простым языком: токены, встраивания, внимание, обучение, температурные и контекстные окна, крошеч…
Читать статью →DevOpsКоманды Linux для начинающих: основное руководство по терминалу с примерами
Команды Linux для начинающих, сгруппированные по задачам: навигация, файлы, просмотр журналов, grep, каналы, разрешения, процессы и архивы, с практи…
Читать статью →Автоматизация тестированияSelenium vs Playwright: ключевые различия, сравнение кода и что выбрать
Сравнение Selenium и Playwright: архитектура, ожидание, поддержка браузера и языка, отладка, одинаковый тест в обоих инструментах, советы по миграци…
Читать статью →Тестирование ПОРазделение эквивалентности: метод проектирования тестов, объясненный на рабочих примерах
Объяснение эквивалентного разделения: как найти действительные и недействительные разделы, рабочие примеры для возрастов, паролей и купонов, проведе…
Читать статью →Тестирование ПОСерьезность и приоритет в тестировании программного обеспечения: различия, матрица и реальные примеры
Объяснение серьезности и приоритета при тестировании программного обеспечения: четкие определения, четырехсторонняя матрица с примерами, шкалы уровн…
Читать статью →Базы данных и SQLУчебное пособие по подзапросам SQL: типы, коррелирующие подзапросы и EXISTS с примерами
Руководство по подзапросам SQL с выполненными нами запросами: скалярные подзапросы, IN, FROM и SELECT, коррелированные подзапросы, EXISTS, ловушка N…
Читать статью →Базы данных и SQLОбъяснение транзакций SQL и ACID: COMMIT, ROLLBACK и уровни изоляции
Транзакции SQL и ACID, объясненные с помощью банковского перевода, который мы выполнили: COMMIT, ROLLBACK, точки сохранения, блокировки, уровни изол…
Читать статью →Разработка ПОGit Commands Cheat Sheet: The Commands You Actually Use, With Examples
Шпаргалка по командам Git, сгруппированная по задачам: настройка, промежуточный этап, ветки, удаленные устройства, тайник, история и исправление оши…
Читать статью →Разработка ПООбъяснение промисов в JavaScript: then, catch, Promise.all и распространенные ошибки
Обещания JavaScript, объясненные с помощью кода, который мы запускали: состояния, цепочки then и catch, обработка ошибок, Promise.all, allSettled, R…
Читать статью →Разработка ПОУчебное пособие по словарю Python: методы, примеры и общие шаблоны
Учебное пособие по словарю Python с кодом, который мы выполнили: создание, чтение и обновление словарей, ключевые методы, слияние, понимание, шаблон…
Читать статью →Искусственный интеллектЧто такое РАГ? Генерация с расширенным поиском, объясненная на рабочем примере
Что такое РАГ? Retrieval-augmented generation explained step by step: indexing, chunking, embeddings, retrieval, a small working Python example, eva…
Читать статью →DevOpsУчебное пособие по Terraform для начинающих: инфраструктура как код от первого файла до модулей
Учебное пособие по Terraform для начинающих: начните без облачной учетной записи, изучите инициализацию, планирование и применение, затем переменные…
Читать статью →DevOpsDocker и Kubernetes: ключевые различия, как они работают вместе и что вам нужно
Объяснение Docker и Kubernetes: что делает каждый из них, одно и то же приложение работает с обоими, сравнение Docker Compose и Swarm, изменение doc…
Читать статью →Автоматизация тестированияУчебное пособие по Pytest для начинающих: фикстуры, параметризация и реальные примеры
Учебное пособие по pytest для начинающих с тестами, которые мы запускали на pytest 9.2: утверждения, фикстуры, параметризация, conftest, маркеры, tm…
Читать статью →Тестирование ПОЖизненный цикл тестирования программного обеспечения (STLC): 6 этапов, критерии входа и выхода, пример
Объясняется жизненный цикл тестирования программного обеспечения: шесть этапов STLC с критериями входа и выхода, результаты, пример проработанной фу…
Читать статью →Разработка ПОGit merge vs rebase: отличия, примеры и когда что использовать
Git merge vs rebase с реальным выводом log, сравнительной таблицей, золотым правилом rebase и безопасным рабочим процессом для команды.
Читать статью →Разработка ПОГенераторы списков в Python: синтаксис, примеры и когда их избегать
Генераторы списков в Python: синтаксис, фильтры, if-else, вложенные циклы, измеренное время и случаи, когда обычный цикл for лучше.
Читать статью →Базы данных и SQLSQL JOIN: объяснение с примерами (Inner, Left, Right, Full)
Разберите SQL JOIN шаг за шагом на примерах таблиц и запросов: INNER, LEFT, RIGHT, FULL, CROSS и SELF, а также частые ошибки и советы по производите…
Читать статью →