UTF-8 エンコーディングの説明: テキストがバイトになる仕組みと文字化けしたテキストを修正する方法

  1. ホーム
  2. ブログ
  3. ソフトウェア開発

ソフトウェア開発

UTF-8 エンコーディングの説明: テキストがバイトになる仕組みと文字化けしたテキストを修正する方法

UTF-8 エンコーディングは、すべての Unicode 文字を 1 ~ 4 バイトとして保存し、Web、JSON、およびほとんどのコードの標準です。バイトごとにどのように動作するのか、テキストがカフェのように意味不明なものになる理由、エンコードのバグを永久に阻止する 6 つの修正について学びましょう。

読了目安9分
UTF-8エンコーディングの説明

ポイント

  • UTF-8 エンコーディング は Unicode コード ポイントをバイトに変換します。ASCII の場合は 1 バイト、é の場合は 2 バイト、€ とヒンディー語の文字は 3 バイト、ほとんどの絵文字の場合は 4 バイトです。
  • café のような文字化けしたテキストは、UTF-8 バイトが間違ったエンコーディングでデコードされたことを意味します。通常、データはまだ正常です。
  • 私たち自身のデモでも、cp1252 を使用した Windows コンソールでは UnicodeEncodeError でクラッシュしました。
  • ファイルの読み取りおよび書き込み時には、必ずエンコーディングに open(path, encoding="utf-8") という名前を付けます。

遅かれ早かれ、すべての開発者がそれを目にします。「José」という名前の顧客が「José」として表示されたり、ルピー記号が「₹」になったり、スクリプトが UnicodeDecodeError で終了したりします。これらのバグはランダムに感じられますが、単純なルールに従っています。 UTF-8 エンコードを理解すれば、数分で問題を予測して修正できます。このガイドのすべてのバイト値は、Windows 上の Python 3.13.6 で実行したコードに由来しています。

Unicode と UTF-8: 2 つの異なるもの

Unicode は、文字の巨大な番号付きリストです。すべての文字にはコード ポイントがあり、é の U+00E9 のように記述されます。 UTF-8 は、これらの数値をバイトとしてファイル、ネットワーク メッセージ、メモリに保存する方法の 1 つです。 UTF-16 や古い Windows-1252 (cp1252) など、他のエンコーディングも存在しますが、Web、JSON、HTML、Linux、およびほとんどのプログラミング ツールでは UTF-8 が主流です。

Unicode はアルファベット、UTF-8 は手書き文字と考えてください。同じ手紙を異なる文字で書くこともでき、読者が間違った文字を想定すると混乱が始まります。

UTF-8 による文字のエンコード方法

for ch in ["A", "é", "€", "ह", "😀"]:
    b = ch.encode("utf-8")
    print(ch, f"U+{ord(ch):04X}", len(b), b.hex(" ").upper())
キャラクター コードポイント UTF-8バイト 16進数 UTF-16バイト
あ U+0041 1 41 2
え U+00E9 2 C3 A9 2
€ U+20AC 3 E2 82 AC 2
ह (ヒンディー語) U+0939 3 E0 A4 B9 2
😀 U+1F600 4 F0 9F 98 80 4

デザインが賢いですね。 Plain ASCII はシングルバイトを保持するため、古い英語のテキストはすでに有効な UTF-8 です。コード ポイントが大きいほど使用するバイト数が多くなり、各バイトの最初のビットでその文字に属するバイト数がわかるため、リーダーは 1 つの文字がどこで終わるのかを常に知ることができます。この自己同期設計が、UTF-8 が勝った理由です。

文字はバイトではありません

len("café")            # 4 characters
len("café".encode())   # 5 bytes

バイト数はスクリプトによって異なります。 3 つの短い文を測定しました。

テキスト キャラクター UTF-8バイト UTF-16バイト
英語 28 28 56
ヒンディー語 32 84 64
日本語 17 51 34

UTF-8 は英語とコードに対してはコンパクトですが、多くのアジアの文字に対しては大きくなります。これは、データベース列、SMS、HTTP ヘッダー、API ペイロードなどの制限がバイト単位で設定されている場合に常に重要です。 100 バイトの制限では、英語文字は 100 文字まで入りますが、ヒンディー語文字は約 33 文字しか入りません。 LLM トークン ガイド が示すように、「1 つのキャラクターは 1 つのユニットではない」という同じ教訓が AI にも当てはまります。 len("👍🏽") でさえ、肌色の絵文字は 2 コード ポイントであるため、Python では 2 を返しました。

文字化け(文字化け)が発生する原因

文字化けテキストには、日本語の「文字変換」を意味する mojibake という名前が付いています。これは、UTF-8 として書き込まれたバイトが別のものとして読み取られるときに発生します。

"café".encode("utf-8").decode("cp1252")    # 'café'

é の 2 バイト C3 A9 は、Windows-1252 では「Ã」と「©」を意味するため、1 文字が 2 文字になりました。間違ったテキストが保存され、再び読み間違えられると、事態はさらに悪化します。二重往復が発生します café。 ₹500 café を UTF-8 でファイルに書き込み、それを cp1252 として読み戻しました。それは₹500 caféとして出てきました。

良いニュース: 通常、元のバイトはそのままなので、間違いを逆方向に繰り返すことで被害を回復できます。

"café".encode("cp1252").decode("utf-8")   # 'café'

ヒント: 「UTF-8 は cp1252 または Latin-1 として読み取られる」、「â €」または「Â」のパターンが表示された場合は、「UTF-8 は cp1252 または Latin-1 として読み取られる」と考えてください。 � (置換文字) が表示される場合は、バイトが無効であり、一部の情報が失われる可能性があります。

UnicodeDecodeError の説明

逆の間違いは、cp1252 または Latin-1 バイトを UTF-8 として読み取ることです。 Latin-1 では、é は単一バイト E9 であり、それ自体は有効な UTF-8 シーケンスではありません。

b"caf\xe9".decode("utf-8")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 3: unexpected end of data

最良から最悪までのオプション: 実際のエンコーディングを見つけて、それを使用してデコードします (b"caf\xe9".decode("latin-1") は「カフェ」を返します)。または、続行する必要がある場合は、errors="replace" を与えて文字を失った caf� を使用します。保持する必要があるデータのエラーを黙らせないでください。ファイルを正しく読み取る方法については、Python ファイル処理ガイドで説明されています。

コンソールのサプライズ

この記事を書いているときに、最初のデモ スクリプトがヒンディー語の行を印刷する前にクラッシュしました。

UnicodeEncodeError: 'charmap' codec can't encode character 'ह' in position 1: character maps to <undefined>

コードは正しかったです。問題は出力でした。Python は Windows シェルで sys.stdout.encoding を cp1252 として報告し、cp1252 にはヒンディー語文字がありません。環境変数 PYTHONIOENCODING=utf-8 を指定して実行すると問題は解決しました。Python の UTF-8 モード (python -X utf8) は別のオプションです。これは、プログラム内の文字列ではなく、ファイル、コンソール、データベース、ネットワークなどの境界にエンコードのバグが存在することを示す完璧な例です。

BOM: 先頭の目に見えないバイト

一部の Windows ツールは、UTF-8 ファイルの先頭にバイト オーダー マーク EF BB BF を追加します。プレーン utf-8 で読み取ると、非表示の文字として表示されます。

"hi".encode("utf-8-sig")                     # b'\xef\xbb\xbfhi'
b"\xef\xbb\xbfhi".decode("utf-8")            # 'hi'
b"\xef\xbb\xbfhi".decode("utf-8-sig")        # 'hi'

この野良  は、CSV ヘッダー (「名前」は「名前」と等しくなくなります) と JSON パーサーを破壊します。 encoding="utf-8-sig" の BOM を持つ可能性のあるファイルを読み取り、存在する場合はそれを削除します。私たちの Python JSON ガイド では、データ ファイルの安全なロードについて説明しています。

同じテキスト、異なるバイト: 正規化

a = "é"           # one code point U+00E9
b = "é"     # e + combining accent
print(a == b, len(a), len(b))                    # False 1 2
print(unicodedata.normalize("NFC", b) == a)      # True

画面上では両方とも同じに見えますが、コード ポイントが異なるため、比較、検索、および一意の制約では異なるものとして扱われます。 macOS または一部のキーボードから貼り付けられたテキストは、多くの場合、分解された形式を使用します。ユーザー入力を比較または保存する前に、NFC へのユーザー入力を正規化します。

エンコードのバグを防ぐ 6 つの修正

  1. どこでもエンコーディングに名前を付けます: open(p, encoding="utf-8")。私たちの Windows マシンは cp1252 をデフォルトとして報告したため、マシン間でデフォルトに依存することはできません。
  2. ウェブ上で UTF-8 を宣言します: <meta charset="utf-8"> HTML と Content-Type: text/html; charset=utf-8 レスポンスで。 JSON は仕様上 UTF-8 であり、REST API ベスト プラクティス ガイドはこれに基づいて構築されています。
  3. データベースで完全な Unicode を使用する: MySQL では、絵文字などの 4 バイト文字を保存できない古い utf8mb4 ではなく、utf8 を選択します (この記事では MySQL を実行しませんでした)。
  4. エッジでデコードし、内部でテキストを処理します:データが到着したときにバイトを文字列に変換し、データが送信されたときに元に戻します。
  5. BOM の処理と入力の正規化: 不明なファイルには utf-8-sig を使用し、ユーザー テキストには NFC を使用します。
  6. 実際の英語以外のデータでテストします: テスト データにé、₹、ヒンディー語、日本語、絵文字を含めて、API、CSV エクスポート、電子メールをエンドツーエンドでチェックします。

修正すべき症状: クイックルックアップ

わかりますか 考えられる原因 修正
café、₹、Ãパターン UTF-8 バイトは cp1252 または Latin-1 として読み取られます UTF-8として読み取ります。または .encode("cp1252").decode("utf-8") で修復します
caf�交換マークあり デコード時に無効なバイトが置き換えられる ソースエンコーディングを見つけます。置き換えられた文字は元に戻せません
UnicodeDecodeError 非 UTF-8 バイトは UTF-8 として読み取られます 実際のエンコーディングでデコードする
UnicodeEncodeError印刷時 コンソールまたはファイルで使用されているエンコードが制限されている PYTHONIOENCODING=utf-8またはpython -X utf8
最初の CSV 列名が一致しません 隠しBOM () utf-8-sigで読む
同じように見える文字列は等しくありません 異なる Unicode 正規化 unicodedata.normalize("NFC", s)
絵文字は MySQL に ???? として保存されました 列は 3 バイトを使用します utf8 utf8mb4に切り替えます

最初の 6 行は Python 3.13 で確認しました。 MySQL 行は標準的なアドバイスであり、ここではテストしませんでした。エンコーディングのバグが API の境界を越える場合は、Content-Type ヘッダーも確認してください。テキスト応答には charset=utf-8 という名前が付けられている必要があります。

まとめ

UTF-8 エンコーディングは本質的に単純です。Unicode は文字に番号を付け、UTF-8 は数値を 1 ~ 4 バイトとして保存します。文字化けした文字列はすべて、バイトの書き込み方法と読み取り方法の不一致です。すべての境界でエンコーディングに名前を付け、エンドツーエンドで UTF-8 を優先し、実際の多言語テキストでテストします。カフェを再び見ることはめったにありませんが、実際に見たときには、それを元に戻す方法が正確にわかるでしょう。

よくある質問

UTF-8エンコーディングとは何ですか?

UTF-8 は、各 Unicode 文字を 1 ~ 4 バイトとして格納する可変長エンコーディングです。 ASCII 文字は 1 バイトを使用するため、プレーン英語テキストは ASCII と UTF-8 で同一です。

Unicode と UTF-8 の違いは何ですか?

Unicode は、コード ポイントと呼ばれる番号をすべての文字に割り当てます。 UTF-8 は、数値をバイトとして保存する方法です。 UTF-16 と UTF-32 は別の方法です。

テキストに「é」のような奇妙な文字が表示されるのはなぜですか?

UTF-8 バイトは Windows-1252 または Latin-1 としてデコードされました。データを UTF-8 として読み取るか、文字化けしたテキストを間違ったエンコードでエンコードし直し、UTF-8 としてデコードすることで損傷を回復します。

Python で UnicodeDecodeError を修正するにはどうすればよいですか?

デフォルトに依存するのではなく、実際に書き込まれたエンコーディング (encoding=latin-1 や utf-8-sig など) を使用してファイルを開きます。文字の損失が許容される場合にのみ、errors=replace を使用してください。

UTF-8 文字は何バイト使用しますか?

1 から 4 まで。 ASCII は 1 バイトを使用し、ヨーロッパのアクセント付き文字のほとんどは 2 バイトを使用し、ヒンディー語、中国語、および多くの記号は 3 バイトを使用し、ほとんどの絵文字は 4 バイトを使用します。

学び続ける

Stack Quoraと連携する

テスト、WordPress、または SEO についてサポートが必要ですか?

私たちは、チームがより優れたソフトウェアを出荷し、サイトを成長させるのを支援します。あなたが取り組んでいることを教えてください。明確な次のステップを提案します。

読み続けてください

詳しいガイドはこちら テスト、AI、最新の開発

この記事は気に入りましたか?トピックを選択して、最新のチュートリアルに直接アクセスしてください。

人工知能

BM25 の説明: Python コードとハイブリッド検索を使用してキーワード検索で結果をランク付けする方法

BM25 は、私たちが実行した純粋な Python 実装を使って説明しました。数式、IDF、用語飽和、k1 および b パラメーター、生の単語数を超える理由、失敗する場所、および相互ランク融合によるハイブリッド検索がどのようにそれを修正するかについて説明しました。

記事を読む →
ソフトウェア開発

HTTP メソッドの説明: GET、POST、PUT、PATCH、DELETE、ライブサーバーでテスト済み

私たちが実行した小規模サーバーで説明した HTTP メソッド: GET、POST、PUT、PATCH、DELETE、HEAD および OPTIONS、安全かべき等か、PUT か PATCH、それぞれが返すステータス コード、405 エラー、および API 設計のためのチートシート。

記事を読む →
DevOps

Git Bisect の説明: コードを壊したコミットを手動または自動で見つける

Git bisect について、テスト済みのリポジトリを使って説明します。5 回のテスト実行中 41 件の中から 1 つの悪いコミットを見つけ、git bisect run で自動化し、終了コード 125 でテスト不可能なコミットをスキップし、カスタム用語を使用して安全にクリーンアップします。

記事を読む →
テスト自動化

pytest マーカーの説明: カスタム マーク、skip、skipif、xfail、および -m フィルター

pytest マーカーをテスト済みスイートで説明します。カスタム マークを登録し、-m でスモーク テストのみを実行し、and または not でフィルターを組み合わせ、skip、skipif、xfail を正しく使用し、–strict-markers でマーカーのタイプミスを停止します。

記事を読む →
ソフトウェアテスト

陽性テストと陰性テスト: 違い、24 の実際のテスト ケース、およびチェックリスト

実際のサインアップ フォームで説明される陽性テストと陰性テスト: pytest で実行される 6 つの陽性テスト ケースと 18 の陰性テスト ケース、陰性テストでキャッチされた欠落ガード、比較表、テクニック、チェックリスト。

記事を読む →
データベースとSQL

SQL ORDER BY 複数列: ASC、DESC、NULLS LAST、Case および Custom Order

テストされたクエリで説明された複数の列を含む SQL ORDER BY: ASC と DESC の混合、タイ ブレーカー、NULL FIRST と LAST、大文字と小文字を区別しない並べ替え、CASE を使用したカスタム順序、テキストとして保存された数値とインデックスの使用。

記事を読む →
データベースとSQL

SQL 累計: SUM OVER、グループごとの合計、移動合計、および RANGE トラップ

SUM() OVER を使用して SQL 現在の合計を計算する方法: グループごとの合計、毎日の累積合計、移動合計、合計のパーセント、RANGE 対 ROWS タイ トラップ、NULL、および古いサブクエリ メソッドに対する 360 倍の速度テスト。

記事を読む →
ソフトウェア開発

JavaScript 配列の並べ替え: 数値、オブジェクト、文字列、および 10 が 5 の前に来る理由

JavaScript で配列を正しくソートする方法: 比較関数を使用した数値、1 つ以上のフィールドによるオブジェクト、localeCompare を使用した文字列、日付、自然ソート、toSorted、安定性と速度、すべて Node 24 でテスト済み。

記事を読む →
ソフトウェア開発

Python 文字列メソッド: チートシート、実際の例、strip() トラップ

テスト済みの例を含む Python 文字列メソッド:split、join、strip、replace、find、startswith、is-methods、casefold、partition、translate、strip() トラップ、結合速度テスト、およびチートシート。

記事を読む →
人工知能

コサイン類似度の説明: 式、実際の例、および Python コード

コサイン類似度について簡単に説明します。公式、手動で実行した例、純粋な Python と NumPy コード、実際の単語数でのコサインとユークリッドの距離、AI 検索と RAG がコサイン類似性に依存する理由。

記事を読む →
ソフトウェア開発

UTF-8 エンコーディングの説明: テキストがバイトになる仕組みと文字化けしたテキストを修正する方法

UTF-8 エンコーディングについて、Python で実行したバイトレベルの例で説明しました。文字が 1 ~ 4 バイトになる仕組み、カフェがカフェになる理由、デコード エラー、BOM、正規化、コードと Web の 6 つの修正。

記事を読む →
テスト自動化

pytest parametrize の説明: 7 つのパターンとテスト済みの例

pytest parametrize は 7 つのテスト済みパターンで説明されています。基本的なケース、読み取り可能な ID、スタックされたデコレーター、xfail とスキップを備えた pytest.param、間接的なフィクスチャとリストからのデータ、さらに避けるべき間違いです。

記事を読む →
ソフトウェアテスト

再テストと回帰テスト: 実際のバグ修正例との 8 つの主な違い

再テストと回帰テストは、pytest で実行された実際のバグ修正で説明されています。再テストで修正が確認され、回帰の実行で新しいバグが検出されました。 8 つの主な違い、比較表、インタビューの回答。

記事を読む →
データベースとSQL

SQL で重複行を削除: 段階的にテストされた 5 つの安全な方法

SQL で重複行を安全に削除する方法: 重複行を見つけてプレビューし、ROW_NUMBER、MIN(id)、EXISTS、rowid、または新しいテーブルを使用して削除します。テストされたクエリ、タイミング、重複の返されない方法。

記事を読む →
データベースとSQL

SQL RANK 対 DENSE_RANK 対 ROW_NUMBER: テスト済みの例との違い

SQL RANK 対 DENSE_RANK 対 ROW_NUMBER を 1 つのテーブルで比較します。実行したクエリを使用して、各グループが同点、グループごとの上位 N、2 番目に高い給与トラップ、決定的なタイブレークをどのように処理するかがわかります。

記事を読む →
ソフトウェア開発

JavaScript のオプションのチェーン (?.) の説明: 8 つの例、??デフォルトとトラップ

JavaScript のオプションのチェーンにより、「未定義のプロパティを読み取れません」エラーが発生しなくなります。プロパティ、配列、メソッドのテスト済みの 8 つの例 ??対 ||デフォルト、短絡および 4 つのトラップ。

記事を読む →
ソフトウェア開発

Python enumerate() の説明: 7 つの例、start=1 と避けるべき間違い

Python enumerate() は、1 つのクリーンなループでインデックスと値を提供します。 7 つのテストされた例、start=1 のトリック、辞書、ファイル、速度の数値、および避けるべき 3 つの間違い。

記事を読む →
人工知能

RAG チャンキング戦略の説明: 固定、オーバーラップ、センテンス、再帰および見出し、測定

tiktoken 0.14 を使用した 1 つのドキュメントでの RAG チャンク戦略の比較: 固定サイズ、オーバーラップ、センテンス パッキング、再帰的分割、見出しベースのチャンク、分割ファクト、孤立見出し、ストレージ コストの測定。

記事を読む →
ソフトウェア開発

API 冪等性の説明: 冪等性キーと安全な再試行、テスト済み

API 冪等性は、私たちが実行した Python サーバーとクライアントで説明されました。応答が失われたため、キーなしでは二重請求、キーありでは単一請求が発生し、さらにキーの再利用、同時再試行、ストレージ ルールが発生しました。

記事を読む →
DevOps

Git Stash の説明: 保存、適用、ポップ、および追跡されていないファイルのテスト済み

Git stash について、Git 2.56 で実行したコマンドを使用して説明しました。メッセージ付きのプッシュ、追跡されていないファイル、リストと表示、適用とポップ、インデックスの保持、競合、スタッシュ ブランチ、ドロップとクリアです。

記事を読む →
ソフトウェアテスト

ペアごとのテストの説明: オールペアによって 216 個のテストが 13 個に削減される方法 (テスト済み)

ペアワイズ テストについては、Python 3.13 で実行したジェネレーターで説明しました。13 のテストでカバーされる 216 の組み合わせのチェックアウト、検証済みのカバレッジ、より大きな例、およびペアワイズで見逃される可能性がある 3 方向のバグです。

記事を読む →
テスト自動化

テストダブルの説明: ダミー、スタブ、スパイ、モック、フェイク、テスト済みの Python コード

テスト ダブルについて、pytest 9.2 で実行される Python の例 (ダミー、スタブ、スパイ、モック、フェイク)、それぞれをいつ使用するか、状態と動作のチェック、およびプレーン モックが隠したバグを autospec がどのようにキャッチするかを説明します。

記事を読む →
データベースとSQL

SQL COALESCE の説明: デフォルト、NULLIF、IFNULL と ISNULL およびトラップ、テスト済み

SQL COALESCE では、SQLite 3.50 で実行したクエリ、つまり最初の非 null 値、空の文字列、数学における NULL、ゼロ除算の NULLIF、集計、LEFT JOIN ギャップ、IFNULL と ISNULL について説明しました。

記事を読む →
データベースとSQL

SQL 自己結合の説明: 従業員とマネージャー、ペアと行の比較、テスト済み

SQL 自己結合については、SQLite 3.50 で実行したクエリで説明しました。従業員とマネージャー、マネージャー以上の収入、一意のペア、日々の変化、2 ホップ チェーン、インデックス作成です。

記事を読む →
ソフトウェア開発

JavaScript スプレッド演算子の説明: スプレッドと残り、コピーと落とし穴、テスト済み

JavaScript スプレッド演算子については、ノード 24 で実行したコード (配列、オブジェクト、浅いコピー、残りのパラメーター、Math.max 制限、reduce のパフォーマンス トラップ) で説明しました。

記事を読む →
ソフトウェア開発

Python 関数ツールの説明: lru_cache、partial、reduce、wraps など、テスト済み

Python 関数ツールでは、Python 3.13 で実行したコード (lru_cache とキャッシュ、partial、reduce、wraps、cached_property、singledispatch、total_ordering) をタイミングと落とし穴とともに説明しました。

記事を読む →
ソフトウェア開発

Python コレクション モジュールの説明: Counter、defaultdict、deque など、テスト済み

Python コレクションは、Python 3.13 で実行したコード (Counter、defaultdict、deque、namedtuple、OrderedDict、ChainMap) を使用して説明されています。さらに、list と deque のタイミングとチートシートも含まれています。

記事を読む →
人工知能

LLM コンテキスト ウィンドウの説明: トークン、制限、およびさらに適合させる方法、測定

LLM コンテキスト ウィンドウは、tiktoken を使用して測定したトークン数で説明されています。散文、コード、ヒンディー語の単語とトークン、入出力の予算、チャット履歴のトリミング、RAG のチャンク化とコストです。

記事を読む →
ソフトウェア開発

Webhook の説明: Webhook の仕組みと安全に受信する方法

Webhook について、Python で実行した受信側と送信側で説明しました。プッシュとポーリング、HMAC-SHA256 署名、改ざんおよび再実行されたリクエストの拒否、バックオフによる再試行、冪等性、およびテストのヒントです。

記事を読む →
DevOps

Git Cherry-Pick の説明: 必要なコミットを安全にコピーし、テスト済み

Git チェリーピックでは、Git 2.56 で実行したコマンド、つまりリリース ブランチへのホットフィックスのコピー、新しいハッシュとパッチ ID、-x、-n、コミット範囲、競合、–abort、–skip、およびその後のマージについて説明しました。

記事を読む →
テスト自動化

スナップショット テストの説明: 仕組み、役立つ場合と問題となる場合

スナップショットのテストについては、私たちが実行した pytest と syrupy のデモで説明しました。スナップショットの作成、コード変更後の diff の読み取り、タイムスタンプのマスク、安全な更新、スナップショットが役立つ場合と有害な場合について説明しました。

記事を読む →
ソフトウェアテスト

突然変異テストの説明: 100% のカバー率でもバグを見逃す理由

ミューテーション テストについては、私たちが構築して実行した小さなミューテーション ツールで説明しました。14 個のミュータント、79% のスコアを獲得した 100% のライン カバレッジのテスト スイート、100% に達した境界テスト、さらにツール、コスト、CI ヒントです。

記事を読む →
データベースとSQL

SQL JSON 関数の説明: SQL での JSON のクエリ、更新、インデックス付け、テスト済み

SQL JSON 関数について、SQLite 3.50 で実行したクエリを使用して説明しました: json_extract、-> および ->> 演算子、json_each、json_set、json_patch、json_group_array、検証、式インデックス、および …

記事を読む →
データベースとSQL

SQL ピボットの説明: CASE、FILTER、PIVOT を使用して行を列に変換する

SQL ピボットについては、SQLite 3.50 で実行したクエリ (CASE と SUM、FILTER、NULL とゼロの比較、合計、動的列、アンピボット、ネイティブ PIVOT 構文) による条件付き集計で説明しました。

記事を読む →
人工知能

プロンプト インジェクションの説明: AI アプリがどのように騙されるのか、そしてどのように防御するのか

ビルダー向けに説明されたプロンプト インジェクション: 直接攻撃と間接攻撃、キーワード フィルターが失敗する理由 (テストでは 4 つのうち 1 つがブロックされました)、最小権限、ツール許可リスト、出力チェックなどの多層防御。

記事を読む →
DevOps

DNS レコードの説明: A、AAAA、CNAME、MX、TXT、TTL と実際のルックアップ

DNS レコードは、実行したルックアップで説明されています。解決の仕組み、A と AAAA、CNAME ルール、MX と null MX、SPF と検証のための TXT、NS、TTL とキャッシュ、安全な DNS 変更です。

記事を読む →
DevOps

機能フラグの説明: 安全なリリース、段階的なロールアウト、およびフラグの衛生状態

私たちが実行したロールアウト シミュレーションで説明された機能フラグ: フラグの種類、安定したハッシュを使用したパーセンテージ ロールアウト、キル スイッチ、許可リスト、両方のパスのテスト、フラグの負債とベスト プラクティス。

記事を読む →
テスト自動化

Python Faker を使用したテストデータ生成: 現実的で再現性のある安全なデータ

Python Faker でデータ生成をテストし、実行して測定します。再現可能なデータ、ロケール、一意の値、ドメイン形状のレコード、Faker がミスするエッジ ケースのシード、本番データと速度のマスキング。

記事を読む →
ソフトウェアテスト

シフトレフト テストの説明: チームの作業を遅らせることなくバグを早期に発見する

シフトレフト テストについて説明しました。その意味、初期不良の方が安い理由、要件レビューから CI チェックまでの実践、テスターの役割の変化、シフトライト、メトリクス、展開計画について説明します。

記事を読む →
データベースとSQL

SQL 文字列関数の説明: TRIM、SUBSTR、REPLACE、CONCAT、およびデータ クリーンアップ

SQL 文字列関数を実行したクエリとともに説明しました。連結と NULL、TRIM、UPPER と LOWER、SUBSTR と INSTR、REPLACE、パディング、Unicode 長さ、乱雑なデータのクリーニング、方言の違いなどです。

記事を読む →
データベースとSQL

SQL トリガーの説明: BEFORE トリガーと AFTER トリガー、監査ログ、および落とし穴

SQL トリガーについて、実行したトリガーを使用して説明します: BEFORE と AFTER、OLD と NEW、監査ログ、検証、ストック更新、WHEN 条件、ロールバック、方言の違い、およびそれらを回避するタイミング。

記事を読む →
ソフトウェア開発

Python JSON モジュールの説明: ダンプ、ロード、カスタム タイプ、および一般的なエラー

Python JSON モジュールでは、ダンプとロード、ファイル、型変換、日付と小数点、カスタム エンコーダー、object_hook、float 精度、解析エラー、JSON 行など、実行したコードを使用して説明しました。

記事を読む →
ソフトウェア開発

ES モジュールと CommonJS: Node.js での JavaScript インポートの動作 (テスト済み)

ES モジュールと CommonJS について、Node.js で実行したコード (インポートおよびエクスポート構文、require、ライブ バインディング、キャッシュ、トップレベルの待機、動的インポート、ファイル拡張子、相互運用) を使用して説明しました。

記事を読む →
ソフトウェア開発

Python 正規表現の説明: パターン、グループ、先読みと落とし穴、テスト済み

Python 正規表現は、検索と一致、findall、グループと名前付きグループ、貪欲と遅延、サブ、先読み、フラグ、Unicode のサプライズ、壊滅的なバックトラッキングなど、実行したパターンで説明しました。

記事を読む →
人工知能

LLM 構造化出力の説明: AI モデルから信頼性の高い JSON を取得する

LLM 構造化出力は、Pydantic で実行した検証とともに説明されています。JSON モードとスキーマ、制約付きデコード、モデル出力が中断される方法、再試行ループ、セマンティック チェックです。

記事を読む →
DevOps

SSH キーの説明: 仕組み、ssh-keygen、Ed25519、および安全な習慣

SSH キーについて、私たちが生成したキーとともに説明しました: 公開キーと秘密キー、ssh-keygen、Ed25519 と RSA、指紋、パスフレーズ、ssh-agent、authorized_keys、構成ファイル、GitHub、およびキーの衛生状態。

記事を読む →
DevOps

HTTP キャッシュの説明: ライブ テストによるキャッシュ制御、ETag、および 304 レスポンス

HTTP キャッシュについて、私たちが実行した小規模サーバーで説明しました。キャッシュ制御ディレクティブ、最大有効期間、キャッシュなしとストアなし、ETag の再検証と 304 応答、CDN、キャッシュ無効化とヘッダーのテストです。

記事を読む →
テスト自動化

API コントラクトのテストの説明: 重大な変更を出荷前に把握する

API contract testing explained with a schema check we ran: what a contract is, consumer-driven contracts, Pact, OpenAPI, which changes break consume…

記事を読む →
ソフトウェアテスト

リスクベースのテストの説明: リスクをスコアリングし、マトリックスを構築し、重要なものをテストする

リスクベースのテストについて段階的に説明します。リスクの特定、可能性と影響のスコアリング、リスク マトリックスの構築、テストの深さへのリスクのマッピング、実際の例とよくある間違いです。

記事を読む →
データベースとSQL

SQL 制約の説明: NOT NULL、UNIQUE、CHECK、および FOREIGN KEY、テスト済み

SQL 制約について、実行したテストで説明しました。NOT NULL、UNIQUE、CHECK、DEFAULT、PRIMARY、FOREIGN KEY、NULL の抜け穴、SQLite の外部キー設定、名前付け制約とそれらのテストです。

記事を読む →
データベースとSQL

SQL 日付関数の説明: バグのない日付の追加、比較、グループ化

SQL の日付関数を、実行したクエリで説明しました。間隔の追加、月末のサプライズ、日付の違い、BETWEEN トラップ、日別のグループ化、タイム ゾーン、インデックス、方言の違いなどです。

記事を読む →
ソフトウェア開発

Python asyncio の説明: リアル タイミングでの async、await、gather、および TaskGroup

Python asyncio は、コルーチン、await、gather、TaskGroup、エラー処理、タイムアウト、同時実行の制限、パフォーマンスを損なうブロッキングコールの間違いなど、時間を測定したコードで説明しました。

記事を読む →
ソフトウェア開発

JavaScript におけるデバウンスとスロットル: それぞれの仕組み、いつ使用するか、テスト済み

JavaScript でのデバウンスとスロットルについて、Node.js で測定したタイミングを使用して説明します。それぞれの仕組み、単純な実装、先頭と末尾の呼び出し、実際の使用例とテストです。

記事を読む →
ソフトウェア開発

Python コンテキスト マネージャーの説明: with ステートメント、contextlib、および実際の使用法

Python コンテキスト マネージャーは、実行したコードを使用して説明しました。仕組み、__enter__ と __exit__、contextlib.contextmanager、suppress、ExitStack、データベース トランザクション、およびよくある間違いについて説明しました。

記事を読む →
人工知能

LLM 温度と Top-p の説明: AI モデルが次の単語を選択する方法

LLM 温度と top-p は、私たちが実行したシミュレーションで説明しました。確率がどのように再形成されるか、top-p が保持するもの、タスク別の推奨設定、決定論、AI 機能のテストです。

記事を読む →
DevOps

YAML の説明: 構文、ノルウェー問題、テストしたその他の罠

YAML は、基本構文、リストとマップ、ノルウェー問題、浮動小数点数に変換されるバージョン、8 進郵便番号、60 進数、アンカー、複数行テキスト、安全な読み込みなどのパーサー テストで説明されています。

記事を読む →
DevOps

Cron ジョブの説明: 構文、実際のスケジュール、およびそれらを壊す間違い

Cron ジョブは、検証したスケジュールとともに説明されています。5 つのフィールド、演算子、実際の例、月日または曜日のトラップ、環境の問題、ロギング、重複、タイム ゾーンです。

記事を読む →
人工知能

AI 幻覚の説明: 言語モデルが物事をでっち上げる理由とそれを軽減する方法

AI 幻覚について説明しました。幻覚とは何か、言語モデルが幻覚を生成する理由、一般的な種類、グラウンディングとプロンプトで幻覚を軽減する方法、そして私たちが実行した簡単なチェックです。

記事を読む →
DevOps

環境変数の説明: .env ファイル、シークレット、および設定が正しく行われている

実行した Python の例を使用して環境変数について説明します。環境変数の読み取りと設定、すべての値が文字列である理由、.env ファイル、プロセスの継承、シークレット、検証について説明します。

記事を読む →
ソフトウェア開発

API レート制限の説明: アルゴリズム、ヘッダー、および 429 エラーの処理

API レート制限については、実行したシミュレーションで説明します。トークン バケット、固定ウィンドウ、スライディング ウィンドウ、429 応答、レート制限ヘッダー、バックオフによる再試行、およびテスト制限です。

記事を読む →
テスト自動化

Python でのモッキング:unittest.mock、patch、およびテストを嘘にする間違い

Python でのunittest.mockによるモック、テスト済み: モックとreturn_value、side_effect、名前が使用されている場所のパッチ、仕様と自動仕様、日付のモック、およびよくある間違い。

記事を読む →
ソフトウェアテスト

コードカバレッジの説明: 回線カバレッジとブランチカバレッジ、および 100% の実際の意味

実際のcoverage.pyの実行でコードカバレッジを説明: 行、分岐、条件のカバレッジ、レポートの読み取り、100%のカバレッジでもバグを見逃す可能性がある理由、および賢明なターゲット。

記事を読む →
データベースとSQL

SQL における DELETE、TRUNCATE、DROP: 違い、ロールバック、およびそれぞれをいつ使用するか

DELETE、TRUNCATE、DROP について、テスト済み SQL を使用して説明します。それぞれの削除内容、ロールバック、トリガー、ID リセット、速度、PostgreSQL、MySQL、SQL Server、SQLite の違いについて説明します。

記事を読む →
データベースとSQL

SQL ビューの説明: 作成、使用、落とし穴の回避、例を示します

SQL ビューについて、実行したクエリとともに説明しました。ビューの作成、ライブ結果、列の非表示、パフォーマンス、更新可能なビューと具体化されたビュー、壊れた依存関係、ベスト プラクティスについて説明します。

記事を読む →
ソフトウェア開発

TypeScript インターフェイスと型: 実際の違い、コンパイラでテスト

TypeScript インターフェイスと型、実際のコンパイラでチェック: 両方でできること、片方だけでできること、宣言のマージ、拡張と交差、および従うべき簡単なルール。

記事を読む →
ソフトウェア開発

Python *args と **kwargs の説明: 柔軟な関数と明確な例

Python の *args と **kwargs について、実行したコードで説明しました。パッキングとアンパッキング、パラメーターの順序、キーワードのみの引数と位置のみの引数、デコレーター、一般的なエラーです。

記事を読む →
ソフトウェア開発

Python Lambda 関数: 構文、実際の用途、および使用すべきでない場合

Python のラムダ関数について、実行したコードとともに説明します。構文、キーによるソート、マップとフィルター、クロージャー、遅延バインディング トラップ、通常の def がより適切な選択である場合。

記事を読む →
人工知能

AIエージェントとは何ですか?シンプルなエージェント ループを実行できる仕組み

AIエージェントとは何ですか?エージェント ループ、ツール、メモリ、ガードレール、実行した小さな Python ループ、実際のリスク、およびシンプルなチャットボットがより良い選択である場合についてのわかりやすいガイドです。

記事を読む →
DevOps

モニタリングと可観測性: ログ、メトリクス、トレースによる本当の違い

モニタリングと可観測性について説明: 既知および未知の障害、ログ、メトリクスとトレース、チェックアウト インシデントのウォークスルー、ゴールデン シグナル、OpenTelemetry、および便利なアラート。

記事を読む →
DevOps

Docker ボリュームとバインド マウント: コンテナ データを正しい方法で保持する

Docker ボリュームとバインド マウントについて説明します。コンテナ データが消える理由、名前付きボリューム、バインド マウント、tmpfs、Compose の例、バックアップ、アクセス許可、およびそれぞれをいつ使用するかについて説明します。

記事を読む →
テスト自動化

TDD と BDD: 主な違い、1 つの機能が両方の方法で構築され、それぞれをいつ使用するか

TDD と BDD は、両方の方法で構築された 1 つの割引機能で説明されています。実行したコードによるレッド-グリーン-リファクタリング、Given-When-Then シナリオ、ツール、トレードオフ、およびそれぞれをいつ使用するかです。

記事を読む →
ソフトウェアテスト

ユーザー受け入れテスト (UAT): プロセス、チェックリスト、および実際の例

ユーザー受け入れテストの説明: 誰が実行するか、QA との違い、7 段階のプロセス、UAT テスト ケース テンプレート、チェックリスト、サインオフ基準、およびよくある間違い。

記事を読む →
データベースとSQL

SQL NULL 値の説明: IS NULL、COALESCE、NULLIF、および回避すべきトラップ

SQL の NULL 値について、実行したクエリで説明しました。3 つの値のロジック、IS NULL、COALESCE、NULLIF、集計、結合、並べ替えでの NULL の扱い方、およびそれが密かに引き起こすバグです。

記事を読む →
データベースとSQL

SQL CASE WHEN ステートメント: 構文、実際の例、およびよくある間違い

SQL CASE WHEN では、単純な検索フォーム、条件順序、SUM を使用したピボット、COUNT トリック、カスタム並べ替え、更新、回避すべき NULL トラップなど、実行したクエリを使用して説明しました。

記事を読む →
ソフトウェア開発

JWTとは何ですか? JSON Web トークンを実際の例で説明する

JWTとは何ですか? JSON Web トークンについて説明しました。3 つの部分、実行したコード内で構築および改ざんされたトークン、JWT とセッション、ストレージ、リフレッシュ トークン、およびセキュリティ上の間違いです。

記事を読む →
ソフトウェア開発

JavaScript イベントループの説明: コールスタック、マイクロタスク、タイマーと例

JavaScript イベント ループについて、実行したコードで説明しました。コール スタック、タスク キュー、マイクロタスク キュー、setTimeout 0 が即時ではない理由、ブロッキング、スターベーション、およびインタビュー クイズです。

記事を読む →
ソフトウェア開発

Python ジェネレーターと収量の説明: 実際の例でメモリを節約する

Python ジェネレーターと Yield について、実行したコードを使用して説明します。一時停止と再開の方法、メモリ節約の測定、パイプライン、無限シーケンス、Yield from、send、および一般的なトラップについて説明します。

記事を読む →
人工知能

埋め込みとは何ですか?ベクトルとコサインの類似度を簡単に説明

埋め込みとは何ですか?ベクトル、コサイン類似度、セマンティック検索に関する平易なガイド。私たちが実行した小さな例、一般的な使用法、モデルの選択、既知の制限が含まれています。

記事を読む →
DevOps

Blue-Green デプロイメントと Canary デプロイメント: 違い、トレードオフ、および選択方法

ブルー グリーン デプロイメントとカナリア デプロイメントについて説明: それぞれの仕組み、コスト、リスクとロールバック、テストした安定したユーザー バケット化、データベース移行、ローリング アップデート、および選択方法。

記事を読む →
テスト自動化

不安定なテスト: 問題の原因とそれを永久に修正する方法

不安定なテストについては、私たちが実行したデモを使用して説明しました。主な原因、確認および診断する方法、タイミングの適切な修正、共有された状態と日付、隔離プロセスなどです。

記事を読む →
ソフトウェアテスト

負荷テストとストレス テスト: 違い、メトリクス、および k6 の例

ロード テストとストレス テストについて説明します。それぞれが何を証明するか、スパイク テストとソーク テスト、重要な指標、平均値が誤解を招く理由、K6 の例、テストの計画方法について説明します。

記事を読む →
ソフトウェアテスト

テスト ケースとテスト シナリオ: 主な違い、例、およびそれぞれをいつ使用するか

テスト ケースとテスト シナリオの説明: 明確な定義、並べて表、シナリオからケースへの 1 つのパスワード リセット機能、テンプレート、およびそれぞれをいつ使用するか。

記事を読む →
データベースとSQL

SQL クエリの最適化: 実行プランを読み取り、タイミングを考慮して遅いクエリを修正

SQL クエリの最適化は 100 万行でテストされています。実行プランの読み取り、適切なインデックスの追加、検索対象外のフィルターの修正、複合インデックスとキーセットのページネーションの使用。

記事を読む →
データベースとSQL

SQL UNION と UNION ALL: 違い、例、テストされたパフォーマンス

SQL UNION と UNION ALL について、実行したクエリで説明しました。重複、両方に従うルール、実際のデータのバグ、測定されたパフォーマンス、INTERSECT と EXCEPT、およびそれぞれをいつ使用するかについて説明します。

記事を読む →
ソフトウェア開発

JavaScript Fetch API チュートリアル: GET、POST、エラー処理、タイムアウト

ローカル サーバーに対してテストされた JavaScript Fetch API チュートリアル: GET と POST、404 がスローされない理由、再利用可能なヘルパー、クエリ文字列、タイムアウト、CORS、およびよくある間違い。

記事を読む →
ソフトウェア開発

Python ファイル処理: 読み取り、書き込み、CSV、JSON、パスライブラリと例

Python のファイル処理について、実行したコードで説明します。オープン モード、大きいファイルの読み取り、CSV、JSON、パスライブラリ、バイナリ ファイル、安全な書き込み、エラー処理、およびよくある間違いについて説明します。

記事を読む →
ソフトウェア開発

Python のクラスとオブジェクト: 実際の例を含む OOP チュートリアル

Python のクラスとオブジェクトについて、実行したコードとともに説明します: __init__、メソッド、クラスとインスタンスの属性、継承、プロパティ、ダンダー メソッド、データクラス、およびよくある間違い。

記事を読む →
人工知能

大規模言語モデルとは何ですか? LLM の仕組みを誇大広告なしで説明

大規模言語モデルとは何ですか? LLM は、トークン、エンベディング、アテンション、トレーニング、温度およびコンテキスト ウィンドウ、小さな次の単語のデモ、実際の制限など、平易な言葉で説明されています。

記事を読む →
DevOps

初心者のための Linux コマンド: 例を含む基本ターミナル ガイド

初心者向けの Linux コマンド。ナビゲーション、ファイル、ログの表示、grep、パイプ、権限、プロセス、アーカイブなどのタスク別にグループ化されており、実用的なログ分析の例も含まれています。

記事を読む →
テスト自動化

Selenium と Playwright: 主な違い、コードの比較、どちらを選択するか

Selenium と Playwright の比較: アーキテクチャ、待機、ブラウザと言語のサポート、デバッグ、両方のツールでの同じテスト、移行のアドバイスと選択方法。

記事を読む →
ソフトウェアテスト

等価性分割: テスト設計手法を実際の例で説明

等価性パーティション化について説明しました。有効なパーティションと無効なパーティションを見つける方法、年齢、パスワード、クーポンに関する実際の例、実行したテスト、境界と組み合わせる理由。

記事を読む →
ソフトウェアテスト

ソフトウェアテストにおける重大度と優先度: 相違点、マトリックス、および実際の例

ソフトウェア テストにおける重大度と優先度について説明します。明確な定義、例を含む 4 方向のマトリックス、レベル スケール、それぞれの設定者、バグ トリアージの実行方法。

記事を読む →
データベースとSQL

SQL サブクエリのチュートリアル: 型、相関サブクエリ、および EXISTS と例

実行したクエリを含む SQL サブクエリのチュートリアル: スカラー、IN、FROM、SELECT サブクエリ、相関サブクエリ、EXISTS、NOT IN NULL トラップ、サブクエリ対 JOIN 対 CTE。

記事を読む →
データベースとSQL

SQL トランザクションと ACID の説明: COMMIT、ROLLBACK、分離レベル

SQL トランザクションと ACID について、実行した銀行振込で説明しました。COMMIT、ROLLBACK、セーブポイント、ロック、分離レベル、ダーティ リード、デッドロック、ベスト プラクティスについて説明します。

記事を読む →
ソフトウェア開発

Git コマンドのチートシート: 実際に使用するコマンドと例

実際のデモ リポジトリからの出力を含む、タスク別にグループ化された Git コマンド チート シート (セットアップ、ステージング、ブランチ、リモート、スタッシュ、履歴、間違いの取り消し)。

記事を読む →
ソフトウェア開発

JavaScript Promise の説明: then、catch、Promise.all、およびよくある間違い

JavaScript の Promise を、実行したコードで説明します。ステート、then および catch チェーン、エラー処理、Promise.all、allSettled、race および any、イベント ループ、およびよくある間違いです。

記事を読む →
ソフトウェア開発

Python 辞書チュートリアル: メソッド、例、一般的なパターン

私たちが実行したコードを含む Python 辞書チュートリアル: 辞書の作成、読み取り、更新、主要なメソッド、マージ、内包表記、パターンのカウントとグループ化、およびよくある間違い。

記事を読む →
人工知能

RAGとは何ですか?検索拡張生成を実際の例で説明する

RAGとは何ですか?検索拡張生成について、インデックス作成、チャンク化、埋め込み、検索、実際に動作する小さな Python の例、評価、一般的な失敗など、ステップごとに説明します。

記事を読む →
DevOps

初心者向け Terraform チュートリアル: 最初のファイルからモジュールまでのコードとしてのインフラストラクチャ

初心者向けの Terraform チュートリアル: クラウド アカウントなしで開始し、初期化、計画、適用を学び、次に変数、出力、状態、モジュール、安全なチーム ワークフローを学びます。

記事を読む →
DevOps

Docker と Kubernetes: 主な違い、連携方法、どちらが必要か

Docker と Kubernetes について説明しました。それぞれの機能、同じアプリを両方で実行すること、Docker Compose と Swarm の比較、dockershim の変更、必要なものを決定する方法などです。

記事を読む →
テスト自動化

初心者向けの Pytest チュートリアル: フィクスチャ、パラメータ化、実際の例

pytest 9.2 で実行したテストを含む初心者向けの pytest チュートリアル: アサーション、フィクスチャ、parametrize、conftest、マーカー、tmp_path、monkeypatch、便利なフラグ、CI。

記事を読む →
ソフトウェアテスト

ソフトウェア テスト ライフ サイクル (STLC): 6 つのフェーズ、開始基準と終了基準、例

ソフトウェア テストのライフ サイクルについては、開始基準と終了基準を含む 6 つの STLC フェーズ、成果物、実際に動作するログイン機能の例、STLC と SDLC、およびアジャイルにおける STLC について説明しました。

記事を読む →
ソフトウェア開発

Git mergeとrebaseの違い:例と使い分け

Git mergeとrebaseの違いを、実際のログ出力、比較表、rebaseの黄金律、安全なチームワークフローで解説します。

記事を読む →
ソフトウェア開発

Pythonのリスト内包表記:構文・例・使うべきでない場面

Pythonのリスト内包表記を解説:構文、フィルタ、if-else、ネストしたループ、実測した処理時間、そして通常のforループの方が良い場面。

記事を読む →
データベースとSQL

SQL JOINを例で解説(Inner・Left・Right・Full)

サンプルのテーブルとクエリでSQL JOINを順に解説。INNER、LEFT、RIGHT、FULL、CROSS、SELFに加え、よくある間違いとパフォーマンスのコツも紹介します。

記事を読む →