エラーを見つけるためだけに 10 GB のログ ファイルをリストにロードすることを想像してください。プログラムがメモリを見つける前にメモリ不足になる可能性があります。 Python ジェネレーター は、オンデマンドで一度に 1 つずつ値を生成することでこの問題を解決し、メモリをほとんど使わずに巨大なデータ、さらには無限のデータを処理できるようにします。

このガイドでは、ジェネレーターの実行時に実際に何が起こるかを段階的に説明します。各例を Python 3.13 で実行し、その実行からの出力が得られます。 初心者向けの Python チュートリアルで説明されている関数とループにすでに慣れていると役立ちます。

発電機とは何ですか?

ジェネレーターは、yield を使用して関数を作成することで作成する特別な種類のイテレーターです。 yield が含まれる関数は自動的にジェネレーター関数になり、それを呼び出すと、コードを実行するのではなく、ジェネレーター オブジェクトが得られます。

def count_up(limit):
    print("starting")
    n = 1
    while n <= limit:
        yield n
        n += 1
    print("finished")

gen = count_up(2)
print(gen)

# <generator object count_up at 0x...>

「starting」が出力されないことに注意してください。関数を呼び出すとジェネレーターのみが作成されます。内部ではまだ何も実行されていません。

歩留まりのしくみ、ステップバイステップ

next() を呼び出すたびに、yield に到達するまで関数が実行され、その値が返され、その場でフリーズします。次の呼び出しは、すべてのローカル変数をそのままにして、その行の直後から再開されます。

print(next(gen))
# starting
# 1

print(next(gen))
# 2

next(gen)
# finished
# StopIteration

出力に従ってください。 「starting」は最初のnext()にのみ表示されます。 2 番目では、停止した場所から実行が続行されるため、n はまだ利用可能で 2 になります。 3 番目では、ループが終了し、「finished」が出力され、関数が最後から落ち、Python は StopIteration を上げて、何も残っていないことを示します。

next() を自分で呼び出すことはほとんどありません。 for ループはこれを実行し、StopIteration を静かに処理します。また、list()、sum()、および同様の関数も同様に処理します。

print(list(count_up(3)))

# starting
# finished
# [1, 2, 3]

利回りとリターン

この遅延は 遅延評価 として知られており、値は必要な場合にのみ計算されます。ジェネレーター内のプレーン return は単にジェネレーターを終了し、StopIteration をトリガーします。

測定されたメモリの違い

sys.getsizeof を使用して、100 万正方形のリストを同等のジェネレーターと比較しました。

import sys

squares_list = [n * n for n in range(1_000_000)]
squares_gen = (n * n for n in range(1_000_000))

print(sys.getsizeof(squares_list), sys.getsizeof(squares_gen))

# 8448728 200

リスト自体の構造には約 8.4 MB が必要でしたが、システム上ではジェネレーターに必要なバイト数はわずか 200 バイトでした。 getsizeof ではリスト内の整数オブジェクトがカウントされないため、実際のギャップはさらに大きくなります。ジェネレーターのサイズは、結果ではなく現在の状態のみを保存するため、10 億個のアイテムに対して同じままです。

ただし、トレードオフもあります。 len() を使用すると、リストを再利用したり、インデックスを作成したり、測定したりできます。ジェネレーターはこれらのどれも提供しません。ランダム アクセスが必要な場合、または少量のデータを数回ループする場合は、リストの方が簡単です。これらの型の詳細については、Python リスト、タプル、セット のガイドを参照してください。

ジェネレータ式

単純な場合には関数は必要ありません。ジェネレーター式は、角括弧の代わりに丸括弧を使用した リスト内包表記 のように見えます。

squares = [n * n for n in range(5)]   # builds a list now
squares = (n * n for n in range(5))   # produces values on demand

print(sum(n * n for n in range(5)))

# 30

sum() のように、ジェネレーター式が関数の唯一の引数である場合は、余分な括弧を省略できます。一時的なリストが作成されないため、これは大規模なデータの合計を計算する場合に適切な習慣です。

データパイプラインを構築する

ここで発電機が真価を発揮します。小さなジェネレーターをチェーンして、各アイテムが一度に 1 つずつすべてのステップを通過するようにすることができます。

def read_lines(lines):
    for line in lines:
        yield line.strip()

def only_errors(lines):
    for line in lines:
        if line.startswith("ERROR"):
            yield line

def messages(lines):
    for line in lines:
        yield line.split(" ", 1)[1]

log = ["INFO started\n", "ERROR db down\n",
       "ERROR disk full\n", "INFO stopped\n"]

print(list(messages(only_errors(read_lines(log)))))

# ['db down', 'disk full']

各ステップは 1 つの小さなジョブを実行し、単独でテストできます。 Python ファイル処理のガイド で示されているように、ファイル オブジェクトは 1 行ずつ読み取ることができるため、実際に使用する場合は、開いているファイルのサンプル リストを交換します。数ギガバイトのログであっても、非常に少ないメモリで処理されます。

無限シーケンス

リストは無限にすることはできませんが、ジェネレーターは次の値のみを計算するため、無限にすることができます。 itertools.islice を使用して必要な数だけ取得します。

import itertools

def fibonacci():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b

print(list(itertools.islice(fibonacci(), 8)))

# [0, 1, 1, 2, 3, 5, 8, 13]

ただし、注意してください。制限なしで list(fibonacci()) を呼び出すと、メモリがなくなるまで実行されます。同じパターンは、ID ジェネレーター、ポーリング ループ、ページ分割された API 結果にも適しており、現在のページがなくなった場合にのみ次のページをフェッチします。

およびバッチからの収量

yield from 別の反復可能オブジェクトにハンドオフし、ネストされたループを節約します。

def chain_all(*groups):
    for group in groups:
        yield from group

print(list(chain_all([1, 2], (3, 4))))

# [1, 2, 3, 4]

非常に実用的なパターンは、データを固定サイズのバッチに分割することです。たとえば、一度に 1,000 行をデータベースに挿入します。

def batches(items, size):
    batch = []
    for item in items:
        batch.append(item)
        if len(batch) == size:
            yield batch
            batch = []
    if batch:
        yield batch

print(list(batches(range(7), 3)))

# [[0, 1, 2], [3, 4, 5], [6]]

最後の if batch は、残った小さいグループが失われないようにします。 Python 3.12 以降にも、同様の働きをする itertools.batched が含まれています。

送信、クローズ、クリーンアップ

ジェネレーターは値を受け取ることもできます。 send() はジェネレーターを再開し、値は yield の式の結果になります。最初の yield に到達するには、最初に next() を 1 回呼び出す必要があります。

def running_total():
    total = 0
    while True:
        value = yield total
        total += value

t = running_total()
next(t)
print(t.send(10), t.send(5))

# 10 15

ほとんどの人はこれを必要とすることはほとんどありません。さらに一般的な懸念はクリーンアップです。早めに停止した場合、ジェネレーターが閉じているときでも finally ブロックが実行されます。

def tracked():
    try:
        yield 1
        yield 2
    finally:
        print("cleanup ran")

tr = tracked()
next(tr)
tr.close()

# cleanup ran

Pytest はまさにこのアイデアを使用しています。pytest チュートリアル が示すように、yield のフィクスチャはその後クリーンアップを実行します。同様に、標準ライブラリの contextmanager デコレータはジェネレータを with ブロックに変換します。

クラス内のジェネレーター

__iter__ メソッドをジェネレーターとして記述するのが、独自のクラスを反復可能にする最も簡単な方法です。ボーナスとして、各ループで新しいジェネレーターが取得されるため、オブジェクトを何度もループすることができます。

class Countdown:
    def __init__(self, start):
        self.start = start

    def __iter__(self):
        n = self.start
        while n > 0:
            yield n
            n -= 1

c = Countdown(3)
print(list(c), list(c))

# [3, 2, 1] [3, 2, 1]

発電機を使用する場合

ジェネレーターは全体的に必ずしも高速であるとは限りません。最終的にすべての値を使用する場合でも、合計の作業量は同様になり、項目ごとのオーバーヘッドが少なくなるため、小さなデータの場合はリストの理解がさらに速くなります。主な利点は、メモリを使用し、最初の結果をより早く取得できることです。

よくある間違い

使い終わった発電機を再利用する

これは、ある時点でほぼすべての人に影響を及ぼします。ジェネレーターは完了したことを記憶します。

g = count_up(2)
print(list(g), list(g))

# [1, 2] []

2 番目の呼び出しでは、エラーがまったくない空のリストが取得されます。関数を再度呼び出して新しいジェネレーターを取得するか、上記のクラス アプローチを使用します。

コードがすぐに実行されることを期待する

def noisy():
    print("body runs")
    yield 1

n = noisy()        # nothing is printed
print(next(n))     # body runs, then 1

ジェネレーターの先頭での引数チェックは最初の next() まで実行されないため、エラーは、その原因となった呼び出しから遠く離れたところで発生する可能性があります。

その他のトラップ

• len() の呼び出しまたはインデックス作成。 ジェネレータはどちらもサポートせず、TypeError を生成します。
• ファイルを閉じるのが早すぎます。 with ブロック内からジェネレーターを返すと、行が読み取られる前にファイルが閉じられる可能性があります。 withブロックの中にyieldを入れます。
• すべてを list() でラップします。 これにより、メモリの利点が失われます。
• 小さなデータにはこれを使用します。 多くの場合、単純なリストの方が明確です。

まとめ

ジェネレーターは一時停止できる機能です。この 1 つのアイデアにより、メモリ使用量が低くなり、無限のシーケンスとクリーンなパイプラインが実現します。これを実践するには、一度ループするだけの大きなリストを構築するコード内の場所を見つけて、それをジェネレーターに変換します。次に、実際のログ ファイル上で 2 つの小さなジェネレーターをチェーンしてみてください。

よくある質問

学び続ける