단지 오류를 찾기 위해 10GB 로그 파일을 목록에 로드한다고 상상해 보십시오. 프로그램에서 메모리를 찾기 전에 메모리가 부족할 수 있습니다. Python 생성기는 요청에 따라 한 번에 하나씩 값을 생성하여 이 문제를 해결하므로 거의 메모리 없이 거대하거나 끝없는 데이터를 처리할 수 있습니다.

이 가이드는 발전기가 실행될 때 실제로 어떤 일이 발생하는지 단계별로 보여줍니다. Python 3.13에서 각 예제를 실행했으며 해당 실행에서 출력이 나왔습니다. 초보자를 위한 Python 튜토리얼에서 다루는 함수와 루프에 이미 익숙해지면 도움이 됩니다.

발전기 란 무엇입니까?

생성기는 yield을 사용하여 함수를 작성하여 생성하는 특별한 종류의 반복기입니다. yield가 포함된 함수는 자동으로 생성기 함수가 되며, 이를 호출하면 코드를 실행하는 대신 생성기 개체가 제공됩니다.

def count_up(limit):
    print("starting")
    n = 1
    while n <= limit:
        yield n
        n += 1
    print("finished")

gen = count_up(2)
print(gen)

# <generator object count_up at 0x...>

“시작”이 인쇄되지 않았습니다. 함수를 호출하면 생성기만 생성됩니다. 내부에는 아직 아무것도 실행되지 않았습니다.

수율 작동 방식(단계별)

next()에 대한 각 호출은 yield에 도달할 때까지 함수를 실행하고 해당 값을 반환한 다음 제자리에 고정됩니다. 다음 호출은 모든 지역 변수가 그대로 유지된 채 해당 줄 바로 뒤에서 재개됩니다.

print(next(gen))
# starting
# 1

print(next(gen))
# 2

next(gen)
# finished
# StopIteration

출력을 주의 깊게 따르십시오. “시작”은 첫 번째 next()에만 나타납니다. 두 번째에서는 실행이 중지된 곳부터 계속되므로 n는 여전히 사용 가능하며 2가 됩니다. 세 번째에서는 루프가 끝나고 “finished”가 인쇄되고 함수가 끝에서 떨어지며 Python은 StopIteration을 발생시켜 아무것도 남지 않았다는 신호를 보냅니다.

next() 자신에게 전화하는 경우는 거의 없습니다. for 루프가 이 작업을 수행하고 StopIteration을 조용히 처리합니다. list(), sum() 및 유사한 기능도 마찬가지입니다.

print(list(count_up(3)))

# starting
# finished
# [1, 2, 3]

수익률 대 수익률

이러한 지연을 지연 평가라고 합니다. 값은 필요할 때만 계산됩니다. 생성기 내부의 일반 return는 생성기를 종료하고 StopIteration을 트리거합니다.

측정된 메모리 차이

우리는 sys.getsizeof을 사용하여 백만 개의 정사각형 목록을 등가 생성기와 비교했습니다.

import sys

squares_list = [n * n for n in range(1_000_000)]
squares_gen = (n * n for n in range(1_000_000))

print(sys.getsizeof(squares_list), sys.getsizeof(squares_gen))

# 8448728 200

목록의 자체 구조는 약 8.4MB를 차지한 반면 생성기는 우리 시스템에서 200바이트만 차지했습니다. getsizeof은 목록 내부의 정수 개체를 계산하지 않기 때문에 실제 차이는 훨씬 더 큽니다. 또한 생성기의 크기는 결과가 아닌 현재 상태만 저장하므로 10억 개의 항목에 대해 동일하게 유지됩니다.

그러나 절충안이 있습니다. 목록은 len()을 사용하여 재사용, 색인화 및 측정할 수 있습니다. 발전기는 이들 중 어느 것도 제공하지 않습니다. 무작위 액세스가 필요하거나 소량의 데이터에 대해 여러 번 반복하는 경우 목록이 더 간단합니다. 이러한 유형에 대한 자세한 내용은 Python 목록 대 튜플 대 집합 가이드를 참조하세요.

생성기 표현식

간단한 경우에는 함수가 필요하지 않습니다. 생성기 표현식은 사각형 대신 둥근 괄호가 있는 목록 이해와 같습니다.

squares = [n * n for n in range(5)]   # builds a list now
squares = (n * n for n in range(5))   # produces values on demand

print(sum(n * n for n in range(5)))

# 30

sum()과 같이 생성기 표현식이 함수에 대한 유일한 인수인 경우 추가 대괄호를 생략할 수 있습니다. 임시 목록이 생성되지 않으므로 이는 대용량 데이터에 대한 합계를 정리하는 습관입니다.

데이터 파이프라인 구축

발전기가 실제로 빛나는 곳은 바로 여기입니다. 각 항목이 한 번에 하나씩 모든 단계를 통과하도록 소형 생성기를 연결할 수 있습니다.

def read_lines(lines):
    for line in lines:
        yield line.strip()

def only_errors(lines):
    for line in lines:
        if line.startswith("ERROR"):
            yield line

def messages(lines):
    for line in lines:
        yield line.split(" ", 1)[1]

log = ["INFO started\n", "ERROR db down\n",
       "ERROR disk full\n", "INFO stopped\n"]

print(list(messages(only_errors(read_lines(log)))))

# ['db down', 'disk full']

각 단계는 하나의 작은 작업을 수행하며 자체적으로 테스트할 수 있습니다. 실제 사용에서는 Python 파일 처리에 대한 가이드에서 볼 수 있듯이 파일 객체를 한 줄씩 읽을 수 있으므로 열린 파일에 대한 샘플 목록을 교환하세요. 그러면 수 기가바이트의 로그라도 아주 적은 메모리로 통과됩니다.

무한 시퀀스

목록은 무한할 수 없지만 생성기는 다음 값만 계산하므로 무한할 수 있습니다. 필요한 만큼 가져오려면 itertools.islice을 사용하세요.

import itertools

def fibonacci():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b

print(list(itertools.islice(fibonacci(), 8)))

# [0, 1, 1, 2, 3, 5, 8, 13]

하지만 주의하세요. 제한 없이 list(fibonacci())을 호출하면 메모리가 사라질 때까지 실행됩니다. 동일한 패턴은 현재 페이지가 소진될 때만 다음 페이지를 가져오는 ID 생성기, 폴링 루프 및 페이지 매김 API 결과에 적합합니다.

생산량 및 배치

yield from 다른 반복 가능 항목에 손을 대고 중첩 루프를 저장합니다.

def chain_all(*groups):
    for group in groups:
        yield from group

print(list(chain_all([1, 2], (3, 4))))

# [1, 2, 3, 4]

매우 실용적인 패턴은 데이터를 고정된 크기의 배치로 분할하는 것입니다. 예를 들어 한 번에 수천 개의 행을 데이터베이스에 삽입하는 것입니다.

def batches(items, size):
    batch = []
    for item in items:
        batch.append(item)
        if len(batch) == size:
            yield batch
            batch = []
    if batch:
        yield batch

print(list(batches(range(7), 3)))

# [[0, 1, 2], [3, 4, 5], [6]]

마지막 if batch은 더 작은 남은 그룹이 손실되지 않도록 합니다. Python 3.12 이상에는 비슷한 작업을 수행하는 itertools.batched도 포함되어 있습니다.

보내기, 닫기 및 정리

생성자는 값을 받을 수도 있습니다. send()은 생성기를 다시 시작하고 값은 yield 표현식의 결과가 됩니다. 첫 번째 yield에 도달하려면 먼저 next()을 한 번 호출해야 합니다.

def running_total():
    total = 0
    while True:
        value = yield total
        total += value

t = running_total()
next(t)
print(t.send(10), t.send(5))

# 10 15

대부분의 사람들은 이것이 거의 필요하지 않습니다. 더 일반적인 관심사는 청소입니다. 일찍 중지하면 발전기가 닫혀도 finally 블록이 계속 실행됩니다.

def tracked():
    try:
        yield 1
        yield 2
    finally:
        print("cleanup ran")

tr = tracked()
next(tr)
tr.close()

# cleanup ran

Pytest는 바로 이 아이디어를 사용합니다. pytest 튜토리얼에서 보여주듯이 yield이 있는 픽스처는 나중에 정리를 실행합니다. 마찬가지로 표준 라이브러리의 contextmanager 데코레이터는 생성기를 with 블록으로 바꿉니다.

클래스의 생성기

__iter__ 메서드를 생성기로 작성하는 것은 자신의 클래스를 반복 가능하게 만드는 가장 쉬운 방법입니다. 보너스는 각 루프가 새로운 생성기를 가져오므로 객체를 계속해서 반복할 수 있다는 것입니다.

class Countdown:
    def __init__(self, start):
        self.start = start

    def __iter__(self):
        n = self.start
        while n > 0:
            yield n
            n -= 1

c = Countdown(3)
print(list(c), list(c))

# [3, 2, 1] [3, 2, 1]

발전기를 사용해야 하는 경우

발전기가 전체적으로 항상 더 빠른 것은 아닙니다. 모든 값을 사용하게 되면 전체 작업은 비슷하며, 항목당 오버헤드가 적기 때문에 작은 데이터의 경우 목록 이해가 더 빨라질 수도 있습니다. 주요 이점은 메모리 사용과 첫 번째 결과를 더 빨리 얻을 수 있다는 것입니다.

일반적인 실수

노후된 발전기 재사용

이것은 어느 시점에서 거의 모든 사람을 붙잡습니다. 생성기는 완료되었음을 기억합니다.

g = count_up(2)
print(list(g), list(g))

# [1, 2] []

두 번째 호출에서는 오류가 전혀 없는 빈 목록을 가져옵니다. 함수를 다시 호출하여 새 생성기를 얻거나 위에 표시된 클래스 접근 방식을 사용하세요.

코드가 즉시 실행될 것으로 예상

def noisy():
    print("body runs")
    yield 1

n = noisy()        # nothing is printed
print(next(n))     # body runs, then 1

생성기 상단의 인수 검사는 첫 번째 next()까지 실행되지 않으므로 오류를 발생시킨 호출과는 거리가 먼 곳에 오류가 나타날 수 있습니다.

기타 함정

• len() 호출 또는 인덱싱. 생성기는 둘 다 지원하지 않으며 TypeError을 발생시킵니다.
• 파일을 너무 빨리 닫습니다. with 블록 내부에서 생성기를 반환하면 줄을 읽기 전에 파일이 닫힐 수 있습니다. with 블록 안에 yield을 넣으세요.
• 모든 것을 list()로 포장합니다. 그러면 메모리 이점이 사라집니다.
• 작은 데이터에 하나를 사용합니다. 일반 목록이 더 명확한 경우가 많습니다.

마무리

제너레이터는 일시정지할 수 있는 함수입니다. 그 하나의 아이디어는 낮은 메모리 사용, 끝없는 시퀀스 및 깔끔한 파이프라인을 제공합니다. 이를 실제로 적용하려면 코드에서 한 번만 반복하기 위해 큰 목록을 작성하고 이를 생성기로 바꾸는 위치를 찾으십시오. 그런 다음 실제 로그 파일에 두 개의 작은 생성기를 함께 연결해 보십시오.

자주 묻는 질문

계속 학습하세요