하나의 버그가 있는 스크립트가 긴밀한 루프에서 API를 호출합니다. 제한이 없으면 다른 모든 사용자의 서비스 속도가 느려지거나 클라우드 비용이 많이 발생할 수 있습니다. API 속도 제한은 단일 클라이언트가 공정한 몫 이상을 취하지 못하도록 하는 가드레일입니다.

일반적인 알고리즘이 어떻게 작동하는지 보여주기 위해 우리는 작은 Python 버전을 작성하고 시뮬레이션된 요청 타이밍을 제공했습니다. 아래 출력은 해당 실행에서 나온 것입니다. 프로덕션 코드가 아닌 교육 모델이며 실제 게이트웨이에는 더 많은 기능이 있습니다.

속도 제한이란 무엇입니까?

속도 제한은 클라이언트당 요청 수를 계산하고 합의된 한도(예: 분당 100개 요청)를 초과하는 요청을 거부하거나 지연시킵니다. 관련 개념인 제한은 요청을 거부하는 것이 아니라 속도를 늦추는 것을 의미하는 경우가 많습니다. 할당량은 일반적으로 가격 책정 계획에서 월 10,000건의 통화와 같이 장기간에 걸쳐 더 큰 허용량입니다.

API에 필요한 이유

• 안정성: 트래픽 급증이 데이터베이스나 다운스트림 서비스를 압도할 수 없습니다.
• 공정성: 하나의 무거운 클라이언트가 다른 클라이언트를 굶길 수는 없습니다.
• 보안: 제한은 무차별 로그인 시도 및 스크래핑 속도를 늦춥니다.
• 비용 관리: AI 모델 호출과 같은 비용이 많이 드는 작업은 예산 범위 내에서 유지됩니다.

속도 제한은 OWASP API 보안 상위 10개 항목 중 무제한 리소스 소비에 대한 핵심 제어입니다. Postman을 사용한 API 테스트 가이드에서는 확인에 필요한 반복 요청을 보내는 방법을 보여줍니다.

토큰 버킷

최대 5개의 토큰을 담는 버킷을 상상해보세요. 각 요청에는 토큰이 필요합니다. 토큰은 초당 1개씩 다시 채워지며 버킷은 5개 이상을 보유할 수 없습니다. 버킷이 비어 있으면 요청이 거부됩니다.

class TokenBucket:
    def __init__(self, capacity, refill_per_sec):
        self.capacity = capacity
        self.rate = refill_per_sec
        self.tokens = capacity
        self.last = 0.0

    def allow(self, now):
        elapsed = now - self.last
        self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
        self.last = now
        if self.tokens >= 1:
            self.tokens -= 1
            return True
        return False

한 번에 7개의 요청을 보냈고 나중에 더 많이 보냈습니다.

burst of 7 at t=0:  [True, True, True, True, True, False, False]
t=2.0:              [True, True, False]
t=10:               5 allowed of 10

처음 5개는 폭발적으로 진행된 다음 버킷이 비어 있었습니다. 2초 후 2개의 토큰이 다시 채워졌으므로 2개의 요청이 더 통과되었습니다. 오랜 시간이 지난 후 버킷이 다시 가득 찼지만 최대 5개로 제한되었습니다. 이러한 버스트 이후 꾸준한 동작은 실제 트래픽에 적합하므로 API 게이트웨이에서 토큰 버킷이 일반적입니다. 누출 버킷은 고정 속도로 요청을 처리하여 버스트를 허용하는 대신 출력을 평활화하는 가까운 친척입니다.

고정창 vs 슬라이딩창

고정 창 카운터는 가장 간단한 접근 방식입니다. 즉, 분당 10개의 요청을 허용하고 분이 변경되면 카운터를 재설정합니다. 경계에 알려진 결함이 있습니다. 59.9초에 10개의 요청을 보냈고 60.0초에 10개의 요청을 더 보냈으며 60초당 10개의 요청으로 제한됩니다.

fixed window allowed around boundary: 20 of 20
sliding log allowed around boundary:  10 of 20

고정 창은 10분의 1초 안에 20개의 요청을 모두 허용했는데, 이는 두 개의 서로 다른 창에 속했기 때문에 의도한 속도의 두 배였습니다. 슬라이딩 로그는 각 최근 요청 시간을 기억하고 지난 60초 동안의 요청 시간을 계산하므로 10초만 올바르게 허용됩니다.

트레이드 오프는 메모리입니다. 슬라이딩 로그는 요청당 타임스탬프를 저장합니다. 미닫이창 카운터는 인기 있는 중간 지점입니다. 적은 메모리를 사용하여 높은 정확도로 현재 창 수와 이전 창 수를 혼합하여 속도를 추정합니다.

알고리즘 비교

무엇으로 제한해야 할까요?

• API 키 또는 사용자 ID: 인증된 API에 대한 가장 공정한 옵션입니다.
• IP 주소: 공개 엔드포인트에 유용하지만 많은 사용자가 하나의 IP를 공유할 수 있으며 공격자가 이를 순환할 수 있습니다.
• 엔드포인트: 검색, 내보내기 또는 로그인과 같은 비용이 많이 드는 작업에는 더 엄격한 제한이 필요합니다.
• 요금제 등급: 무료 고객과 유료 고객에게는 종종 다른 한도가 적용됩니다.

로그인 엔드포인트에는 특별한 주의가 필요합니다. 계정과 IP로 제한하므로 공격자가 단순히 여러 IP나 여러 ​​계정에 추측을 퍼뜨릴 수 없습니다.

429 응답

클라이언트가 한도를 초과하면 500이나 403이 아닌 HTTP 429 요청이 너무 많음을 반환합니다. 클라이언트에게 무슨 일이 일어났는지, 언제 다시 시도할지 알려주는 헤더를 포함하세요. 우리의 시뮬레이션은 남은 요청이 없는 클라이언트를 위해 다음 세트를 생성했습니다.

HTTP/1.1 429 Too Many Requests
RateLimit-Limit: 100
RateLimit-Remaining: 0
RateLimit-Reset: 30
Retry-After: 30

Retry-After은 표준 HTTP 헤더입니다. RateLimit-* 헤더는 IETF 초안에서 왔으며 많은 API는 자체 X-RateLimit-* 변형을 사용합니다. 무엇을 선택하든 문서로 기록하세요. 상태 코드에 대한 자세한 내용은 HTTP 상태 코드 치트 시트를 참조하세요.

클라이언트로서 한도 처리

429가 발생한 후 즉시 다시 시도하면 상황이 더욱 악화됩니다. 수천 명의 클라이언트가 동시에 이를 수행하면 동기화된 파동으로 서버에 도달합니다. 해결 방법은 지터가 있는 지수 백오프입니다. 각 실패 후 더 오래 기다리고 무작위성을 추가합니다.

def backoff(attempt, base=0.5, cap=30, rng=random.Random(4)):
    return round(min(cap, base * 2 ** attempt) * rng.random(), 2)

[backoff(a) for a in range(6)]
# [0.12, 0.1, 0.79, 0.62, 0.53, 6.43]

이것이 “완전 지터”입니다. 즉, 0과 기하급수적으로 증가하는 한도 사이의 무작위 대기입니다. 대기 시간이 불규칙해 보이는데 그게 바로 핵심입니다. 클라이언트는 함께 재시도하는 대신 분산됩니다. 출력이 재현될 수 있도록 랜덤 생성기를 시드했습니다.

분산 속도 제한

로드 밸런서 뒤에 있는 여러 API 서버가 있는 각 서버는 자체적으로 계산되므로 클라이언트는 요청을 서버 전체에 분산시켜 제한을 초과할 수 있습니다. 팀은 일반적으로 두 서버가 모두 마지막 토큰을 가져갈 수 없도록 원자성 작업이나 짧은 스크립트를 사용하여 Redis와 같은 공유 저장소에 카운터를 보관합니다. Kong, NGINX, Envoy 및 클라우드 API 게이트웨이와 같은 게이트웨이는 이를 구성으로 제공합니다. 이 기사에서는 분산 설정을 실행하지 않았습니다.

테스트 비율 제한

• 한도까지 요청을 보내고 성공했는지 확인합니다.
• 하나 더 보내고 올바른 헤더가 포함된 429를 확인하세요.
• 재설정 시간을 기다린 후 요청이 다시 성공하는지 확인하세요.
• 키당 제한을 확인하세요. 한 클라이언트의 사용이 다른 클라이언트를 차단해서는 안 됩니다.
• 이중 버스트 문제에 대해 창 사이의 경계를 테스트합니다.
• 부하 테스트와 스트레스 테스트에서 다룬 로드 도구를 사용하여 동시성이 심한 경우 동작을 확인합니다.

단위 테스트에서는 시뮬레이션이 now에서 수행하는 것처럼 현재 시간을 주입하므로 테스트가 절전 모드로 전환될 필요가 없습니다.

사용자가 감당할 수 있는 한계 설계

숫자를 선택하는 것은 알고리즘을 선택하는 것만큼 중요합니다. 실제 트래픽에서 시작하세요. 합법적인 클라이언트가 분당 얼마나 많은 요청을 하는지 살펴보고 그 이상으로 제한을 설정하세요. 정상적인 사용을 차단하는 제한은 안전이 아닌 지원 티켓을 생성합니다.

• API 문서에 엔드포인트별, 계획별 한도를 게시하세요.
• 차단하기 전에 경고합니다. 남은 요청을 표시하는 헤더를 통해 선량하게 작동하는 클라이언트가 스스로 속도를 늦출 수 있습니다.
• 웹훅, 대량 엔드포인트 또는 대규모 페이지와 같은 무거운 폴링에 대한 대안을 제공합니다.
• 429 비율을 모니터링합니다. 갑작스러운 상승은 공격, 버그가 있는 클라이언트 릴리스 또는 현재 너무 엄격한 제한을 의미할 수 있습니다.
• 의도적으로 예외를 허용합니다. 예를 들어 파트너에 대한 제한을 높이고 하드 코딩하지 않고 구성에 기록합니다.

또한 한도를 바로 초과하여 도착하는 요청에 어떤 일이 발생할지 결정합니다. 일부 API는 소수의 추가 요청을 거부하는 대신 잠시 대기열에 넣어 짧은 급증을 완화합니다. 다른 사람들은 분석과 같이 덜 중요한 엔드포인트보다 결제와 같은 필수 엔드포인트에 우선순위를 부여하여 시스템에 압력이 가해질 때 중요한 트래픽이 계속 흐르도록 합니다.

마무리

좋은 속도 제한은 API와 클라이언트 간의 계약입니다. 서버는 일반적으로 토큰 버킷 또는 슬라이딩 윈도우와 같은 공정한 알고리즘을 선택하고 429 및 Retry-After를 통해 해당 한계를 명확하게 설명합니다. 클라이언트는 해당 신호를 존중하고 지터로 물러납니다. API 키당 넉넉한 제한으로 시작하고, 실제 사용량을 관찰하고, 필요한 경우에만 제한을 강화하세요.

자주 묻는 질문

계속 학습하세요