这个坑值得记一笔。网关按每分钟请求数限流,并发压到 40,跑文档摘要时仍然收到 429,原文是 Rate limit reached for gpt-4o-mini on tokens per min (TPM): Limit 200000, Used 198400。把并发降到 20 只是把报错往后推,长文档一样打满配额。
刚开始盯着「重试没有退避,失败请求消耗的 token 也算进同一个窗口」,折腾了半个多小时,排掉了。
真正麻烦的地方在于,几个原因的现象几乎一样。限流器只统计请求条数,没有累计每条请求的输入 token;摘要任务单条输入 3 万 token,一条就吃掉六分之一配额;多个服务共用一个项目 key,配额被别的业务分走。
从响应头读出剩余的 token 配额
curl -i https://api.openai.com/v1/chat/completions -H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"hi"}]}' | grep -i ratelimit
随后按 tpm 预算预估每条请求的 token 并排队
python -c "import tiktoken;e=tiktoken.get_encoding('cl100k_base');print(len(e.encode(open('doc.txt',encoding='utf-8').read())))"
长文档切片后再并发,单条控制在 6000 token 以内
python split_docs.py --max-tokens 6000 --input docs/ --out parts/
限流器改成同时看 rpm 与 tpm 两个桶
python -c "print('dual bucket limiter rpm+tpm')"
别只看报错消失,验证要多做一步。连续压 10 分钟不再出现 429,响应头里的剩余 token 始终为正,摘要任务的吞吐只下降一成。
提醒一点。RPM 挡的是请求条数,TPM 挡的是 token 总量,长上下文场景里后者才是瓶颈,限流器必须两个维度一起算。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
