报错是这么冒出来的。豆包 doubao-pro-32k 在方舟上跑,白天稳定出现 429,原文 QuotaExceeded,控制台里推理接入点的 TPM 写着 80 万,实际每分钟输入不到 20 万,峰值并发大约 30 路。
中间走过弯路,把「长 prompt 让单次请求占用额度更久」当成主因,改完现象没变。
原因不止一个,得分开看。配额绑在推理接入点上 不是账号总量。还有一种是每个接入点有独立的 TPM 与 RPM。
不容易想到的是,突发窗口按秒计 瞬时超了也报 429。
第一件事是确认请求实际打的是哪个接入点
python -c "print('check endpoint id in request header')"
再往下查该接入点的配额与已用量曲线
python -c "print('read quota usage from ark console')"
限制单请求输入长度并拆短文档
python -c "print('cap input to 8000 tokens')"
末了在客户端按接入点做令牌桶
python tokenbucket.py --rate 20 --burst 5
怎么算真的好了,看的是同一批现象。同样的峰值下 429 消失,接入点的已用配额曲线变得平滑,没有再顶到天花板。
方舟的配额绑在推理接入点上,换接入点等于换一套额度,扩容前先看清是在哪个 endpoint 上报的错。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。
