FastAPI 0.115 的 StreamingResponse 调 gpt-4o 输出长文,用户中途关掉页面后,服务端日志显示这次请求又跑了 40 秒才结束,usage 里的 output_tokens 照样计费。先在 finally 里加了日志,又把 max_tokens 调小,账单没有任何变化。

一开始怀疑是「SDK 的 stream 没在异常分支里 close,连接一直挂在池里」,查了一圈,方向不对。

原因不止一个,得分开看。上游请求是同步发起的,客户端断开不会自动取消。还有一种是生成循环里没有检查 request.is_disconnected。

还有一种情况,网关的 keep-alive 让断开信号没有及时传到应用。

上来先在每次 yield 前加一次断开检查并打印结果

python -c "print('await request.is_disconnected()')"

接着用 curl 在 2 秒后主动断开复现

curl -N --max-time 2 https://example.com/api/stream -o /dev/null

然后检测到断开后取消上游任务并关闭流

python -c "print('cancel task and close upstream stream')"

末了对照账单里的 output_tokens 确认不再增长

python -c "import json;print(json.load(open('usage.json'))['output_tokens'])"

改完先别撤,确认这几项。curl 主动断开后 3 秒内服务端日志出现取消记录,同一条请求的 output_tokens 停在中途值不再增长。

容易忽略的是,断开检测要在每次 yield 之前做,只在函数开头判断一次没有用,长回答生成过程中客户端随时可能离开。这类问题最好一次改到位,反复小改反而容易把原因搅混。

作者 9823189