FastAPI 0.115 的 StreamingResponse 调 gpt-4o 输出长文,用户中途关掉页面后,服务端日志显示这次请求又跑了 40 秒才结束,usage 里的 output_tokens 照样计费。先在 finally 里加了日志,又把 max_tokens 调小,账单没有任何变化。
一开始怀疑是「SDK 的 stream 没在异常分支里 close,连接一直挂在池里」,查了一圈,方向不对。
原因不止一个,得分开看。上游请求是同步发起的,客户端断开不会自动取消。还有一种是生成循环里没有检查 request.is_disconnected。
还有一种情况,网关的 keep-alive 让断开信号没有及时传到应用。
上来先在每次 yield 前加一次断开检查并打印结果
python -c "print('await request.is_disconnected()')"
接着用 curl 在 2 秒后主动断开复现
curl -N --max-time 2 https://example.com/api/stream -o /dev/null
然后检测到断开后取消上游任务并关闭流
python -c "print('cancel task and close upstream stream')"
末了对照账单里的 output_tokens 确认不再增长
python -c "import json;print(json.load(open('usage.json'))['output_tokens'])"
改完先别撤,确认这几项。curl 主动断开后 3 秒内服务端日志出现取消记录,同一条请求的 output_tokens 停在中途值不再增长。
容易忽略的是,断开检测要在每次 yield 之前做,只在函数开头判断一次没有用,长回答生成过程中客户端随时可能离开。这类问题最好一次改到位,反复小改反而容易把原因搅混。
