curl -s https://api.example.com/v1/chat -d '{"max_tokens":2048}' | python -m json.tool

摘要接口返回的文本在句子中间断掉,finish_reason 是 length,输出正好 256 token。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。

追下去是这么回事:max_tokens 沿用了示例里的 256,长摘要根本不够。截断后接口仍返回 200,前端看不出异常。

这次卡住的地方就在「输出截断」这一环,单独把它拎出来验证,别和其他改动混在同一次发布里。同一份配置存在多处的,先确认改的是被加载的那一份。

新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。

接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

处理上按这个顺序:按任务把 max_tokens 提到 2048;检查 finish_reason 为 length 时标记不完整;前端对不完整结果提示重试;统计截断比例再调上限。

确认没问题再收工,摘要能完整结束 finish_reason 变成 stop 截断比例降到 1% 以下。

作者 9823189