python -c "import tiktoken;print(len(tiktoken.encoding_for_model('gpt-4o').encode(open('in.txt').read())))"
长文档问答直接报 400 context_length_exceeded,提示上限 128000 token,这次输入 143000。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。
原因不复杂,拼接时把历史对话和检索片段全塞进去,没有按模型上限做预算。超限请求直接被拒,也没走截断分支。
「token 超限截断」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。改动写完就同步给同事,下一个人踩同一个坑,成本还是你的。
验证用真实数据走一遍,测试数据太干净,边界情况根本碰不到。能分两步做的操作就别合成一步,中间看一眼返回值,出问题好判断。
报错里带路径的,先去看那个路径在不在、权限对不对。
处理上按这个顺序:调用前用 tokenizer 算一次输入长度;按上限留出 max_tokens 的余量再截断;优先丢最早的历史 保留系统提示和最近两轮;超限时记录原始长度便于调参。
改完只确认一件事:同一份长文档请求返回 200 输入 token 稳定低于上限。
