先看现象。网关用 LiteLLM 1.52 配了 gpt-4o 到 claude-3-5-sonnet 的 fallback,主模型返回 429 后自动切换,下游解析器立刻报 KeyError: 'tool_calls',原文是 the response has no attribute tool_calls。先给解析器套了一层 try 兜底,又把 max_tokens 调大,都不管用,只有关掉 fallback 才恢复。

真正麻烦的地方在于,几个原因的现象几乎一样。备用模型把工具调用写在 content 的 XML 标签里,没有 OpenAI 的 tool_calls 字段。还有一种是网关只做了请求侧的协议转换,响应侧原样透传。

不容易想到的是,fallback 触发时没有标记实际命中的模型,下游仍按主模型解析。

还有一种情况,工具 schema 两侧的默认值不同,备用模型少传了必填参数。

动手时先把备用模型的原始响应存一份看结构

curl -s http://localhost:4000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"claude-3-5-sonnet","tools":[{"type":"function","function":{"name":"get_price","parameters":{"type":"object","properties":{"sku":{"type":"string"}}}}}],"messages":[{"role":"user","content":"查一下 A100 的价格"}]}'

从响应里取实际命中的模型名再决定解析分支

python -c "import json,sys;r=json.load(sys.stdin);print(r.get('model'))"

给响应侧补一层适配,把 XML 工具调用转成 tool_calls

python -c "print('normalize tool call to openai schema')"

末了用带工具的样本回归两个模型的解析成功率

python eval_tools.py --cases tools_200.jsonl --models gpt-4o,claude-3-5-sonnet

改完先别撤,确认这几项。主模型 429 切换备用模型后,下游拿到的仍然是 tool_calls 结构,样本里工具名与参数解析成功率与单模型时持平。

补一句。fallback 的兼容性要看响应侧,把请求转成对方能接受的格式只是一半,工具调用这类强结构字段必须双向适配后再上线。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。

作者 9823189