先把当时的情况摆出来。自建网关用 LiteLLM 1.55 的 Router 做多模型分流,model_list 里给 gpt-4o 和 gpt-4o-mini 都写了 supports_vision: true,前端传图却稳定收到 400,原文是 Invalid content type. image_url is only supported by certain models。先把 max_retries 调到 3 重试,又把同一个请求换成 curl 直连官方接口,直连能过,过网关就失败。
真正麻烦的地方在于,几个原因的现象几乎一样。model_info 里的能力字段写成了 vision,Router 读的是 supports_vision。另一种情况是路由规则按 model_name 正则匹配,命中了一条没有图片能力的兼容部署。
还有一种情况,灰度新增的备用部署没同步 model_info,能力表与真实模型不一致。另外,能力判断只在首次请求做,Router 本地缓存了旧的能力快照。
先把 Router 当前加载的模型能力表打出来核对
curl -s http://localhost:4000/model/info -H "Authorization: Bearer $LITELLM_KEY" | jq '.data[] | {model_name, supports_vision: .model_info.supports_vision}'
再往下绕开路由直接请求目标部署看是否还报 400
curl http://localhost:4000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"gpt-4o","messages":[{"role":"user","content":[{"type":"text","text":"描述这张图"},{"type":"image_url","image_url":{"url":"https://example.com/a.png"}}]}]}'
随后逐个部署打印 model_info 里的视觉字段再补齐
python -c "import yaml;print([m['model_info'].get('supports_vision') for m in yaml.safe_load(open('config.yaml'))['model_list']])"
给路由加一条请求前断言,图片只允许走能力白名单
python -c "print('assert supports_vision before route')"
怎么算真的好了,看的是同一批现象。同样的图片请求返回 200,choices 里是针对图片内容的描述,模型能力表里命中的那条部署 supports_vision 为 true。
提醒一点。能力路由依赖配置里的标签而不是模型的真实能力,新增或灰度部署时这份表必须同步,否则请求会被静默分到不该去的模型上。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。
