问题出现得很突然,日志倒是留得挺全。Xinference 0.15 用 docker 起在 9997 端口,/v1/models 返回空数组,容器日志里能看到模型注册成功,但状态一直是 launching,重启容器两次都一样。

刚开始盯着「actor 与 supervisor 端口不通,状态回报不到」,折腾了半个多小时,排掉了。

把日志和配置对完,能解释这个现象的基本就这几处。模型权重没有挂进容器,注册时只写了名字。少数情况下是launching 阶段下载权重失败,进程静默退出。

另外,vLLM 后端显存不足,加载被后台中止。

第一件事是看模型状态和错误信息

curl -s http://127.0.0.1:9997/v1/models | jq '.data[] | {id,state}'

再往下查容器日志里加载阶段的报错

docker logs --tail 200 xinference

接着确认权重目录已挂载且可读

docker exec xinference ls /models

等前面都确认过,再换 transformers 后端再启动一次

xinference launch --model-name qwen2.5-instruct --model-format pytorch --size-in-billions 7 --engine transformers

改完先别撤,确认这几项。模型状态变成 ready,/v1/models 能列出模型,OpenAI 兼容接口调用返回 200。

这里还有个坑。列表为空通常不是接口问题,而是加载没走完,先看容器日志里的下载和显存两段。报错文案容易误导,真正的原因往往在相邻那一层的日志里。

作者 9823189