这类问题我又碰上了一次。用 together 1.5 的 Python SDK 调 togethercomputer/mixtral-8x7b-instruct,返回 400,原文 Unable to access model, model_not_available,同一个 key 调 meta-llama/Llama-3.3-70B-Instruct-Turbo 正常,控制台模型页已经搜不到原名。

第一反应是「配置里写的是旧版 serverless 名称」,验证下来不成立。

把日志和配置对完,能解释这个现象的基本就这几处。该模型已被官方下架,名字从目录里移除;账号所在区域没有开放这个模型;模型已转为需要 dedicated endpoint 才可调用。

第一件事是把账号可见的模型 id 全量拉出来核对

curl -s https://api.together.xyz/v1/models -H "Authorization: Bearer $TOGETHER_KEY" | python -m json.tool

然后按 mixtral 前缀筛一遍还在线的替代项

python list_together_models.py --filter mixtral

再往下用新的 id 发一次最小请求确认可用

python smoke.py --model meta-llama/Llama-3.3-70B-Instruct-Turbo --prompt ping

剩下的就是把旧 id 到新 id 的映射写进配置中心

python migrate_model_map.py --from old_models.json --dry-run

恢复的判定其实很直接。请求返回 200,响应里的 model 字段是新 id,灰度实例日志中不再出现 model_not_available。

容易忽略的是,服务商下架模型通常只发一封邮件,接口不会给迁移建议,配置里最好只存别名,真实 id 放在一张可热更的映射表里。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。

作者 9823189