陆零知识
免费网络在线学习平台
先看现象。加载自己微调并保存的模型目录，报错提示需要设置 t…
pip 装完 vllm 后 import 直接报 Modul…
先把当时的情况摆出来。在两张卡上启动 70B 模型，设置 &…
问题出现得很突然，日志倒是留得挺全。启动后 nvidia-s…
这个坑值得记一笔。启动 7B 模型时提示 The model…
现场是这样的。在 Tesla T4（算力 7.5）上启动 v…
事情本身不复杂，线索都在日志里。用 8 个线程请求同一个 O…
用对话模型 qwen2.5:7b 调 /api/embedd…
把 base_url 设成 http://localhost…
这个坑值得记一笔。改了 Modelfile 里的 SYSTE…