陆零知识
免费网络在线学习平台
先看现象。新装的环境里 torch.cuda.is_avai…
启动推理服务时提示端口已被占用，换 –port …
事情本身不复杂，线索都在日志里。用文本生成推理容器部署模型，…
记录一下那天晚上的排查过程。把一份两万字的技术文档贴进对话，…
记录一下那天晚上的排查过程。代码里把 base_url 指向…
在服务器上启动 llama-server 后，本机 curl…
现场是这样的。加载自己转的 gguf 时报 tensor 数…
报错是这么冒出来的。喂一段 6000 字的文档做摘要，输出被…
用 llama-cli 加载 7B 的 q4 模型，任务管理…
先把当时的情况摆出来。用旧版转换脚本把 Qwen2 转成 g…