在服务器上启动 llama-server 后,本机 curl 127.0.0.1:8080 正常,同网段其他机器访问却连接超时。

这类报错背后常见的原因有几处,逐个排除就行。默认只监听 127.0.0.1,不接受外部连接;防火墙没有放行对应端口;安全组只开放了常用端口;用了容器但没做端口映射。

指定监听所有网卡并固定端口

./llama-server -m qwen2.5-7b-q4.gguf --host 0.0.0.0 --port 8080 -c 4096

接着确认本机端口处于监听状态

netstat -ano | findstr 8080

再往下放行防火墙入站规则

New-NetFirewallRule -DisplayName llama8080 -Direction Inbound -LocalPort 8080 -Protocol TCP -Action Allow

从另一台机器验证接口

curl http://服务器IP:8080/v1/models

这台环境是别人交接的,不少默认值被动过,只能一项项核。

同事提醒我看一下最近一次发布,时间点确实对得上。

别只看报错消失,验证要多做一步。其他机器能拿到模型列表并完成对话请求,netstat 里监听地址显示为 0.0.0.0:8080。

暴露到公网前一定要加访问控制,本地推理服务通常没有鉴权,直接对外开放等于把显卡和模型交给别人用。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。

作者 9823189