sysctl net.core.rmem_max sysctl -w net.core.rmem_max=8388608 netstat -su | grep -i 'receive errors'
UDP 服务每秒收 4 万个包,netstat -su 里 packet receive errors 每分钟涨 3200,占比 8%,SO_RCVBUF 显示 212992。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。
追下去是这么回事:应用处理速度跟不上到达速度,接收缓冲区满了之后内核直接丢弃新包,UDP 本身没有重传。缓冲区大小还受 net.core.rmem_max 限制,setsockopt 给的值会被截断。
围绕「接收缓冲区丢包」排查时,命令行跑一遍比在面板里点十次有用,面板会替你做掉不少隐式操作。监控和日志的时间要对上,时区不一致会多绕很大一圈。
临时改动用注释写上日期和原因,过两周自己都记不清为什么这么写。动手前把原文件复制一份带时间戳,出问题立刻换回去,比现场分析快得多。
一次只改一处,改完立刻验证,几个改动叠在一起,出问题就说不清是谁导致的。
处理上按这个顺序:先看 packet receive errors 的增长曲线;把 net.core.rmem_max 调大;再设 SO_RCVBUF 到 4MB;用多线程或 recvmmsg 提高处理速度。
确认没问题再收工,缓冲区调到 4MB 后丢包率从 8% 降到 0.2%,每分钟 receive errors 降到 80 以内。
