问题出现得很突然,日志倒是留得挺全。跨地域传备份文件,带宽明明够用,实际速率只有几兆每秒,加大并发也没有明显提升,磁盘和处理器看起来都不忙。
排查方向其实有限,先把可能性排一排。单连接窗口太小,长肥管道跑不满。还有一种是磁盘读写成为瓶颈。
另外,中间链路存在丢包,拥塞控制降速。
测单连接吞吐
iperf3 -c 对端IP -t 20
多流并发对比
iperf3 -c 对端IP -P 8 -t 20
再往下看连接窗口和重传
ss -tin dst 对端IP
等前面都确认过,再核对磁盘写入速度
dd if=/dev/zero of=/data/t bs=1M count=1024 oflag=direct
同一份数据我导出了两份,一份留底,一份拿来试。
这类问题以前遇到过,但这次的触发条件和上次不一样。
改完先别撤,确认这几项。多流测试接近链路带宽,单流速率提升到合理水平,传输窗口不再受限。
提醒一点。跨地域链路往返时延大,窗口不足会直接压死吞吐;先算带宽时延积,再决定调窗口还是加并发。线上能稳定复现的问题都不算难,难的是只在大流量下才出现的那种。