const { pipeline } = require('stream');
pipeline(readStream, transform, res, (err) => {
  if (err) console.error('pipeline', err);
});

导出任务把 400MB 的 CSV 灌进响应流,write() 一直返回 false。进程 RSS 从 300MB 涨到 2.3GB,十分钟后被容器 OOMKilled。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。

原因不复杂,可写流的缓冲区到了 highWaterMark 之后还在往里塞,数据只能堆在内存里等下游。pipe 会自动暂停上游,手写 data 事件却丢掉 write 的返回值,等于把背压信号扔了。

这次卡住的地方就在「stream 背压」这一环,单独把它拎出来验证,别和其他改动混在同一次发布里。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。

接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

处理上按这个顺序:检查 write 返回值 为 false 就 pause 上游 等 drain 再 resume;能用 pipeline 就别手写 data 事件 它把错误和背压一起管;highWaterMark 按单条记录大小调 不要一味调大;压测时盯 process.memoryUsage().rss 的变化。

改完只确认一件事:同样 400MB 导出 RSS 峰值停在 380MB 左右 不再出现 OOMKilled。

作者 9823189