rabbitmqctl list_queues name messages messages_ready \ messages_unacknowledged consumers rabbitmqctl list_consumers queue_name prefetch_count
管理页上队列 ready 从几万涨到三百多万,生产速率没变,消费速率掉到个位数,内存和磁盘告警一起响。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。
追下去是这么回事:消费者连接还在但处理线程卡在下游接口上,prefetch 又给得太大,消息全被预取到客户端挂着未确认,队列里看着像没动。
这次卡住的地方就在「RabbitMQ 队列堆积」这一环,单独把它拎出来验证,别和其他改动混在同一次发布里。同一份配置存在多处的,先确认改的是被加载的那一份。
新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。
处理上按这个顺序:先看 consumers 数量和 ack 速率 别只盯 ready 这一个数;把 prefetch 调小到几十 观察消费速率是否立刻回升;处理慢的下游单独拆队列隔离 别拖累整条链路。
确认没问题再收工,ready 和 unacked 同时往下走,半小时内回落到四位数。
