SELECT shard_no, count(*) FROM recon_task GROUP BY shard_no ORDER BY 2 DESC; curl -s http://job-admin/api/instances | jq '.data | length'
对账任务原来 8 台机器跑,每台领一片,单轮 12 分钟。扩到 12 台以后 4 台一直空闲,剩下 8 台还是 12 分钟,CPU 曲线基本没降。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。
原因不复杂,分片总数写在配置文件里是 8,调度端按 shardTotal 发分片,实例列表再长也只发出 8 个。多出来的 4 台拿不到任务,等于白扩容。分片键用自增 id 取模,数据本身也偏,个别片还会更慢。
「分片数与实例数不匹配」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。
处理上按这个顺序:把分片总数改成和实例数同源 从注册中心读在线实例数;分片键换成业务上更均匀的字段 不要拿自增 id 直接取模;扩容时先调分片数再拉起新实例 顺序反了会重复消费;看一轮任务的分片耗时分布 最大片和最小片差距压到两倍内。
改完只确认一件事:扩容后 12 台都有分片 单轮耗时从 12 分钟降到 8 分钟出头 最大片不再超过平均值两倍。
