pd.read_csv('orders.csv', usecols=cols,
dtype={'city': 'category'},
chunksize=200000)
pd.read_csv 读 6GB 的订单表跑到一半抛 MemoryError，32G 内存的机器直接被吃满。这类现象通常不是突然出现的，往前翻半天日志能看到苗头。
追下去是这么回事：默认按 object 或 int64 载入，字符串列重复值再多也按独立对象存，内存放大约三到五倍，读之前又没限制列。
「pandas 内存溢出」确认了原因之后，改动尽量只碰那一处，顺手改的东西后面最容易出问题。同类问题如果隔一段时间又出现，多半是某个定时任务或重启流程把改动冲掉了。
把这次用到的命令存进笔记，比记住结论有用，换个环境还能照着走。改完隔一天再看一次，当场正常不代表能稳住。
测试环境和线上的差别，往往就在版本号和那几行被忽略的配置上。
处理上按这个顺序：先用 usecols 只挑需要的列，把宽表读窄；把低基数的字符串列声明成 category 类型；数据量太大就按 chunksize 分块聚合。
确认没问题再收工，同一份文件能跑完，峰值内存降一半以上，总行数与源文件一致。