记录一下那天晚上的排查过程。用 deepseek-chat 做客服问答,system 提示词有 1800 token,只在末尾拼了当天的日期,usage 里的 prompt_cache_hit_tokens 一直是 0。先怀疑缓存没上线,把 temperature 降到 0、请求改成串行,命中数还是 0。
刚开始盯着「两段请求之间间隔太久,缓存已经过期」,折腾了半个多小时,排掉了。
原因不止一个,得分开看。缓存按固定长度的块对齐,前缀必须逐块完全一致才算命中。还有一种是日期拼在 system 末尾,导致最后一个块每次都不同。
不容易想到的是,前缀里带了请求级时间戳,内容每次都变。
先看 usage 里的缓存字段确认是否真的没命中
python -c "import json;u=json.load(open('last_usage.json'));print(u.get('prompt_cache_hit_tokens'),u.get('prompt_cache_miss_tokens'))"
接着把可变内容挪到 system 之后,固定前缀单独成段
curl https://api.deepseek.com/chat/completions -H 'Content-Type: application/json' -H "Authorization: Bearer $DS_KEY" -d '{"model":"deepseek-chat","messages":[{"role":"system","content":"固定的客服规则与知识目录"},{"role":"user","content":"今天的日期是 11 月 18 日,我的订单还没发货"}]}'
连续两次发送同一前缀,对比第二次的命中数
python -c "print('send twice and diff hit tokens')"
等前面都确认过,再把前缀补齐到整块边界后复测
python -c "print('pad prefix to block boundary')"
别只看报错消失,验证要多做一步。第二次请求的 prompt_cache_hit_tokens 接近前缀长度,账单里对应的输入单价下降,回答内容与之前一致。
缓存命中的前提是前缀逐字节相同,任何拼在开头的动态内容都会让整段前缀失效,把变化部分放到后面最省事。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。
