LLM 机制实验（六）：缓存加大了，为什么还是一次都没命中？

01 / 问题

27 条冷启动轨迹、324 次请求与 648 个数组，按字节限制前缀检查点，观察工作集、隔离与 LRU 淘汰的实际收益。

方法

3种子×3预算×3轨迹，每轨迹12请求，从冷缓存开始，保存完整前缀检查点。

结果

324请求、648数组，最大误差约4.16e-16；8KiB交替组零命中，22次淘汰，投影计算未减少。

观察

8KiB热点组总投影行336对完整重算864；相同容量不能容纳两个分支的全部检查点。

结论

缓存收益取决于准入策略与工作集；容量、复用距离和复制成本需要一起分析。

局限

未训练NumPy模型；仅持久数组字节，不是RSS；没有GPU、生产模型或端到端时延测量。

复现

固定代码和原始记录见仓库；正文给出运行、独立审计和回放命令。

1. 机制拆解

   LLM 机制实验（六）：缓存加大了，为什么还是一次都没命中？

   27 条冷启动轨迹、324 次请求与 648 个数组，按字节限制前缀检查点，观察工作集、隔离与 LRU 淘汰的实际收益。

   2026-10-0411 分钟已发布
2. 项目 / 002

   Java LLM 实践集

   Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。

   构建中
3. 机制拆解

   LLM 机制实验（五）：改了历史，能否只重算变化的后缀？

   27 个固定条件、81 个原始数组，验证最长相同前缀裁剪、位置同步、滑窗回退与作用域隔离。

   2026-10-0310 分钟已发布
4. 机制拆解

   LLM 机制实验（四）：前缀改了，旧 KV Cache 还能继续用吗？

   三种子、六条件，比较错误复用与带键校验的前缀缓存；数值相同也不代表允许跨作用域共享。

   2026-10-039 分钟已发布