LLM 机制实验（七）：缓存省了计算，为什么实测反而更慢？

01 / 问题

4860次实测查询比较三种缓存准入策略，把字节预算、工作集、计算量与本地耗时放在一起验证。

方法

81配置，每配置预热一条轨迹并测量五次；共4860次正式查询与1944个归档数组。

结果

最大数值误差4.16e-16；16KiB三scope最长准入投影行减半，但耗时6.723ms仍高于重算1.697ms。

观察

源文件与权重签名、复制和Python管理都计入缓存查询；8KiB双分支仍然零命中。

结论

准入可改善工作集，但计算节省不等于实测加速，应同时记录正确性、字节、工作量与耗时。

局限

未训练的小型NumPy模型，无GPU与CPU绑核；不是线上端到端延迟，也未做各项开销归因或显著性检验。

复现

固定代码和原始记录见仓库；正文给出运行、独立审计和回放命令。

1. 机制拆解

   LLM 机制实验（七）：缓存省了计算，为什么实测反而更慢？

   4860次实测查询比较三种缓存准入策略，把字节预算、工作集、计算量与本地耗时放在一起验证。

   2026-10-0512 分钟已发布
2. 项目 / 002

   Java LLM 实践集

   Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。

   构建中
3. 机制拆解

   LLM 机制实验（六）：缓存加大了，为什么还是一次都没命中？

   27 条冷启动轨迹、324 次请求与 648 个数组，按字节限制前缀检查点，观察工作集、隔离与 LRU 淘汰的实际收益。

   2026-10-0411 分钟已发布
4. 机制拆解

   LLM 机制实验（四）：前缀改了，旧 KV Cache 还能继续用吗？

   三种子、六条件，比较错误复用与带键校验的前缀缓存；数值相同也不代表允许跨作用域共享。

   2026-10-039 分钟已发布