L2–L4 / 注意力与缓存机制

01 / 问题

从手算两行Attention到双层数值对照，验证因果掩码、Softmax与未来信息泄漏。

方法

未训练双层网络，三固定种子；完整、增量、分块与窗口路径对照。

结果

正确缓存最大误差低于1e-12；错误位置和分块掩码产生可检出的偏差。

观察

逐前缀/缓存投影行数1800/144；完整/窗口K/V负载12288/2048字节。

结论

缓存保存变换后的表示，槽位不等于绝对位置；局部缓存不等于裁剪原始输入重算。

局限

无训练、语言任务、在线调用或硬件速度基准；教学网络不代表Agnes架构。

复现

代码、冻结参数、原始结果和独立审计见固定版本仓库。

1. 机制拆解

   LLM机制实验（一）：改动未来Token，前面的输出应该变吗？

   从手算两行Attention到双层数值对照，验证因果掩码、Softmax与未来信息泄漏。

   2026-10-038 分钟已发布
2. 机制拆解

   LLM机制实验（二）：KV Cache省掉了什么，怎样证明没有算错？

   逐前缀重算、逐Token缓存与分块缓存三路对照，记录误差、投影行数和真实数组字节。

   2026-10-038 分钟已发布
3. 机制拆解

   LLM机制实验（三）：缓存只留四格，为什么不等于重算四个Token？

   用双层滑动注意力区分绝对位置、缓存槽位和历史表示，展示两种形状正确却计算错误的实现。

   2026-10-038 分钟已发布
4. 项目 / 002

   Java LLM 实践集

   Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。

   构建中