KV打包、残差窗口与分块成本

01 / 问题

144组对照、810条计时：高精度近段窗口在近段注意力上收益更大；分块减少工作数组，但本机CPU计时更慢。

方法

冻结协议后实际运行，独立复算原始记录，并从Git提交导出重新核验。

结果

144组对照、810条计时：高精度近段窗口在近段注意力上收益更大；分块减少工作数组，但本机CPU计时更慢。

观察

144组对照、810条计时：高精度近段窗口在近段注意力上收益更大；分块减少工作数组，但本机CPU计时更慢。

结论

分别阅读三篇问题导向教程，保留负结果与验证边界。

局限

固定合成输入、NumPy和CPU；未测模型任务质量、GPU速度、峰值RSS或真实显存。

复现

每篇均提供固定版本、独立输出目录、运行和审计命令；同协议只需运行一次。

1. 机制拆解

   KV分组打包：4-bit到底省了多少？

   实际保存半字节整数码，复算分组scale开销、补齐字节与注意力输出误差。

   2026-10-1110 分钟已发布
2. 机制拆解

   KV残差窗口：最近Token一定值得高精度吗？

   用早段与近段注意力对照，解释同样的float32窗口为何收益不同。

   2026-10-1110 分钟已发布
3. 机制拆解

   KV分块反量化：工作区小了，为什么更慢？

   区分缓存负载、工作数组和实测耗时，保留分块CPU实现更慢的810条计时记录。

   2026-10-1110 分钟已发布
4. 项目 / 002

   Java LLM 实践集

   Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。

   构建中