KV 量化轴：Key 与 Value 为什么不能一概而论？

01 / 问题

162组保存整数码的离线对照，比较全张量、逐Token与K逐通道/V逐Token，保留混合策略并非总更优的结果。

方法

先冻结协议与源码，再运行真实本地对照；保存原始记录，独立复算并校验哈希。

结果

162组对照中，K通道离群时混合策略平均KV输出误差1.9215%；干净输入上逐Token更准，不能声称一种轴普遍更优。

观察

162组对照中，K通道离群时混合策略平均KV输出误差1.9215%；干净输入上逐Token更准，不能声称一种轴普遍更优。

结论

根据离群值分布选择量化轴，独立复算输出误差和scale开销。

局限

合成float32数组与CPU NumPy；无训练模型、GPU速度、峰值显存或任务质量结论。

复现

正文提供固定提交、锁定环境、独立输出目录和审计命令。

1. 机制拆解

   KV 量化轴：Key 与 Value 为什么不能一概而论？

   162组保存整数码的离线对照，比较全张量、逐Token与K逐通道/V逐Token，保留混合策略并非总更优的结果。

   2026-10-0910 分钟已发布
2. 项目 / 002

   Java LLM 实践集

   Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。

   构建中
3. 机制拆解

   KV 量化入门：省下多少字节，又引入什么误差？

   比较整张量与逐行int8量化，显式计入scale，观察离群值对注意力输出的影响。

   2026-10-079 分钟已发布