KV 量化入门：省下多少字节，又引入什么误差？

01 / 问题

比较整张量与逐行int8量化，显式计入scale，观察离群值对注意力输出的影响。

方法

先冻结协议和源码，再运行并保存原始记录；独立脚本复算数值和校验哈希。

结果

36组量化比较，计入scale；全部条件最大绝对输出误差4.136，不宣称无损。

观察

36组量化比较，计入scale；全部条件最大绝对输出误差4.136，不宣称无损。

结论

结论限于本篇所列变量与验收口径，保留失败及未验证部分。

局限

教学规模、固定条件；不是在线模型质量、生产吞吐或真机安全结论。完整在线助手与VL01仍未完成。

复现

正文包含固定提交、环境、运行与独立审计命令。

1. 机制拆解

   KV 量化入门：省下多少字节，又引入什么误差？

   比较整张量与逐行int8量化，显式计入scale，观察离群值对注意力输出的影响。

   2026-10-079 分钟已发布
2. 项目 / 002

   Java LLM 实践集

   Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。

   构建中
3. 机制拆解

   注意力分块：不保存完整分数矩阵，如何保持结果？

   从错误的分块平均出发，推导在线Softmax累加，并用9组数组和558次计时区分省内存与加速。

   2026-10-079 分钟已发布