KV 量化入門：省下多少位元組，又引入什麼誤差？

01 / 問題

方法

先凍結協議和源碼，再運行并保存原始記錄；獨立腳本復算數值和校驗哈希。

結果

36組量化比較，計入scale；全部條件最大絕對輸出誤差4.136，不宣稱無損。

觀察

36組量化比較，計入scale；全部條件最大絕對輸出誤差4.136，不宣稱無損。

結論

結論限于本篇所列變量與驗收口徑，保留失敗及未驗證部分。

限制

教學規模、固定條件；不是在線模型質量、生產吞吐或真機安全結論。完整在線助手與VL01仍未完成。

重現

正文包含固定提交、環境、運行與獨立審計命令。

1. 機制拆解

   KV 量化入門：省下多少位元組，又引入什麼誤差？

   比較整張量與逐行int8量化，顯式計入scale，觀察離群值對注意力輸出的影響。

   2026-10-079 分鐘已發布
2. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中
3. 機制拆解

   注意力分塊：不保存完整分數矩陣，如何保持結果？

   從錯誤的分塊平均出發，推導在線Softmax累加，并用9組陣列和558次計時區分省內存與加速。

   2026-10-079 分鐘已發布