KV 量化軸：Key 與 Value 為什么不能一概而論？

01 / 問題

162組保存整數碼的離線對照，比較全張量、逐Token與K逐通道/V逐Token，保留混合策略并非總更優的結果。

方法

先凍結協議與原始碼，再執行真實本機對照；保存原始紀錄，獨立重算並檢查雜湊。

結果

162組對照中，K通道離群時混合策略平均KV輸出誤差1.9215%；乾淨輸入上逐Token更準，不能宣稱一種軸普遍更優。

觀察

162組對照中，K通道離群時混合策略平均KV輸出誤差1.9215%；乾淨輸入上逐Token更準，不能宣稱一種軸普遍更優。

結論

依離群值分布選擇量化軸，獨立重算輸出誤差及scale開銷。

限制

合成float32陣列與CPU NumPy；無訓練模型、GPU速度、峰值記憶體或任務品質結論。

重現

正文提供固定提交、鎖定環境、獨立輸出目錄及稽核指令。

1. 機制拆解

   KV 量化軸：Key 與 Value 為什么不能一概而論？

   162組保存整數碼的離線對照，比較全張量、逐Token與K逐通道/V逐Token，保留混合策略並非總更優的結果。

   2026-10-0910 分鐘已發布
2. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中
3. 機制拆解

   KV 量化入門：省下多少位元組，又引入什麼誤差？

   比較整張量與逐行int8量化，顯式計入scale，觀察離群值對注意力輸出的影響。

   2026-10-079 分鐘已發布