KV打包、殘差窗口與分塊成本

01 / 問題

144組對照、810條計時：高精度近段窗口在近段注意力上收益更大；分塊減少工作陣列，但本機CPU計時更慢。

方法

凍結協議後實際運行，獨立復算原始記錄，並從Git提交導出重新核驗。

結果

144組對照、810條計時：高精度近段窗口在近段注意力上收益更大；分塊減少工作陣列，但本機CPU計時更慢。

觀察

144組對照、810條計時：高精度近段窗口在近段注意力上收益更大；分塊減少工作陣列，但本機CPU計時更慢。

結論

分別閱讀三篇問題導向教程，保留負結果與驗證邊界。

限制

固定合成輸入、NumPy和CPU；未測模型任務質量、GPU速度、峰值RSS或真實顯存。

重現

每篇均提供固定版本、獨立輸出目錄、運行和審計命令；同協議只需運行一次。

1. 機制拆解

   KV分組打包：4-bit到底省了多少？

   實際保存半位元組整數碼，復算分組scale開銷、補齊位元組與注意力輸出誤差。

   2026-10-1110 分鐘已發布
2. 機制拆解

   KV殘差窗口：最近Token一定值得高精度嗎？

   用早段與近段注意力對照，解釋同樣的float32窗口為何收益不同。

   2026-10-1110 分鐘已發布
3. 機制拆解

   KV分塊反量化：工作區小了，為什么更慢？

   區分快取負載、工作陣列和實測耗時，保留分塊CPU實現更慢的810條計時記錄。

   2026-10-1110 分鐘已發布
4. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中