注意力分塊：不保存完整分數矩陣，如何保持結果？

01 / 問題

方法

先凍結協議和源碼，再運行并保存原始記錄；獨立腳本復算數值和校驗哈希。

結果

9組陣列，最大數值差3.33e-16；558次計時中分塊路徑仍更慢。

觀察

9組陣列，最大數值差3.33e-16；558次計時中分塊路徑仍更慢。

結論

結論限于本篇所列變量與驗收口徑，保留失敗及未驗證部分。

限制

教學規模、固定條件；不是在線模型質量、生產吞吐或真機安全結論。完整在線助手與VL01仍未完成。

重現

正文包含固定提交、環境、運行與獨立審計命令。

1. 機制拆解

   注意力分塊：不保存完整分數矩陣，如何保持結果？

   從錯誤的分塊平均出發，推導在線Softmax累加，并用9組陣列和558次計時區分省內存與加速。

   2026-10-079 分鐘已發布
2. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中
3. 機制拆解

   LLM機制實驗（二）：KV Cache省掉了什麼，怎樣證明沒有算錯？

   逐前綴重算、逐Token快取與分塊快取三路對照，記錄誤差、投影行數和真實數組字節。

   2026-10-038 分鐘已發布