LLM 機制實驗（五）：改了歷史，能否只重算變化的後綴？

01 / 問題

方法

未訓練雙層 NumPy 模型，3 種子 × 9 條件；比較完整重算、正確裁剪與保留舊位置的負對照。

結果

27 例正確路徑最大誤差約 3.89e-16；9 個局部重用負對照產生明顯誤差，歸檔 81 個數組。

觀察

修改第五個 Token 時 cut=4，繼續階段投影行數 48 對完整重算 72；滑窗部分命中必須回退。

結論

重用連續相同前綴需要同步 K/V、絕對位置、作用域和仍可用的快取狀態。

限制

無訓練模型、tokenizer、GPU 或時延測量；計數不含預填充、哈希、查找與複製。作用域字串不是認證。

重現

固定程式碼和原始記錄見倉庫；正文給出運行、獨立審計和回放命令。

1. 機制拆解

   LLM 機制實驗（五）：改了歷史，能否只重算變化的後綴？

   27 個固定條件、81 個原始數組，驗證最長相同前綴裁剪、位置同步、滑窗回退與作用域隔離。

   2026-10-0310 分鐘已發布
2. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中
3. 機制拆解

   LLM 機制實驗（四）：前綴改了，舊 KV Cache 還能繼續用嗎？

   三種子、六條件，比較錯誤重用與帶鍵校驗的前綴快取；數值相同也不代表允許跨作用域共享。

   2026-10-039 分鐘已發布
4. 機制拆解

   LLM機制實驗（三）：快取只留四格，為什麼不等於重算四個Token？

   用雙層滑動注意力區分絕對位置、快取槽位和歷史表示，展示兩種形狀正確卻計算錯誤的實現。

   2026-10-038 分鐘已發布