LLM 機制實驗（七）：快取省了計算，為什麼實測反而更慢？

01 / 問題

方法

81配置，每配置預熱一條軌跡並測量五次；共4860次正式查詢與1944個歸檔陣列。

結果

最大數值誤差4.16e-16；16KiB三scope最長準入投影行減半，但耗時6.723ms仍高於重算1.697ms。

觀察

源檔案與權重簽名、複製和Python管理都計入快取查詢；8KiB雙分支仍然零命中。

結論

準入可改善工作集，但計算節省不等於實測加速，應同時記錄正確性、位元組、工作量與耗時。

限制

未訓練的小型NumPy模型，無GPU與CPU綁核；不是線上端到端延遲，也未做各項開銷歸因或顯著性檢驗。

重現

固定程式碼和原始記錄見倉庫；正文給出運行、獨立審計和回放命令。

1. 機制拆解

   LLM 機制實驗（七）：快取省了計算，為什麼實測反而更慢？

   4860次實測查詢比較三種快取準入策略，把位元組預算、工作集、計算量與本地耗時放在一起驗證。

   2026-10-0512 分鐘已發布
2. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中
3. 機制拆解

   LLM 機制實驗（六）：快取加大了，為什麼還是一次都沒命中？

   27 條冷啟動軌跡、324 次請求與 648 個陣列，按位元組限制前綴檢查點，觀察工作集、隔離與 LRU 淘汰的實際收益。

   2026-10-0411 分鐘已發布
4. 機制拆解

   LLM 機制實驗（四）：前綴改了，舊 KV Cache 還能繼續用嗎？

   三種子、六條件，比較錯誤重用與帶鍵校驗的前綴快取；數值相同也不代表允許跨作用域共享。

   2026-10-039 分鐘已發布