LLM 機制實驗（六）：快取加大了，為什麼還是一次都沒命中？

01 / 問題

方法

3種子×3預算×3軌跡，每軌跡12請求，從冷快取開始，保存完整前綴檢查點。

結果

324請求、648陣列，最大誤差約4.16e-16；8KiB交替組零命中，22次淘汰，投影計算未減少。

觀察

8KiB熱點組總投影行336對完整重算864；相同容量不能容納兩個分支的全部檢查點。

結論

快取收益取決於準入策略與工作集；容量、重用距離和複製成本需要一起分析。

限制

未訓練NumPy模型；僅持久陣列位元組，不是RSS；沒有GPU、生產模型或端到端時延測量。

重現

固定程式碼和原始記錄見倉庫；正文給出運行、獨立審計和回放命令。

1. 機制拆解

   LLM 機制實驗（六）：快取加大了，為什麼還是一次都沒命中？

   27 條冷啟動軌跡、324 次請求與 648 個陣列，按位元組限制前綴檢查點，觀察工作集、隔離與 LRU 淘汰的實際收益。

   2026-10-0411 分鐘已發布
2. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中
3. 機制拆解

   LLM 機制實驗（五）：改了歷史，能否只重算變化的後綴？

   27 個固定條件、81 個原始數組，驗證最長相同前綴裁剪、位置同步、滑窗回退與作用域隔離。

   2026-10-0310 分鐘已發布
4. 機制拆解

   LLM 機制實驗（四）：前綴改了，舊 KV Cache 還能繼續用嗎？

   三種子、六條件，比較錯誤重用與帶鍵校驗的前綴快取；數值相同也不代表允許跨作用域共享。

   2026-10-039 分鐘已發布