L2–L4 / 注意力與快取機制

01 / 問題

方法

未訓練雙層網絡，三固定種子；完整、增量、分塊與窗口路徑對照。

結果

正確快取最大誤差低於1e-12；錯誤位置和分塊掩碼產生可檢出的偏差。

觀察

逐前綴/快取投影行數1800/144；完整/窗口K/V負載12288/2048字節。

結論

快取保存變換後的表示，槽位不等於絕對位置；局部快取不等於裁剪原始輸入重算。

限制

無訓練、語言任務、在線調用或硬件速度基準；教學網絡不代表Agnes架構。

重現

程式碼、固定參數、原始結果和獨立稽核見固定版本儲存庫。

1. 機制拆解

   LLM機制實驗（一）：改動未來Token，前面的輸出應該變嗎？

   從手算兩行Attention到雙層數值對照，驗證因果掩碼、Softmax與未來資訊泄漏。

   2026-10-038 分鐘已發布
2. 機制拆解

   LLM機制實驗（二）：KV Cache省掉了什麼，怎樣證明沒有算錯？

   逐前綴重算、逐Token快取與分塊快取三路對照，記錄誤差、投影行數和真實數組字節。

   2026-10-038 分鐘已發布
3. 機制拆解

   LLM機制實驗（三）：快取只留四格，為什麼不等於重算四個Token？

   用雙層滑動注意力區分絕對位置、快取槽位和歷史表示，展示兩種形狀正確卻計算錯誤的實現。

   2026-10-038 分鐘已發布
4. 專案 / 002

   Java LLM 實作集

   Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。

   開發中