LLM 02 / 理解
整理大型語言模型的學習筆記、論文閱讀與可復現的實驗觀察。
從第一篇開始 → 直接看綜合結論 → 依順序學習 → 機制拆解 從因果注意力推導 K/V 復用，用一個可計算的記憶體例子區分推理快取、前綴快取與聊天記錄。
2026-09-22 10 分鐘 已發布
機制拆解 從手算兩行Attention到雙層數值對照，驗證因果掩碼、Softmax與未來資訊泄漏。
2026-10-03 8 分鐘 已發布
機制拆解 逐前綴重算、逐Token快取與分塊快取三路對照，記錄誤差、投影行數和真實數組字節。
2026-10-03 8 分鐘 已發布
機制拆解 用雙層滑動注意力區分絕對位置、快取槽位和歷史表示，展示兩種形狀正確卻計算錯誤的實現。
2026-10-03 8 分鐘 已發布
機制拆解 三種子、六條件，比較錯誤重用與帶鍵校驗的前綴快取；數值相同也不代表允許跨作用域共享。
2026-10-03 9 分鐘 已發布
機制拆解 27 個固定條件、81 個原始數組，驗證最長相同前綴裁剪、位置同步、滑窗回退與作用域隔離。
2026-10-03 10 分鐘 已發布
機制拆解 27 條冷啟動軌跡、324 次請求與 648 個陣列，按位元組限制前綴檢查點，觀察工作集、隔離與 LRU 淘汰的實際收益。
2026-10-04 11 分鐘 已發布
機制拆解 4860次實測查詢比較三種快取準入策略，把位元組預算、工作集、計算量與本地耗時放在一起驗證。
2026-10-05 12 分鐘 已發布
實驗回顧 用 Java 固定 6 組虛構資料，對照開頭、中間、末尾與無答案條件；公開 29 次請求、HTTP 429 和不能下的結論。
2026-09-29 12 分鐘 已發布
工程案例 以 Java 8 實作成組對照與節流，完成 Agnes 3.0 的24次真實請求；公開逐項評分、服務端用量，並解釋全對結果的邊界。
2026-09-29 16 分鐘 已發布
工程案例 從Agnes 3.0的24次真實結果出發，排除句式和編號線索，凍結128項相似干擾對照；用Java 8與獨立稽核驗證材料，不把離線準備當模型結果。
2026-09-30 10 分鐘 已發布
機制拆解 對909次查詢做分段計時，驗證源碼簽名、查找、復制與續算分別花在哪里，同時保留快取仍慢的結果。
2026-10-07 9 分鐘 已發布
機制拆解 從錯誤的分塊平均出發，推導在線Softmax累加，并用9組陣列和558次計時區分省內存與加速。
2026-10-07 9 分鐘 已發布
機制拆解 比較整張量與逐行int8量化，顯式計入scale，觀察離群值對注意力輸出的影響。
2026-10-07 9 分鐘 已發布
機制拆解 162組保存整數碼的離線對照，比較全張量、逐Token與K逐通道/V逐Token，保留混合策略並非總更優的結果。
2026-10-09 10 分鐘 已發布
機制拆解 實際保存半位元組整數碼，復算分組scale開銷、補齊位元組與注意力輸出誤差。
2026-10-11 10 分鐘 已發布
機制拆解 用早段與近段注意力對照，解釋同樣的float32窗口為何收益不同。
2026-10-11 10 分鐘 已發布
機制拆解 區分快取負載、工作陣列和實測耗時，保留分塊CPU實現更慢的810條計時記錄。
2026-10-11 10 分鐘 已發布
專案 / 002 Java 會話、請求重試與持久化邊界，以及注意力、快取成本和量化誤差的可復現實驗。
開發中
相關實驗 實驗 / 005 6 組虛構資料的四條件對照；29 次嘗試后停止，位置差異尚無定論。
2026-09-29 尚無定論
實驗 / 015 從手算兩行Attention到雙層數值對照，驗證因果掩碼、Softmax與未來資訊泄漏。
2026-10-03 已完成
實驗 / 019 三種子、六條件，比較錯誤重用與帶鍵校驗的前綴快取；數值相同也不代表允許跨作用域共享。
2026-10-03 已完成
實驗 / 022 27 個固定條件、81 個原始數組，驗證最長相同前綴裁剪、位置同步、滑窗回退與作用域隔離。
2026-10-03 已完成
實驗 / 025 27 條冷啟動軌跡、324 次請求與 648 個陣列，按位元組限制前綴檢查點，觀察工作集、隔離與 LRU 淘汰的實際收益。
2026-10-04 已完成
實驗 / 028 4860次實測查詢比較三種快取準入策略，把位元組預算、工作集、計算量與本地耗時放在一起驗證。
2026-10-05 已完成
實驗 / 033 對909次查詢做分段計時，驗證源碼簽名、查找、復制與續算分別花在哪里，同時保留快取仍慢的結果。
2026-10-07 已完成
實驗 / 034 從錯誤的分塊平均出發，推導在線Softmax累加，并用9組陣列和558次計時區分省內存與加速。
2026-10-07 已完成
實驗 / 035 比較整張量與逐行int8量化，顯式計入scale，觀察離群值對注意力輸出的影響。
2026-10-07 已完成
實驗 / 040 162組保存整數碼的離線對照，比較全張量、逐Token與K逐通道/V逐Token，保留混合策略并非總更優的結果。
2026-10-09 已完成
實驗 / 043 144組對照、810條計時：高精度近段窗口在近段注意力上收益更大；分塊減少工作陣列，但本機CPU計時更慢。
2026-10-11 已完成
相关资讯 这里展示已发布的外部资讯，保留来源与原文入口。
arXiv cs.CL · 2026-10-30 暂无译文，显示原文 As large language models (LLMs) become more widespread in Africa, their safety in low-resource languages remains largely untested since most red-teaming work focuses on English.…
原始来源摘录或链接 ☆ 稍後閱讀 ○ 標記為已讀
arXiv cs.CL · 2026-10-30 暂无译文，显示原文 Large Language Models (LLMs) rely on Multi-Head Attention (MHA) for sequence modeling, but scaling to long contexts is constrained by the quadratic cost of attention, motivating…
原始来源摘录或链接 ☆ 稍後閱讀 ○ 標記為已讀
AIHOT · 2026-10-29 暂无译文，显示原文 OpenRouter 发布教程，讲解如何把 PDF 以文件形式连同严格 JSON schema 发给能读文件的模型，让表格以带类型的行返回，括号亏损、千分位和脚注标记等清理都写进字段描述。
原始来源摘录或链接 ☆ 稍後閱讀 ○ 標記為已讀
浏览全部 AI 资讯 →
學習路線與後續選題 以下為待完成選題，不代表已有實驗結果。
Token 到底是什麼 · 已規劃 Context Window · 已規劃 Embedding · 已規劃 Attention · 已規劃 Transformer · 已規劃 LLM Evaluation · 已規劃 Sampling / Inference · 已規劃 繼續系統學習 →
動手試試 · 上下文容量 按需展開，在瀏覽器裡探索。 直達此實驗 ↗
