LLM 02 / 理解
整理大语言模型的学习笔记、论文阅读与可复现的实验观察。
从第一篇开始 → 直接看综合结论 → 按顺序学习 → 机制拆解 从因果注意力推导 K/V 复用，用一个可计算的内存例子区分推理缓存、前缀缓存与聊天记录。
2026-09-22 10 分钟 已发布
机制拆解 从手算两行Attention到双层数值对照，验证因果掩码、Softmax与未来信息泄漏。
2026-10-03 8 分钟 已发布
机制拆解 逐前缀重算、逐Token缓存与分块缓存三路对照，记录误差、投影行数和真实数组字节。
2026-10-03 8 分钟 已发布
机制拆解 用双层滑动注意力区分绝对位置、缓存槽位和历史表示，展示两种形状正确却计算错误的实现。
2026-10-03 8 分钟 已发布
机制拆解 三种子、六条件，比较错误复用与带键校验的前缀缓存；数值相同也不代表允许跨作用域共享。
2026-10-03 9 分钟 已发布
机制拆解 27 个固定条件、81 个原始数组，验证最长相同前缀裁剪、位置同步、滑窗回退与作用域隔离。
2026-10-03 10 分钟 已发布
机制拆解 27 条冷启动轨迹、324 次请求与 648 个数组，按字节限制前缀检查点，观察工作集、隔离与 LRU 淘汰的实际收益。
2026-10-04 11 分钟 已发布
机制拆解 4860次实测查询比较三种缓存准入策略，把字节预算、工作集、计算量与本地耗时放在一起验证。
2026-10-05 12 分钟 已发布
实验复盘 用 Java 固定 6 组虚构资料，对照开头、中间、末尾与无答案条件；公开 29 次请求、HTTP 429 和不能下的结论。
2026-09-29 12 分钟 已发布
工程案例 用 Java 8 实现成组对照与节流，完成 Agnes 3.0 的24次真实请求；公开逐项评分、服务端用量，并解释全对结果的边界。
2026-09-29 16 分钟 已发布
工程案例 从Agnes 3.0的24次真实结果出发，排除句式和编号线索，冻结128项相似干扰对照；用Java 8与独立审计验证材料，不把离线准备当模型结果。
2026-09-30 10 分钟 已发布
机制拆解 对909次查询做分段计时，验证源码签名、查找、复制与续算分别花在哪里，同时保留缓存仍慢的结果。
2026-10-07 9 分钟 已发布
机制拆解 从错误的分块平均出发，推导在线Softmax累加，并用9组数组和558次计时区分省内存与加速。
2026-10-07 9 分钟 已发布
机制拆解 比较整张量与逐行int8量化，显式计入scale，观察离群值对注意力输出的影响。
2026-10-07 9 分钟 已发布
机制拆解 162组保存整数码的离线对照，比较全张量、逐Token与K逐通道/V逐Token，保留混合策略并非总更优的结果。
2026-10-09 10 分钟 已发布
机制拆解 实际保存半字节整数码，复算分组scale开销、补齐字节与注意力输出误差。
2026-10-11 10 分钟 已发布
机制拆解 用早段与近段注意力对照，解释同样的float32窗口为何收益不同。
2026-10-11 10 分钟 已发布
机制拆解 区分缓存负载、工作数组和实测耗时，保留分块CPU实现更慢的810条计时记录。
2026-10-11 10 分钟 已发布
项目 / 002 Java 会话、请求重试与持久化边界，以及注意力、缓存成本和量化误差的可复现实验。
构建中
相关实验 实验 / 005 移动同一条事实，模型是否仍能找到答案？
2026-09-29 尚无定论
实验 / 015 从手算两行Attention到双层数值对照，验证因果掩码、Softmax与未来信息泄漏。
2026-10-03 已完成
实验 / 019 三种子、六条件，比较错误复用与带键校验的前缀缓存；数值相同也不代表允许跨作用域共享。
2026-10-03 已完成
实验 / 022 27 个固定条件、81 个原始数组，验证最长相同前缀裁剪、位置同步、滑窗回退与作用域隔离。
2026-10-03 已完成
实验 / 025 27 条冷启动轨迹、324 次请求与 648 个数组，按字节限制前缀检查点，观察工作集、隔离与 LRU 淘汰的实际收益。
2026-10-04 已完成
实验 / 028 4860次实测查询比较三种缓存准入策略，把字节预算、工作集、计算量与本地耗时放在一起验证。
2026-10-05 已完成
实验 / 033 对909次查询做分段计时，验证源码签名、查找、复制与续算分别花在哪里，同时保留缓存仍慢的结果。
2026-10-07 已完成
实验 / 034 从错误的分块平均出发，推导在线Softmax累加，并用9组数组和558次计时区分省内存与加速。
2026-10-07 已完成
实验 / 035 比较整张量与逐行int8量化，显式计入scale，观察离群值对注意力输出的影响。
2026-10-07 已完成
实验 / 040 162组保存整数码的离线对照，比较全张量、逐Token与K逐通道/V逐Token，保留混合策略并非总更优的结果。
2026-10-09 已完成
实验 / 043 144组对照、810条计时：高精度近段窗口在近段注意力上收益更大；分块减少工作数组，但本机CPU计时更慢。
2026-10-11 已完成
相关资讯 这里展示已发布的外部资讯，保留来源与原文入口。
arXiv cs.CL · 2026-10-30 暂无译文，显示原文 As large language models (LLMs) become more widespread in Africa, their safety in low-resource languages remains largely untested since most red-teaming work focuses on English.…
原始来源摘录或链接 ☆ 稍后读 ○ 标记已读
arXiv cs.CL · 2026-10-30 暂无译文，显示原文 Large Language Models (LLMs) rely on Multi-Head Attention (MHA) for sequence modeling, but scaling to long contexts is constrained by the quadratic cost of attention, motivating…
原始来源摘录或链接 ☆ 稍后读 ○ 标记已读
AIHOT · 2026-10-29 暂无译文，显示原文 OpenRouter 发布教程，讲解如何把 PDF 以文件形式连同严格 JSON schema 发给能读文件的模型，让表格以带类型的行返回，括号亏损、千分位和脚注标记等清理都写进字段描述。
原始来源摘录或链接 ☆ 稍后读 ○ 标记已读
浏览全部 AI 资讯 →
学习路线与后续选题 以下为待完成选题，不代表已有实验结果。
Token 到底是什么 · 已规划 Context Window · 已规划 Embedding · 已规划 Attention · 已规划 Transformer · 已规划 LLM Evaluation · 已规划 Sampling / Inference · 已规划 继续系统学习 →
动手试试 · 上下文容量 按需展开，在浏览器里探索。 直达此实验 ↗
