实验 / 019

L5 / 前缀缓存失效

三种子、六条件,比较错误复用与带键校验的前缀缓存;数值相同也不代表允许跨作用域共享。

已完成 ·

实验结果

GitHub ↗

01 / 问题

三种子、六条件,比较错误复用与带键校验的前缀缓存;数值相同也不代表允许跨作用域共享。

方法

未训练双层网络,三个固定种子 × 六种条件;新鲜计算、无条件复用和带键校验复用对照。

结果

18 例带校验路径误差均为 0(本机 float64);错误复用在前缀、权重、窗口变化后产生非零误差。

观察

作用域变化时数值误差仍为 0,但缓存键拒绝共享;继续阶段投影行数为命中 24、未命中 72。

结论

前缀身份需要包含计算配置和应用作用域;数值等价不证明允许复用。

局限

没有语言能力、GPU 或时延测量;作用域为调用方字符串,不是认证。整份权重哈希仅适合教学模型。

复现

固定版本仓库包含协议、原始结果和独立审计;文章提供逐步命令。

继续探索

继续探索

  1. 机制拆解

    LLM 机制实验(四):前缀改了,旧 KV Cache 还能继续用吗?

    三种子、六条件,比较错误复用与带键校验的前缀缓存;数值相同也不代表允许跨作用域共享。

    9 分钟已发布
  2. 项目 / 002

    Java LLM 实践集

    Java 会话、请求重试与持久化边界,以及注意力、缓存成本和量化误差的可复现实验。

    构建中
  3. 机制拆解

    LLM机制实验(二):KV Cache省掉了什么,怎样证明没有算错?

    逐前缀重算、逐Token缓存与分块缓存三路对照,记录误差、投影行数和真实数组字节。

    8 分钟已发布
  4. 机制拆解

    LLM机制实验(三):缓存只留四格,为什么不等于重算四个Token?

    用双层滑动注意力区分绝对位置、缓存槽位和历史表示,展示两种形状正确却计算错误的实现。

    8 分钟已发布

← 返回目录