实验 / 005
L1 / 上下文位置试验:提前停止的一轮
移动同一条事实,模型是否仍能找到答案?
实验结果
01 / 问题
移动同一条事实,模型是否仍能找到答案?
方法
冻结 6 组资料、四条件、两次重复,预算 48;随机顺序但无重试,连续三次请求/协议失败停止。
结果
尝试 29 次:26 份正常响应符合预期,随后 3 次 HTTP 429;19 次未执行。
观察
返回样本中 20 份编号正确、6 份正确拒答;请求失败与模型答错分别记录。
结论
尚不足以估计上下文位置的影响;不将 26/26 当作完整实验成功率。
局限
固定短材料、样本少且相关、分组不平衡;不是长上下文基准或论文复现。
复现
Java 工程提供 92 项离线断言、完整请求计划及独立 audit.mjs。新实测需新目录与独立预算。
继续探索