實驗 / 005
L1 / 上下文位置試驗:提前停止的一輪
6 組虛構資料的四條件對照;29 次嘗試后停止,位置差異尚無定論。
實驗結果
01 / 問題
移動同一條事實,模型是否仍能找到答案?
方法
凍結 6 組資料、四條件、兩次重複,預算 48;隨機順序但無重試,連續三次請求/協定失敗停止。
結果
嘗試 29 次:26 份正常回應符合預期,隨後 3 次 HTTP 429;19 次未執行。
觀察
回傳樣本中 20 份編號正確、6 份正確拒答;請求失敗與模型答錯分別記錄。
結論
尚不足以估計上下文位置的影響;不將 26/26 當作完整實驗成功率。
限制
固定短材料、樣本少且相關、分組不平衡;不是長上下文基準或論文重現。
重現
Java 工程提供 92 項離線斷言、完整請求計畫及獨立 audit.mjs。新實測需新目錄與獨立預算。
繼續探索