實驗 / 002
工具呼叫失敗復原實驗
使用可控制的唯讀工具,注入逾時與空結果,記錄任務完成率和呼叫次數。
實驗結果
01 / 問題
02 / HYPOTHESIS
有限重试和明确的工具错误结构可能改善可恢复故障下的任务完成情况,但会增加调用成本。
03 / VARIABLES
- 自变量
- 错误处理策略:不重试、有限重试、显式错误反馈;分别注入超时和空结果。
- 控制变量
- 只读工具、固定任务、模型与提示词、注入故障序列、最大调用预算。
- 因变量
- 任务完成、失败类型、工具调用数、耗时、是否遵守调用预算。
04 / DATASET
尚未确定。执行前记录数据来源、许可、样本与划分。
05 / BASELINE
遇到错误即停止,不做重试或恢复。
06 / METRICS
计划记录完成任务数/总任务数、每任务调用次数与耗时、预算违规次数;不把空结果当成功。
07 / SUCCESS CRITERIA
在同一故障序列下比较策略;成功必须满足任务断言且没有越过预算。运行前约定可接受的成本上限。
08 / RISKS
不可恢复故障不能靠重试解决;随机输出与不一致故障序列会影响比较。只读工具避免副作用。
09 / REPRODUCE
执行后补充代码、配置、数据版本与运行命令。
方法
本地只讀執行層與故障注入;完整模型Agent對照仍待執行。
結果
15項工具邊界檢查通過;超時後不配合中斷的執行緒仍繼續執行。
限制
沒有模型自主選工具、策略收益或真實服務調用;不代表完整計劃完成。
繼續探索