实验 / 002
工具调用失败恢复实验
使用可控的只读工具,注入超时与空结果,记录任务完成率和调用次数。
实验结果
01 / 问题
使用可控的只读工具,注入超时与空结果,记录任务完成率和调用次数。
02 / HYPOTHESIS
有限重试和明确的工具错误结构可能改善可恢复故障下的任务完成情况,但会增加调用成本。
03 / VARIABLES
- 自变量
- 错误处理策略:不重试、有限重试、显式错误反馈;分别注入超时和空结果。
- 控制变量
- 只读工具、固定任务、模型与提示词、注入故障序列、最大调用预算。
- 因变量
- 任务完成、失败类型、工具调用数、耗时、是否遵守调用预算。
04 / DATASET
尚未确定。执行前记录数据来源、许可、样本与划分。
05 / BASELINE
遇到错误即停止,不做重试或恢复。
06 / METRICS
计划记录完成任务数/总任务数、每任务调用次数与耗时、预算违规次数;不把空结果当成功。
07 / SUCCESS CRITERIA
在同一故障序列下比较策略;成功必须满足任务断言且没有越过预算。运行前约定可接受的成本上限。
08 / RISKS
不可恢复故障不能靠重试解决;随机输出与不一致故障序列会影响比较。只读工具避免副作用。
09 / REPRODUCE
执行后补充代码、配置、数据版本与运行命令。
方法
本地只读执行层与故障注入;完整模型Agent对照仍待执行。
结果
15项工具边界检查通过;超时后不配合中断的线程仍继续执行。
局限
没有模型自主选工具、策略收益或真实服务调用;不代表完整计划完成。
实验记录
- · 15项工具边界检查通过;超时后不配合中断的线程仍继续执行。
继续探索