实验 / 002

工具调用失败恢复实验

使用可控的只读工具,注入超时与空结果,记录任务完成率和调用次数。

实验中 ·

实验结果

GitHub ↗

01 / 问题

使用可控的只读工具,注入超时与空结果,记录任务完成率和调用次数。

实验设计草案 · 尚未执行

02 / HYPOTHESIS

有限重试和明确的工具错误结构可能改善可恢复故障下的任务完成情况,但会增加调用成本。

03 / VARIABLES

自变量
错误处理策略:不重试、有限重试、显式错误反馈;分别注入超时和空结果。
控制变量
只读工具、固定任务、模型与提示词、注入故障序列、最大调用预算。
因变量
任务完成、失败类型、工具调用数、耗时、是否遵守调用预算。

04 / DATASET

尚未确定。执行前记录数据来源、许可、样本与划分。

05 / BASELINE

遇到错误即停止,不做重试或恢复。

06 / METRICS

计划记录完成任务数/总任务数、每任务调用次数与耗时、预算违规次数;不把空结果当成功。

07 / SUCCESS CRITERIA

在同一故障序列下比较策略;成功必须满足任务断言且没有越过预算。运行前约定可接受的成本上限。

08 / RISKS

不可恢复故障不能靠重试解决;随机输出与不一致故障序列会影响比较。只读工具避免副作用。

09 / REPRODUCE

执行后补充代码、配置、数据版本与运行命令。

方法

本地只读执行层与故障注入;完整模型Agent对照仍待执行。

结果

15项工具边界检查通过;超时后不配合中断的线程仍继续执行。

局限

没有模型自主选工具、策略收益或真实服务调用;不代表完整计划完成。

实验记录

  1. · 15项工具边界检查通过;超时后不配合中断的线程仍继续执行。

继续探索

继续探索

  1. 论文 / 002

    ReAct: Synergizing Reasoning and Acting in Language Models

    语言模型如何结合推理与环境交互?

    阅读入口
  2. 工程案例

    Java LLM 实践(五):工具超时了,为什么任务还在执行?

    用白名单、严格参数、零队列与调用预算构建只读工具执行器,并复现取消不等于终止的边界。

    8 分钟已发布
  3. 项目 / 002

    Java LLM 实践集

    Java 会话、请求重试与持久化边界,以及注意力、缓存成本和量化误差的可复现实验。

    构建中

← 返回目录