實驗 / 002

工具呼叫失敗復原實驗

使用可控制的唯讀工具,注入逾時與空結果,記錄任務完成率和呼叫次數。

實驗中 ·

實驗結果

GitHub ↗

01 / 問題

实验设计草案 · 尚未执行

02 / HYPOTHESIS

有限重试和明确的工具错误结构可能改善可恢复故障下的任务完成情况,但会增加调用成本。

03 / VARIABLES

自变量
错误处理策略:不重试、有限重试、显式错误反馈;分别注入超时和空结果。
控制变量
只读工具、固定任务、模型与提示词、注入故障序列、最大调用预算。
因变量
任务完成、失败类型、工具调用数、耗时、是否遵守调用预算。

04 / DATASET

尚未确定。执行前记录数据来源、许可、样本与划分。

05 / BASELINE

遇到错误即停止,不做重试或恢复。

06 / METRICS

计划记录完成任务数/总任务数、每任务调用次数与耗时、预算违规次数;不把空结果当成功。

07 / SUCCESS CRITERIA

在同一故障序列下比较策略;成功必须满足任务断言且没有越过预算。运行前约定可接受的成本上限。

08 / RISKS

不可恢复故障不能靠重试解决;随机输出与不一致故障序列会影响比较。只读工具避免副作用。

09 / REPRODUCE

执行后补充代码、配置、数据版本与运行命令。

方法

本地只讀執行層與故障注入;完整模型Agent對照仍待執行。

結果

15項工具邊界檢查通過;超時後不配合中斷的執行緒仍繼續執行。

限制

沒有模型自主選工具、策略收益或真實服務調用;不代表完整計劃完成。

繼續探索

繼續探索

  1. 論文 / 002

    ReAct: Synergizing Reasoning and Acting in Language Models

    语言模型如何结合推理与环境交互?

    閱讀入口
  2. 工程案例

    Java LLM 實踐(五):工具超時了,為什麼任務還在執行?

    用白名單、嚴格參數、零佇列與調用預算構建只讀工具致動器,並重現取消不等於終止的邊界。

    8 分鐘已發布
  3. 專案 / 002

    Java LLM 實作集

    Java 會話、請求重試與持久化邊界,以及注意力、快取成本和量化誤差的可復現實驗。

    開發中

← 返回目錄