模型调用工具时,怎样避免把计划当成完成?

“先查天气,再比较两地温度”是一份计划。只有工具实际返回了正确地点、正确日期和一致单位的数据,系统才有条件完成比较。语言模型写出像操作记录一样的文字,并不能证明操作发生。把模型接入工具以后,最重要的变化,是任务可以获得来自外部环境的反馈,也必须接受外部环境的检验。

ReAct 把任务分析、动作与观察交替组织。模型根据当前状态选择下一步动作,执行器调用接口,返回结果进入后续上下文。新观察可以支持原计划,也可以迫使系统修正计划。论文在问答、事实核查与交互环境中研究了这种方法,其启发在于建立反馈循环,而非让模型写出更长的计划文本。ReAct 原论文

机械珐琅表盘上的指针、工具档位和反馈回路
AI 生成配图 · 机械珐琅仪表 · 未完纪

一个工具循环应该分清哪些角色

模型负责提出动作候选,执行器负责检查参数并实际调用工具,环境负责返回观察,状态管理器保存已知信息与未完成目标。把这些角色分开,可以避免模型把自己预测的结果误当成环境结果。即使它生成了一个看似合理的温度,执行记录里没有相应返回,就不应写入已核实字段。

工具返回也不只有成功数据。它可能是超时、空结果、权限不足、候选地点列表或结构改变的响应。这些都是观察,需要影响下一步动作。系统若把所有返回都压成“调用成功”,模型就失去了判断是否需要重试、换工具或停止的依据。良好的接口会提供明确的状态、数据和错误类别。

用户可见的记录不必包含冗长的内部分析。简洁的行动摘要、实际调用参数和关键返回证据,通常更便于核查。系统真正需要保存的是能够重放的动作与观察关系:哪次调用得到哪份数据,后续结论使用了哪些字段。这样也更容易把错误定位到选择、执行、读取或最终表达。

参数结构怎样把自然语言变成可执行动作

假设天气工具要求地点标识、日期和温度单位。模型应输出符合结构的参数,而不是在自由文本里说“查询北京明天的情况”。执行器检查字段类型、日期格式和允许值,再发起调用。格式检查可以排除缺少字段或把摄氏写成无效缩写等错误,却不能自动判断日期是否符合用户意思。

“明天”还依赖时区与当前时间,“北京”需要映射到工具认可的地点。如果用户同时比较两个国家的城市,应明确比较当地同一日期还是同一时间点。工具描述应该说明这些语义,而不是只列字段名。接口越含糊,模型越可能生成格式正确但含义不对的请求。

还可以让工具返回规范化后的请求信息,例如实际解析的地点坐标与日期。模型再核对它们是否符合原目标。对只读公共查询,这种二次核对能有效发现同名地点和默认日期问题。缓存则应包含影响结果的完整参数,并保存时间戳;遗漏单位或日期的缓存键,会把旧的正确结果变成新的错误证据。

打开 HTML 互动演示 · 先查到证据,再提交:一个最小工具循环

用一个合成天气比较走完整条链

设用户要求比较城市甲和城市乙在指定日期的最高温。教学用模拟接口分别返回 12.4 摄氏度和 7.8 摄氏度,且地点和日期均已核对。这些数值是合成例子,不代表任何城市的真实天气。系统得到两项观察后,可以调用计算器或直接计算差值 4.6 摄氏度,再给出带日期和单位的比较。

若第二个接口返回的是 46 华氏度,必须先换算成约 7.78 摄氏度,不能直接相减。若一边是实况温度、一边是最高温预报,也不具备同口径可比性。工具调用本身正确,不代表两项数据已经满足比较条件。最终答案应明确数据类型,而不是把不一致的字段压成一个顺畅结论。

若城市乙返回两个同名候选,系统应先利用用户给出的地区信息消歧;信息不足时,需要说明缺少什么。若接口超时,可以按预设策略有限重试,但不能用训练记忆填补当日数据。这个例子展示了反馈的用途:每个返回都会改变“我们现在确切知道什么”,下一步动作应围绕剩余缺口展开。

多步任务怎样累积失败与成本

一个长流程需要多个步骤都足够可靠。作为简化的合成估算,若八个必要步骤相互独立且各有 95% 的成功率,全链成功率约为 0.95 的八次方,即 66.3%。真实错误并不独立,这个算式不能预测产品表现,但能提醒我们:单次工具调用看起来很准,串成任务后仍可能出现明显损失。

错误还会传播。第一步选错城市,后面查询和算术都可能执行无误,最终答案却从根上偏离目标。因此,检查点应放在会改变后续语义的节点,例如实体识别、时间范围和数据口径,而不是只在末尾检查文字是否通顺。状态中保留来源标识,有助于发现某个结论依赖了错误的前提。

成本同样需要按完整任务计算。它包括模型生成、工具等待、重试和上下文回传。可以设置总调用预算、单次超时、重复参数检测与最大无进展次数。预算触发后,系统应报告已完成部分与缺失数据。无限重试会增加费用,也可能让模型在越来越多失败信息中偏离原目标。

外部文本怎样进入上下文

工具可能返回网页正文,其中既有事实,也可能夹带无关的操作要求。系统需要保持来源层级:网页内容是被查询的资料,不能因为出现在上下文里,就获得修改任务目标或工具权限的资格。对天气比较而言,页面上的广告文字或“请改用某个链接”不应自动变成新的操作指令。

工程上可以让工具优先返回结构化字段,并把原始文本明确标记为外部内容。对模型生成的下一次调用,执行器仍应独立检查是否属于当前允许的工具和参数范围。这样的结构不会让所有错误消失,却能减少自然语言材料与执行控制之间的混淆,也让失败案例更易复现。

还应限制回传内容。把完整网页反复塞入上下文,会增加成本并稀释关键信息;只保留模型认为重要的摘要,又可能丢掉日期和例外条件。可以保留简短字段与稳定的来源位置,在需要时再取原文。摘要的作用是帮助状态管理,不能覆盖原始观察或让未经核实的推断变成事实。

怎样证明反馈循环带来了实际收益

可以建立同一套任务,比较直接回答、一次性计划后执行、允许观察后调整三种配置。工具、模型和任务预算尽量相同,才能判断交互反馈带来的变化。再加入可控异常,如首个结果为空、同名地点、单位变化或一次超时,观察系统是否能恢复。只在所有接口顺利返回的场景里测试,难以体现循环设计的价值。

任务成功应由环境状态或可核查结果判断。天气比较可以检查地点、日期、口径、数值和差值;公开书目查询可以检查作者与版本;简单表格分析可以核对所用行列和运算。答案中出现“已完成”不应计为成功。AgentBench 等工作从多种环境检验代理行为,也提醒我们按完整任务而非孤立句子评价系统。AgentBench 初版

错误分类应至少区分工具选择错误、参数语义错误、调用失败、观察读取错误和过早停止。不同错误需要不同修复:补充参数说明未必能改善观察读取,增加模型推理预算也未必能修复接口返回缺字段。保存调用轨迹并做分层统计,可以避免仅凭几个精彩演示判断整个系统。

离线回放可以进一步隔离问题。在同一任务里固定工具返回,只改变模型版本,比较它们读取同一观察后怎样行动;再固定模型,只替换为错误码、空值或延迟响应,检验恢复逻辑。模拟结果与真实接口测试应分别报告,因为模拟器可能漏掉真实服务中的格式变化和不稳定行为。

还可以安排一个无须调用工具的对照任务,测量系统是否过度使用接口。例如用户只要求把已有两项数值相减,重新查询天气会浪费预算,还可能把原始数据换成另一个时间点。工具使用的好坏,既包括需要时能正确调用,也包括信息已经充分时及时完成。

工具使用是训练问题,也是系统问题

ReAct 主要展示如何通过交替组织任务分析与动作来使用外部环境;Toolformer 则研究模型怎样从构造的数据中学习何时调用接口、传什么参数以及怎样利用返回。两者都指向同一个实际需求:语言生成需要与外部操作建立正确关系,但其训练路径与实验设置不相同。Toolformer 原论文

即使模型经过工具训练,执行层仍需要处理超时、版本、限流和状态恢复。这些问题不会因为模型语言能力增强就自然消失。对只读查询,可以缓存和重试;对任务状态,应避免把一个失败请求误记为完成。接口升级时,还需要重新运行固定的契约样例,确认字段含义与模型预期一致。

一个成熟的工具系统,最终要能清楚区分三件事:准备做什么、外部世界实际返回了什么、据此已经完成了什么。行动摘要让人理解过程,结构化记录让程序检查过程,最终验收把过程连接到用户目标。ReAct 的价值在于给这种反馈协作提供了可研究的组织方式,可靠性则来自每一层都有清楚的证据与边界。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞19