CS-Notes 学习笔记
大模型应用开发 · Agent

工具调用失败时怎样容错?

先自己想一想,再看参考要点

参考要点

  • 执行前先按 Schema 校验参数,再做业务校验
  • 超时、限流、5xx 由代码按指数退避重试 2~3 次,不交给模型(实测把超时回传给 7B 模型,10 次都没有重新调用),接口持续失败时熔断
  • 参数错误把错在哪、正确格式是什么回传给模型修正
  • 仍失败就如实回传,由模型换办法或告知用户、转人工,不能编造结果
  • 同时限制步数和预算、检测有没有进展(比较工具名、参数和结果,而不只数调用次数),有副作用的操作要幂等,只对涉及资金、无法撤销或对外可见的操作人工确认(确认太频繁,人会不看内容就点同意)
在学习站中自测这道题看这道题所在的一天

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。