工具调用失败时怎样容错?
先自己想一想,再看参考要点
参考要点
- 执行前先按 Schema 校验参数,再做业务校验
- 超时、限流、5xx 由代码按指数退避重试 2~3 次,不交给模型(实测把超时回传给 7B 模型,10 次都没有重新调用),接口持续失败时熔断
- 参数错误把错在哪、正确格式是什么回传给模型修正
- 仍失败就如实回传,由模型换办法或告知用户、转人工,不能编造结果
- 同时限制步数和预算、检测有没有进展(比较工具名、参数和结果,而不只数调用次数),有副作用的操作要幂等,只对涉及资金、无法撤销或对外可见的操作人工确认(确认太频繁,人会不看内容就点同意)