大模型应用开发 · Agent
怎样评测一个 Agent？用模型做裁判有哪些偏差？
先自己想一想，再看参考要点
参考要点
- 主要检查结果（例如数据库中是否真有一条退款记录），轨迹只检查必须满足的约束，优先用代码检查，开放内容才用模型裁判
- 指标有任务成功率、工具调用正确率和效率，用 pass^k 衡量稳定性
- 裁判有位置偏差、长度偏差和自我偏好，缓解靠交换顺序评两次、给出参考、拆成逐项判断的问题、与人工标注核对一致率
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。