CS-Notes 学习笔记
大模型应用开发 · 工程实践

设计一个智能客服 Agent,要考虑哪些方面?

先自己想一想,再看参考要点

参考要点

  • 先确认需求和约束:功能、规模(例如大促约 17 次咨询/秒、同时约 100 个咨询在进行)、体验(推送进展而不是让用户干等)和安全(只能查自己的订单,资金操作要用户确认)
  • 架构上,接入层从登录会话中取出 user_id 给工具鉴权,意图路由把退款这类步骤固定的请求交给工作流、咨询交给 Agent,Agent 是带查询订单、物流、知识库和创建工单工具的 ReAct 循环,知识库用混合检索加重排,短期记忆放在 Redis
  • 订单、地址以业务系统为准每次实时查询,不写进长期记忆
  • 在线客服对延迟敏感,单 Agent 加路由就够,退款单独成流程以隔离权限
  • 上线前用真实会话建评测集,权限逐步放开、小流量灰度,监控完成率、转人工率、步数和 Token,主模型出错切到备用模型,再退回规则和人工
在学习站中自测这道题

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。