设计一个智能客服 Agent,要考虑哪些方面?
先自己想一想,再看参考要点
参考要点
- 先确认需求和约束:功能、规模(例如大促约 17 次咨询/秒、同时约 100 个咨询在进行)、体验(推送进展而不是让用户干等)和安全(只能查自己的订单,资金操作要用户确认)
- 架构上,接入层从登录会话中取出 user_id 给工具鉴权,意图路由把退款这类步骤固定的请求交给工作流、咨询交给 Agent,Agent 是带查询订单、物流、知识库和创建工单工具的 ReAct 循环,知识库用混合检索加重排,短期记忆放在 Redis
- 订单、地址以业务系统为准每次实时查询,不写进长期记忆
- 在线客服对延迟敏感,单 Agent 加路由就够,退款单独成流程以隔离权限
- 上线前用真实会话建评测集,权限逐步放开、小流量灰度,监控完成率、转人工率、步数和 Token,主模型出错切到备用模型,再退回规则和人工