怎样降低一次 Agent 任务的 Token 消耗?
先自己想一想,再看参考要点
参考要点
- 前缀缓存降低的是单价:不变的系统提示词和工具定义放最前、工具顺序固定、历史原样追加
- 减少 Token 的数量:工具先返回摘要或片段,需要时再读全文
- 设置 max_tokens,输出单价是未命中缓存输入的 4 倍
- 简单问题交给小模型
- 历史过长时压缩,但压缩会改变前缀,不宜过于频繁
- 避免模型反复调用同一个工具
参考要点
学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。