CS-Notes 学习笔记
大模型应用开发 · 工程实践

怎样降低一次 Agent 任务的 Token 消耗?

先自己想一想,再看参考要点

参考要点

  • 前缀缓存降低的是单价:不变的系统提示词和工具定义放最前、工具顺序固定、历史原样追加
  • 减少 Token 的数量:工具先返回摘要或片段,需要时再读全文
  • 设置 max_tokens,输出单价是未命中缓存输入的 4 倍
  • 简单问题交给小模型
  • 历史过长时压缩,但压缩会改变前缀,不宜过于频繁
  • 避免模型反复调用同一个工具
在学习站中自测这道题看这道题所在的一天

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。