CS-Notes 学习笔记
大模型应用开发 · 提示词与上下文

对话历史太长时怎样压缩?什么时候压缩?

先自己想一想,再看参考要点

参考要点

  • 方法有截断(只留最近几轮,丢失早期内容)、摘要(多一次调用,可能漏掉或改写细节)、清理旧的工具结果(风险最小)和外置到文件,工具调用和结果要成对删除
  • 常组合成“系统提示词 + 摘要 + 最近几轮原文 + 当前问题”
  • 时机按 Token 数而不是轮数,约 70% 时在后台生成摘要,到上限时必须先压缩
在学习站中自测这道题看这道题所在的一天

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。