CS-Notes 学习笔记
大模型应用开发 · 工程实践

怎样防御提示词注入?

先自己想一想,再看参考要点

参考要点

  • 提示词注入指通过输入的内容改变模型原本的指令,指令也可能藏在网页、文档或工具结果中(间接注入)
  • 指令和资料最终拼成同一个 Token 序列,模型无法可靠区分,提示词只能降低风险,重点是限制后果
  • 外部内容标注为不可信,工具按最小权限提供、在代码中按当前用户校验,高风险操作人工确认
  • 读过不可信内容的任务不给对外发送的工具,前端不自动加载输出中的外部图片,防止数据外泄
  • 输出转义、查询参数化,提示词中不放密钥,记录审计日志
在学习站中自测这道题看这道题所在的一天

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。