怎样防御提示词注入?
先自己想一想,再看参考要点
参考要点
- 提示词注入指通过输入的内容改变模型原本的指令,指令也可能藏在网页、文档或工具结果中(间接注入)
- 指令和资料最终拼成同一个 Token 序列,模型无法可靠区分,提示词只能降低风险,重点是限制后果
- 外部内容标注为不可信,工具按最小权限提供、在代码中按当前用户校验,高风险操作人工确认
- 读过不可信内容的任务不给对外发送的工具,前端不自动加载输出中的外部图片,防止数据外泄
- 输出转义、查询参数化,提示词中不放密钥,记录审计日志
参考要点
学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。