Prompt Injection
提示注入
提示注入是有害或未预料到的文字，企图让 AI 忽略应用可信的规则，改去听从别的指令。
另一个例子
安全测试人员打开一个藏有“导出机密”指令的网页。代理必须把它当作不可信文字并拦截工具调用；提示写得不好，不代表发生提示注入，重点是指令控制是否被抢走。
主要部分
- 01指令边界
- 02不可信载荷
- 03高权限操作
什么时候用
检查直接或藏在外部内容里的文字，是否会抢走 AI 系统的指令控制时，可以使用这个词。
什么时候不要用
如果没有指令控制被接管，不要把每个错误答案或突破限制的对话都叫作提示注入。
代码里的名称
untrusted content ≠ trusted instruction 上线前要检查
只能在明确授权且隔离的防御测试中操作。检查信任边界、无害回归案例和缓解方法。也要检查机密与个人数据处理，以及隐藏敏感数据的检测信号。再检查安全失败、事件负责人、恢复与回到上一版。不得测试真实目标。
预期结果：评估并缓解 提示注入 (Prompt Injection) 的风险。不得实现、启用或在真实环境使用这种攻击。 用户场景：安全测试人员打开一个藏有“导出机密”指令的网页。代理必须把它当作不可信文字并拦截工具调用；提示写得不好，不代表发生提示注入，重点是指令控制是否被抢走。 要处理的风险或控制措施：提示注入 (Prompt Injection)。 适用理由：检查直接或藏在外部内容里的文字，是否会抢走 AI 系统的指令控制时，可以使用这个词。 分类边界：如果没有指令控制被接管，不要把每个错误答案或突破限制的对话都叫作提示注入。 安全要求：只能在已明确授权、与外界隔离的测试环境中操作。使用无害且不会执行的输入。保护机密与个人数据，说明哪些数据或系统可以互相信任（信任边界），并记录缓解方法。 运营防护：上线前设置检测与隐藏敏感数据的日志。指定事件负责人，并定义失败时保持安全及恢复上一版的方法。 验收标准：防御用回归测试在缓解前失败，缓解后通过。不使用真实目标、机密或个人数据。监控与恢复上一版的方法都已验证。 证据与限制（证据边界）：它只代表该来源的官方说法。其他平台或团队可能有不同用法。 待确认：授权范围、受影响资产、数据等级、可能的攻击者、事件负责人，以及恢复上一版的限制。
检查这份需求
请 AI 编程助手检查当前如何使用 提示注入 (Prompt Injection)。 定义：提示注入是有害或未预料到的文字，企图让 AI 忽略应用可信的规则，改去听从别的指令。 生产环境检查：只能在明确授权且隔离的防御测试中操作。检查信任边界、无害回归案例和缓解方法。也要检查机密与个人数据处理，以及隐藏敏感数据的检测信号。再检查安全失败、事件负责人、恢复与回到上一版。不得测试真实目标。 修改程序前，先列出看到的证据、缺口、严重程度，以及最小且安全的修正。