Prompt Injection
プロンプトインジェクション
プロンプトインジェクションは有害または予期しないテキストです。AIにアプリの信頼されたルールを無視させ、他の指示に従わせようとします。
もう一つの例
セキュリティテスターは、秘密情報をエクスポートする命令を隠したウェブページを開きます。エージェントはそれを信頼できないテキストとして扱い、ツールの呼び出しをブロックする必要があります。指示の制御を奪わない限り、文法の悪いプロンプトは注入とは見なされません。
主な部分
- 01命令境界
- 02信頼されていないペイロード
- 03特権アクション
以下の場合に使用します
直接または隠れたテキストがAIシステムの指示を引き継ぐことができるかどうかを確認する場合、この用語を使用します。
以下の場合は使用しないでください
指示の乗っ取りが起きていない場合、すべての誤答や規則違反のチャットプロンプトをプロンプトインジェクションと呼ぶな。
コードで使用する名前
untrusted content ≠ trusted instruction 出荷前に
Work only within an explicitly authorized and isolated defense test. Check the trust boundary, inert regression case, mitigation, and handling of secrets and personal data. Check redacted detection signals, safe failure, incident owner, recovery, and rollback. Never test a real target.
Outcome:Complete the task with プロンプトインジェクション (Prompt Injection)。 User context:セキュリティテスターは、秘密情報をエクスポートする命令を隠したウェブページを開きます。エージェントはそれを信頼できないテキストとして扱い、ツールの呼び出しをブロックする必要があります。指示の制御を奪わない限り、文法の悪いプロンプトは注入とは見なされません。 Risk or control to address:プロンプトインジェクション (Prompt Injection)。 Why it applies:直接または隠れたテキストがAIシステムの指示を引き継ぐことができるかどうかを確認する場合、この用語を使用します。 Classification boundary:指示の乗っ取りが起きていない場合、すべての誤答や規則違反のチャットプロンプトをプロンプトインジェクションと呼ぶな。 Safety requirements: Test only in an isolated space with explicit permission. Use inert, harmless inputs. Protect secrets and personal data. Name the trust boundary and record the mitigation. Operational safeguards: Set up detection and logs that hide sensitive data. Name the incident owner. Define a safe failure mode and rollback before release. Acceptance criteria: A defensive regression test fails before the mitigation and passes after it. No real target, secret, or personal data is used. Monitoring and rollback are verified. Evidence and limits (evidence boundary):その情報源にとって公式です。他のプラットフォームやチームはその用語を別の方法で使用する場合があります。 Unknowns to confirm: Authorized scope, affected assets, data class, threat actor, incident owner, and rollback limits.
このリクエストを確認する
Review how プロンプトインジェクション (Prompt Injection) is used now. Definition: プロンプトインジェクションは有害または予期しないテキストです。AIにアプリの信頼されたルールを無視させ、他の指示に従わせようとします。 Release checks: Work only within an explicitly authorized and isolated defense test. Check the trust boundary, inert regression case, mitigation, and handling of secrets and personal data. Check redacted detection signals, safe failure, incident owner, recovery, and rollback. Never test a real target. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.