Prompt Injection
Prompt-Injektion
Prompt-Injektion ist schädlicher oder unerwarteter Text. Sie versucht, eine KI dazu zu bringen, die vertrauenswürdigen Regeln der App zu ignorieren und anderen Anweisungen zu folgen.
Ein weiteres Beispiel
Ein Sicherheitstester öffnet eine Webseite, die eine Anordnung zum Exportieren von Geheimnissen verbirgt. Der Agent muss sie als nicht vertrauenswürdigen Text behandeln und den Werkzeugaufruf blockieren. Eine schlecht geschriebene Eingabeaufforderung ist keine Injektion, es sei denn, sie übernimmt die Befehlskontrolle.
Hauptteile
- 01Befehlsgrenze
- 02nicht vertrauenswürdige Nutzlast
- 03privilegierte Aktion
Verwenden Sie es, wenn
Verwenden Sie diesen Begriff, wenn überprüft wird, ob direkter oder versteckter Text die Anweisungen eines KI-Systems übernehmen kann.
Nutze es nicht, wenn
Nenne nicht jede falsche Antwort oder regelbrechende Chat-Prompt-Injektion so, wenn keine Anweisungsübernahme stattgefunden hat.
In Code verwendeter Name
untrusted content ≠ trusted instruction Vor dem Ausliefern
Work only within an explicitly authorized and isolated defense test. Check the trust boundary, inert regression case, mitigation, and handling of secrets and personal data. Check redacted detection signals, safe failure, incident owner, recovery, and rollback. Never test a real target.
Outcome: Complete the task with Prompt-Injektion (Prompt Injection). User context: Ein Sicherheitstester öffnet eine Webseite, die eine Anordnung zum Exportieren von Geheimnissen verbirgt. Der Agent muss sie als nicht vertrauenswürdigen Text behandeln und den Werkzeugaufruf blockieren. Eine schlecht geschriebene Eingabeaufforderung ist keine Injektion, es sei denn, sie übernimmt die Befehlskontrolle. Risk or control to address: Prompt-Injektion (Prompt Injection). Why it applies: Verwenden Sie diesen Begriff, wenn überprüft wird, ob direkter oder versteckter Text die Anweisungen eines KI-Systems übernehmen kann. Classification boundary: Nenne nicht jede falsche Antwort oder regelbrechende Chat-Prompt-Injektion so, wenn keine Anweisungsübernahme stattgefunden hat. Safety requirements: Test only in an isolated space with explicit permission. Use inert, harmless inputs. Protect secrets and personal data. Name the trust boundary and record the mitigation. Operational safeguards: Set up detection and logs that hide sensitive data. Name the incident owner. Define a safe failure mode and rollback before release. Acceptance criteria: A defensive regression test fails before the mitigation and passes after it. No real target, secret, or personal data is used. Monitoring and rollback are verified. Evidence and limits (evidence boundary): Es ist offiziell für diese Quelle. Andere Plattformen oder Teams können den Begriff auf andere Weise verwenden. Unknowns to confirm: Authorized scope, affected assets, data class, threat actor, incident owner, and rollback limits.
Diese Anfrage prüfen
Review how Prompt-Injektion (Prompt Injection) is used now. Definition: Prompt-Injektion ist schädlicher oder unerwarteter Text. Sie versucht, eine KI dazu zu bringen, die vertrauenswürdigen Regeln der App zu ignorieren und anderen Anweisungen zu folgen. Release checks: Work only within an explicitly authorized and isolated defense test. Check the trust boundary, inert regression case, mitigation, and handling of secrets and personal data. Check redacted detection signals, safe failure, incident owner, recovery, and rollback. Never test a real target. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.