Prompt Injection
Definition
Prompt Injection ist ein Angriff, bei dem eingeschleuste Eingaben ein Sprachmodell dazu bringen, ursprüngliche Anweisungen und Schutzvorgaben zu übergehen.
Bei einer Prompt Injection verändern Eingaben das Verhalten oder die Ausgabe eines Sprachmodells auf unbeabsichtigte Weise. Das kann direkt über die Eingabe der Nutzenden geschehen oder indirekt über externe Quellen wie Webseiten oder Dateien. Mögliche Folgen sind verletzte Richtlinien, schädliche Inhalte, unbefugter Zugriff oder beeinflusste Entscheidungen; Art und Schwere hängen vom Einsatzkontext und vom Handlungsspielraum des Modells ab.
Einfach erklärt
Eine versteckte Anweisung in einem Dokument versucht, die KI von ihrem eigentlichen Auftrag abzulenken.
Warum das im Alltag wichtig ist
Wer KI-Assistenten mit Webseiten oder Dateien arbeiten lässt, muss damit rechnen, dass fremde Inhalte Anweisungen für das Modell enthalten.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Eine gefundene Webseite fordert den Agenten zu einem fremden Tool-Aufruf auf; die Anwendung ignoriert das.
Grenzen und Fallstricke
- Fremde Inhalte dürfen nicht als vertrauenswürdige Anweisungen gelten. RAG und Fine-Tuning beseitigen Prompt Injection nicht vollständig; Modellrechte sollten begrenzt und riskante Aktionen menschlich freigegeben werden.
Entstehung & Geschichte
Greshake und Mitautoren beschrieben 2023 indirekte Prompt-Injection-Angriffe über abgerufene Inhalte in LLM-Anwendungen. Diese Arbeit ist ein dokumentierter Forschungsbeleg, keine Aussage über die erste Verwendung des Begriffs. Im OWASP-Projekt steht Prompt Injection in der Ausgabe 2025 als LLM01 in der LLM-Top-10.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Betrieb gibt einem Recherche-Agenten nur lesenden Zugriff und verlangt für Aktionen mit Außenwirkung, etwa den Versand einer E-Mail, eine menschliche Freigabe.
Häufige Fragen
Ist Prompt Injection dasselbe wie Jailbreaking?
OWASP beschreibt Jailbreaking als eine Form davon, die Sicherheitsregeln außer Kraft setzen soll.
Betrifft das nur Chats?
Nein, versteckte Anweisungen können auch über Webseiten oder Dateien eintreffen.
Lässt sich der Angriff sicher verhindern?
Eine vollständige Verhinderung ist nicht gesichert; Gegenmaßnahmen sollen vor allem Auswirkungen begrenzen.
Quellen
- Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection · Greshake et al. (2023): Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection
- LLM01:2025 Prompt Injection · OWASP Gen AI Security Project (2025): LLM01:2025 Prompt Injection
Quellen geprüft am 14.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: