Sicherheitsklassifikator
Definition
Ein Sicherheitsklassifikator stuft Eingaben an ein Sprachmodell und dessen Antworten nach Sicherheitsrisiken als sicher oder unsicher ein.
Ein Sicherheitsklassifikator ist ein eigenes Modell, das Eingaben und Antworten eines Sprachmodells auf definierte Sicherheitsrisiken prüft. Es kann vor und nach dem eigentlichen Sprachmodell eingesetzt werden. Welche Inhalte es beanstandet, hängt von den festgelegten Risikokategorien und seinem Training ab.
Einfach erklärt
Wie eine Pforte mit Prüfliste, die Besucher und herausgehende Post kontrolliert, unabhängig davon, wer im Haus arbeitet.
Warum das im Alltag wichtig ist
Ein Sicherheitsklassifikator kann Ein- und Ausgaben zusätzlich prüfen. Seine Kategorien müssen zum Einsatz passen; erfolgreiche Sicherheitstests sind keine allgemeine Schutzgarantie.
Beispiel aus dem Mittelstand
Hypothetisches Beispiel: Ein Reiseanbieter lässt jede Chat-Eingabe und jede Antwort seines Assistenten vorab durch einen Sicherheitsklassifikator prüfen.
Grenzen und Fallstricke
- Unpassende Kategorien verursachen Fehlalarme oder übersehene Risiken. Nur Eingaben zu prüfen lässt Ausgaben unkontrolliert. Klassifikatoren können falsch urteilen, für Prompt Injection anfällig sein und in anderen Sprachen schlechter funktionieren.
Entstehung & Geschichte
Inan und Mitautor:innen (GenAI at Meta) stellten Llama Guard 2023 als Llama2-7b-Modell mit Sicherheitstaxonomie vor und machten die Modellgewichte verfügbar. Sharma und Mitautor:innen (Anthropic) beschrieben 2025 Constitutional Classifiers als Schutzmaßnahme gegen universelle Jailbreaks.
Anwendung im Mittelstand
- Mögliche Anwendungen: Ein- und Ausgaben in Kundenchats und internen Assistenten prüfen. Geeignete Ausgabeklassifikatoren können eine Generierung abbrechen, sobald sie schädliche Inhalte erkennen.
Häufige Fragen
Ersetzt ein Sicherheitsklassifikator die Modellausrichtung?
Nein, er ergänzt sie als zusätzliche Schutzschicht.
Erkennt er jede schädliche Eingabe?
Nein, Fehlurteile und Angriffe wie Prompt Injection bleiben möglich.
Lassen sich Kategorien anpassen?
Llama Guard unterstützt aufgabenspezifische Kategorien, auch über Prompts ohne oder mit wenigen Beispielen.
Quellen
- Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations · Inan et al. (2023): Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations
- Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming · Sharma et al. (2025): Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming
- Llama Guard 3 8B, Model Card · Meta (o. J.): Llama Guard 3 8B, Model Card
Quellen geprüft am 14.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: