Sicherheitsausrichtung von KI
Definition
Sicherheitsausrichtung bezeichnet Verfahren, mit denen große Sprachmodelle so optimiert werden, dass sie schädliche Anfragen ablehnen und seltener schädliche Inhalte erzeugen.
Sicherheitsausrichtung passt Sprachmodelle so an, dass sie schädliche Anfragen ablehnen. Dafür werden beispielsweise überwachtes Feintraining und Lernen aus bevorzugten Antworten eingesetzt. Die Wirkung kann begrenzt sein und durch Angriffe oder spätere Feinabstimmung beeinträchtigt werden.
Einfach erklärt
Wie eine Kindersicherung am Medikamentenschrank: Sie soll verhindern, dass Gefährliches herausgegeben wird. Laut Qi et al. (2024) sitzt sie bei den untersuchten Modellen aber vor allem am ersten Griff – wer den überwindet, kommt leicht weiter.
Warum das im Alltag wichtig ist
Eigenes Fine-Tuning kann die Sicherheitsausrichtung eines Modells schwächen, auch bei harmlos wirkenden Trainingsdaten. Schutzverhalten muss deshalb nach Anpassungen erneut geprüft werden.
Beispiel aus dem Mittelstand
Hypothetisches Beispiel: Ein Personaldienstleister feinjustiert ein Modell auf eigene Stellenanzeigen und prüft danach erneut, ob es unzulässige Anfragen noch ablehnt.
Grenzen und Fallstricke
- Fine-Tuning kann bestehende Schutzmechanismen schwächen. Anbieterprüfungen und Moderationsfilter erfassen nicht alle schädlichen Trainingsbeispiele; zusätzliche Tests müssen unterschiedliche Angriffswege und veränderte Modelleinstellungen berücksichtigen.
Entstehung & Geschichte
2022 nutzten Ouyang sowie Bai und ihre Mitautorinnen und Mitautoren menschliches Feedback für hilfreichere beziehungsweise harmlosere Modelle. Qi und andere zeigten 2023 Schwächungen durch Fine-Tuning und untersuchten 2024 „flache“ Sicherheitsausrichtung sowie Verfahren für größere Robustheit.
Anwendung im Mittelstand
- Mögliche Anwendungen: Nachtests nach Fine-Tuning, Auswahl von Modellen für Kundenkontakt, Freigabeprozesse für KI-Assistenten.
Häufige Fragen
Bleibt Sicherheitsausrichtung nach Fine-Tuning erhalten?
Nicht sicher: Gezielte und teilweise auch harmlose Trainingsdaten können sie schwächen.
Was bedeutet „flach“?
Die Ausrichtung beeinflusst vor allem die ersten Ausgabetokens; ein anderer Einstieg kann Schutzmechanismen umgehen.
Kann sie robuster werden?
Die untersuchten Verfahren verbesserten den Schutz gegen einige Angriffe.
Ist sie gleichbedeutend mit Alignment?
Nein, sie betont Schadensvermeidung; Alignment wird teils weiter als hilfreiches, ehrliches und harmloses Verhalten verstanden.
Quellen
- Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! · Qi et al. (2023): Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep · Qi et al. (2024): Safety Alignment Should Be Made More Than Just a Few Tokens Deep
- Training language models to follow instructions with human feedback · Ouyang et al. (2022): Training language models to follow instructions with human feedback
- Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback · Bai et al. (2022): Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
Quellen geprüft am 14.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: