Erkennung schädlicher Sprache
Definition
Die Erkennung schädlicher Sprache hilft, problematische Beiträge zur Prüfung zu finden.
Die Klassifikation von Text auf definierte Formen schädlicher Sprache, etwa Beleidigung, Bedrohung oder gruppenbezogene Herabsetzung.
Einfach erklärt
Ein System sucht nach Beleidigungen oder Drohungen in Texten. Es gibt Hinweise für die Prüfung, statt den ganzen Zusammenhang sicher zu verstehen.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Community-Portal priorisiert wahrscheinlich bedrohliche Beiträge für menschliche Moderation.
Grenzen und Fallstricke
- Taxonomien sind kontextabhängig; Dialekte, Zitate und Minderheitensprache können überproportional falsch markiert werden.
Entstehung & Geschichte
Große kommentierte Kommentar-Korpora ermöglichten ab 2016 systematische Forschung zu automatisierter Missbrauchserkennung.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Community-Portal priorisiert wahrscheinlich bedrohliche Beiträge für menschliche Moderation.
Häufige Fragen
Was bedeutet Erkennung schädlicher Sprache?
Die Klassifikation von Text auf definierte Formen schädlicher Sprache, etwa Beleidigung, Bedrohung oder gruppenbezogene Herabsetzung. Worauf sollte man achten? Taxonomien sind kontextabhängig; Dialekte, Zitate und Minderheitensprache können überproportional falsch markiert werden.
Quellen
- Ex Machina: Personal Attacks Seen at Scale · Wulczyn et al., Ex Machina: Personal Attacks Seen at Scale
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: