Algorithmische Diskriminierung
Die Kurzantwort · 9 Wörter
Kurz erklärt
Systematische und unfaire Benachteiligung bestimmter Personengruppen durch automatisierte Entscheidungssysteme.
Flow-alerta.cab (2026): Algorithmische Diskriminierung. https://flow-alerta.cab/glossar/algorithmic-discrimination. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Relevant für Entscheidungen über Personen; Auswirkungen und rechtliche Anforderungen vor dem Einsatz prüfen.
Mögliches Beispiel: Ein fiktives Bewerbermodell bewertet gleich geeignete Bewerbungen je nach Geschlecht unterschiedlich. Das Team untersucht Daten, Merkmale und Auswahlkriterien.
Prüfung personensensibler KI-Anwendungen auf Benachteiligungen, etwa bei Bewerberauswahl oder Bonitätsentscheidungen. Statistische Tests ersetzen keine rechtliche Bewertung.
Auf einen Blick
- Kern
- Automatisierte Systeme können Personen oder Gruppen benachteiligen, etwa durch verzerrte Daten, ungeeignete Zielgrößen oder Merkmale, die andere Eigenschaften indirekt abbilden. Ob eine Benachteiligung rechtlich unzulässig ist, hängt vom Anwendungsfall und den geltenden Vorschriften ab.
- Nutzen
- Relevant für Entscheidungen über Personen; Auswirkungen und rechtliche Anforderungen vor dem Einsatz prüfen.
- Beispiel
- Mögliches Beispiel: Ein fiktives Bewerbermodell bewertet gleich geeignete Bewerbungen je nach Geschlecht unterschiedlich. Das Team untersucht Daten, Merkmale und Auswahlkriterien.
- Grenzen
- Glauben, Algorithmen seien neutral, nur weil sie mathematisch sind; sensible Attribute einfach löschen, ohne Proxy-Variablen (wie Wohnort) zu beachten.
Im Zusammenhang
Disparate Impact (mittelbare Benachteiligung)
Disparate Impact bezeichnet im US-Recht nachteilige Auswirkungen scheinbar neutraler Praktiken; es ist nicht mit einer einzelnen Fairnesskennzahl gleichzusetzen.
EU-KI-Verordnung (AI Act)
Der EU AI Act regelt KI-Systeme risikobasiert und verteilt Pflichten auf unterschiedliche Akteursrollen.
Erklärbare KI (XAI)
XAI umfasst Methoden, mit denen Menschen KI-Ergebnisse oder Modellverhalten nachvollziehen können.
Fragen, die dazu gestellt werden
Wie lässt sich das Risiko verringern?
Durch geeignete Daten, Prüfung von Ergebnissen und indirekten Merkmalen sowie nachvollziehbare Kontroll- und Beschwerdeverfahren; eine einzelne Technik garantiert keine Fairness.
Ist jede statistische Abweichung rechtswidrig?
Nein. Rechtsrahmen, Vergleichssituation und mögliche Rechtfertigungen müssen geprüft werden.
Alle Details und Hintergründe
Automatisierte Systeme können Personen oder Gruppen benachteiligen, etwa durch verzerrte Daten, ungeeignete Zielgrößen oder Merkmale, die andere Eigenschaften indirekt abbilden. Ob eine Benachteiligung rechtlich unzulässig ist, hängt vom Anwendungsfall und den geltenden Vorschriften ab.
ELI5 – Einfach erklärt
Wenn ein Computerprogramm Menschen unbemerkt ungerecht behandelt, weil es aus alten, fehlerhaften Gewohnheiten gelernt hat.
Warum das im Alltag wichtig ist
Relevant für Entscheidungen über Personen; Auswirkungen und rechtliche Anforderungen vor dem Einsatz prüfen.
Beispiel
Mögliches Beispiel: Ein fiktives Bewerbermodell bewertet gleich geeignete Bewerbungen je nach Geschlecht unterschiedlich. Das Team untersucht Daten, Merkmale und Auswahlkriterien.
Fallstricke und Grenzen
- Glauben, Algorithmen seien neutral, nur weil sie mathematisch sind; sensible Attribute einfach löschen, ohne Proxy-Variablen (wie Wohnort) zu beachten.
Entstehung & Geschichte
Diskriminierung durch Auswahlverfahren wurde bereits vor modernen KI-Systemen rechtlich behandelt. Heute untersuchen Forschung und Aufsichtsbehörden auch automatisierte Entscheidungen; eine einzelne gesicherte Entstehungszeit wird hier nicht behauptet.
Anwendung im Mittelstand
- Prüfung personensensibler KI-Anwendungen auf Benachteiligungen, etwa bei Bewerberauswahl oder Bonitätsentscheidungen. Statistische Tests ersetzen keine rechtliche Bewertung.
Verwandte Begriffe
- Fairness in AI
- Algorithmic Bias
- Disparate Impact
- EU AI Act
- Explainable AI
Passende Flow-alerta-Leistung
KI-Einführung & BegleitungKI-Potenzialanalyse & Fahrplan; KI-Einführung & Begleitung – Risiken und zusätzlichen Prüfbedarf erkennenPassendes Tool / Use Case
Praxisbeispiele ansehenUse Case: Ergebnisse eines Entscheidungssystems nach relevanten Gruppen vergleichen und fachlich prüfen.Quellen
- www.eeoc.govEEOC (2023), Annual Performance Report, Abschnitt zu Artificial Intelligence and Algorithmic Fairness
- www.gesetze-im-internet.deAGG, § 3 Begriffsbestimmungen
Quellen geprüft am 09.10.2026.
Redaktionell geprüft am: