Datenvergiftung
Die Kurzantwort · 13 Wörter
Kurz erklärt
Data Poisoning manipuliert Trainings- oder Fine-Tuning-Daten absichtlich, um das spätere Modellverhalten zu beeinflussen.
Flow-alerta.cab (2026): Datenvergiftung. https://flow-alerta.cab/glossar/data-poisoning. Redaktionell geprüft am: 10. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Vergiftete Daten können Entscheidungen, Sicherheit und Vertrauen beeinträchtigen. Besonders riskant sind offene Datenquellen, externe Beiträge und automatisierte Feedback- oder Fine-Tuning-Schleifen.
Manipulierte Produktbilder mit gezielt falschen Labels gelangen in einen Trainingsdatensatz und verschlechtern die Erkennung einer bestimmten Kategorie.
Unternehmen inventarisieren Datenquellen, beschränken Schreibrechte, versionieren Datensätze und prüfen auffällige Änderungen. Kritische Modelle benötigen unabhängige Tests und Rückfallmöglichkeiten.
Auf einen Blick
- Kern
- Data Poisoning ist ein Integritätsangriff auf ML-Systeme. Angreifende verändern, ergänzen oder gewichten Daten beziehungsweise Labels so, dass die allgemeine Leistung sinkt, bestimmte Fälle falsch behandelt werden oder eine Backdoor entsteht. Der Angriff findet vor oder während des Lernens statt.
- Nutzen
- Vergiftete Daten können Entscheidungen, Sicherheit und Vertrauen beeinträchtigen. Besonders riskant sind offene Datenquellen, externe Beiträge und automatisierte Feedback- oder Fine-Tuning-Schleifen.
- Beispiel
- Manipulierte Produktbilder mit gezielt falschen Labels gelangen in einen Trainingsdatensatz und verschlechtern die Erkennung einer bestimmten Kategorie.
- Grenzen
- Nicht mit versehentlich schlechter Datenqualität oder Evasion zur Inferenzzeit verwechseln. Herkunftsnachweise, Zugriffsschutz und Plausibilitätsprüfungen senken Risiken, garantieren aber keine Erkennung.
Fragen, die dazu gestellt werden
Kann Poisoning zufällig sein?
Der Begriff bezeichnet üblicherweise absichtliche Manipulation.
Ist jedes falsche Label ein Angriff?
Nein.
Kann man Poisoning sicher erkennen?
Nein; Kontrollen reduzieren nur das Risiko.
Alle Details und Hintergründe
Data Poisoning ist ein Integritätsangriff auf ML-Systeme. Angreifende verändern, ergänzen oder gewichten Daten beziehungsweise Labels so, dass die allgemeine Leistung sinkt, bestimmte Fälle falsch behandelt werden oder eine Backdoor entsteht. Der Angriff findet vor oder während des Lernens statt.
ELI5 – Einfach erklärt
Jemand mischt absichtlich falsche Lernkarten unter die richtigen, damit das Modell später bestimmte Fragen falsch beantwortet.
Warum das im Alltag wichtig ist
Vergiftete Daten können Entscheidungen, Sicherheit und Vertrauen beeinträchtigen. Besonders riskant sind offene Datenquellen, externe Beiträge und automatisierte Feedback- oder Fine-Tuning-Schleifen.
Beispiel
Manipulierte Produktbilder mit gezielt falschen Labels gelangen in einen Trainingsdatensatz und verschlechtern die Erkennung einer bestimmten Kategorie.
Fallstricke und Grenzen
- Nicht mit versehentlich schlechter Datenqualität oder Evasion zur Inferenzzeit verwechseln. Herkunftsnachweise, Zugriffsschutz und Plausibilitätsprüfungen senken Risiken, garantieren aber keine Erkennung.
Entstehung & Geschichte
Poisoning-Angriffe sind ein Teilgebiet des Adversarial Machine Learning. NIST ordnet sie als Angriffe ein, die das Lernstadium und die Integrität von Modellen betreffen.
Anwendung im Mittelstand
- Unternehmen inventarisieren Datenquellen, beschränken Schreibrechte, versionieren Datensätze und prüfen auffällige Änderungen. Kritische Modelle benötigen unabhängige Tests und Rückfallmöglichkeiten.
Verwandte Begriffe
- Adversarial Machine Learning
- Backdoor
- Datenherkunft
- Robustheit
- MLOps-Sicherheit
Passende Flow-alerta-Leistung
SchulungenKI-Sicherheits- und Governance-Review: Datenlieferkette, Berechtigungen, Versionierung und Prüfkontrollen für Trainingsdaten gestalten.Passendes Tool / Use Case
Praxisbeispiele ansehenDatenversionierung plus Anomalieprüfung; Use Case: neue Fine-Tuning-Daten vor Freigabe auf Herkunft, Labelmuster und Ausreißer prüfen.Quellen
- csrc.nist.govNIST AI 100-2e2025, „Adversarial Machine Learning“ (Abruf 05.10.2026)
Quellenprüfung: 10.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: