Unbeabsichtigtes Memorieren
Definition
Unbeabsichtigtes Memorieren liegt vor, wenn ein Modell einzelne Trainingsinhalte statt nur allgemeiner Muster speichert.
Dadurch können seltene oder sensible Textfolgen unter bestimmten Bedingungen wieder ausgegeben werden. Das Risiko hängt unter anderem von Daten, Wiederholungen und Training ab.
Einfach erklärt
Wie das versehentliche Auswendiglernen eines vertraulichen Satzes beim Üben.
Warum das im Alltag wichtig ist
Vertrauliche Trainingsdaten können auch nach dem Training ein Offenlegungsrisiko darstellen.
Beispiel aus dem Mittelstand
Fiktives Beispiel: Ein Team prüft mit künstlichen Testmarkierungen, ob ein Modell Trainingsfolgen wortgetreu wiederholt.
Grenzen und Fallstricke
- Ein unauffälliger Einzeltest beweist nicht, dass nichts gespeichert wurde; Testgeheimnisse dürfen keine echten personenbezogenen Daten sein.
Entstehung & Geschichte
Die Forschung untersucht Memorierung unter anderem durch gezielte Extraktionsversuche an Sprachmodellen.
Anwendung im Mittelstand
- Trainingsdaten minimieren und Modelle auf unerwünschte Wiedergabe testen.
Häufige Fragen
Ist jedes gelernte Muster bereits Memorierung?
Nein, gemeint ist hier insbesondere das Speichern konkreter Inhalte.
Quellen
- The Secret Sharer · Carlini et al.: The Secret Sharer –
Redaktionell geprüft am: