Wie KI Antworten aus Firmenwissen mit Quellen belegen kann

Die RAG-Forschung kombiniert im Modell gespeichertes Wissen mit einer externen abrufbaren Wissensquelle. Für deinen Betrieb heißt das: Zuerst passende freigegebene Informationen finden, dann eine Antwort daraus formulieren.

Wenn die Suche ein veraltetes oder unpassendes Dokument liefert, kann auch eine gut formulierte Antwort falsch sein. Ebenso kann eine zutreffende Quelle ungenau wiedergegeben werden. Das System muss beide Schritte nachvollziehbar machen.

Nicht jeder erreichbare Ordner gehört in die Wissensbasis. Lege fest, welche Inhalte freigegeben sind, wer sie fachlich verantwortet und welche Nutzergruppen sie lesen dürfen. Entwürfe und abgelöste Fassungen brauchen einen eindeutigen Status.

Die Übernahme in den Suchindex muss Änderungen, neue Versionen, Löschungen und Rechteänderungen erfassen. Sonst bleiben „Zombie-Dokumente“ verfügbar, obwohl sie im Quellsystem gelöscht oder gesperrt wurden. Synchronisationsfehler brauchen einen sichtbaren Status und einen definierten Umgang.

• Originalsystem und stabile Dokument-ID erhalten.
• Version oder Hash, Änderungsdatum und Gültigkeitsstatus erfassen.
• Letzte erfolgreiche Synchronisation sowie Fehler- und Löschstatus dokumentieren.
• Auch Berechtigungen und deren Änderungen mit dem Inhalt abgleichen.
• Links zurück zur verbindlichen Originalquelle anbieten.

PDFs, Tabellen und mehrspaltige Dokumente sind keine einheitlichen Textblöcke. Prüfe anhand echter Beispiele, ob Tabellenwerte noch zu ihren Spalten passen, Überschriften erhalten bleiben und wiederholte Kopfzeilen nicht als Sachinhalt erscheinen.

Kleinere Suchabschnitte, sogenannte Chunks, sollten verständliche Einheiten bilden: einen Prozessschritt, eine Frage mit Antwort oder eine Tabellenzeile mit Spaltenbezeichnungen. Eine starre Zeichenzahl allein reicht als Strategie nicht. Sehr kleine Abschnitte verlieren Zusammenhang; sehr große können unnötige Informationen enthalten.

Bewahre Titel, Abschnitt oder Seite, Version, Sprache, Produktbezug und Rechte beim Abschnitt. Ohne diese Metadaten lässt sich ein Treffer schwer prüfen und ein geändertes Dokument schlecht aktualisieren.

Ein Prompt wie „Verrate keine Geheimnisse“ ersetzt keine Zugriffskontrolle. Die Anwendung muss die Identität zuverlässig feststellen und beim Abruf auf berechtigte Dokumente begrenzen. Rechte müssen auch für einzelne Suchabschnitte und abgeleitete Inhalte wirksam bleiben.

Die Sicherheitskette lautet: Authentifizierung → Autorisierung → gefilterter Abruf → Antwort. Microsoft dokumentiert beispielsweise Berechtigungsfilter zur Anfragezeit. Solche Mechanismen funktionieren nur mit korrekt synchronisierten Rechten und verlässlichem Nutzerkontext; ihre Existenz macht eine Anwendung nicht automatisch sicher.

Prüfe auch Caches, Protokolle und Quellenlinks. Wenn sich Berechtigungen ändern, dürfen zuvor erzeugte oder zwischengespeicherte Antworten keinen Zugriffsschutz umgehen. Eine nicht erreichbare Quelle ist kein Anlass, Rechte zu lockern.

Semantische Suche ist hilfreich bei unterschiedlichen Formulierungen. Für Artikelnummern, Versionskennungen oder Eigennamen kann eine Stichwortsuche wichtig sein. Ob eine Kombination aus beiden besser funktioniert, sollte mit eigenen Fragen geprüft werden. Metadaten- und Rechtefilter bleiben dabei eigenständige Regeln.

Fiktives Beispiel: Bei „Welche Dichtung braucht Pumpe XZ-410?“ muss die exakte Produktkennung berücksichtigt werden. Eine nur ähnlich klingende Pumpe liefert keinen ausreichenden Beleg. Ein Reranker kann Kandidaten genauer zur Frage bewerten, ersetzt aber weder Gültigkeitsprüfung noch Berechtigungen.

Das Kontextpaket sollte relevante, möglichst widerspruchsfreie Abschnitte mit eindeutigen Quellenkennungen enthalten. Eine Untersuchung von 2023 zeigt bei den untersuchten Modellen und Aufgaben, dass die Position relevanter Informationen in langen Kontexten die Leistung beeinflussen kann. Daraus folgt keine feste universelle Chunkgröße oder Grenze für alle heutigen Modelle.

Eine Quellenliste allein genügt nicht: Die lesende Person sollte erkennen, welche Passage eine wesentliche Aussage stützt. Zeige Titel, Abschnitt oder Seite, Version beziehungsweise Datum und einen Link zum Original, soweit der Zugriff erlaubt ist.

Eine reale Quelle kann trotzdem eine Aussage nicht belegen. Prüfe deshalb Quellentreue: Ist der Satz aus den bereitgestellten Informationen ableitbar? NIST beschreibt, dass generative Systeme falsche Inhalte und irreführende Begründungen oder Zitate erzeugen können.

Das System muss fehlende Treffer, widersprüchliche Belege, fehlende Berechtigung und technische Fehler unterscheiden. Inhalte aus Dokumenten sind Belegmaterial, keine vertrauenswürdigen Anweisungen an das System. Bei unzureichenden Quellen ist eine klare Unsicherheitsmeldung hilfreicher als eine erfundene Ergänzung.

Prüfe zuerst, ob die richtigen Dokumente gefunden werden. Prüfe danach, ob die Abschnitte ausreichend, gültig und verständlich sind. Erst dann bewerte die Antwort auf Relevanz, Quellentreue und den angemessenen Umgang mit Unsicherheit.

Ragas untersucht mehrere Evaluationsdimensionen solcher Systeme. Automatische Bewertungen können beim Vergleichen helfen; sie ersetzen bei wichtigen Ergebnissen keine fachliche Abnahme. Ein gut bewerteter Demonstrationsfall ist kein Nachweis für sämtliche Nutzungen.

• Bekannte Fragen mit erwarteten Belegstellen
• Fragen ohne passende freigegebene Antwort
• Widersprüchliche und veraltete Quellen
• Geschützte Inhalte für nicht berechtigte Rollen
• Geänderte oder gelöschte Dokumente
• Produktnummern, mehrdeutige Begriffe und fehlerhafte Dokumentextraktion

Erfasse Antwortzeiten, Fehlersituationen, Rückmeldungen und die verwendeten Versionen von Index, Modell und Regeln. Entscheide vorab, welche Änderungen einen erneuten Test erfordern. Protokolle müssen dabei datensparsam und zugriffsgeschützt sein.

Eine überschaubare Architektur besteht aus freigegebenen Originalquellen, kontrollierter Übernahme, einem Suchindex mit Metadaten und Rechten, geprüfter Trefferwahl, Antwortregeln und laufender Evaluation. Der Maßstab ist, ob eine Person die Antwort nachvollziehen kann – nicht, wie viele Dokumente ungeprüft importiert wurden.