Harry-Potter-Demonstrator: Was RAG bei der Dokumentenanalyse leisten muss

Wenn Ihr Team Verträge, Arbeitsanweisungen oder andere Unterlagen mit KI auswertet, braucht es mehr als eine plausibel klingende Antwort. Entscheidend ist, ob die benötigten Informationen im Ergebnis enthalten sind und sich im Dokument wiederfinden lassen. Der Harry-Potter-Demonstrator macht diese Frage anschaulich.

Was der Harry-Potter-Demonstrator beschreibt

In dem diskutierten Beispiel wurden die erfundenen Zaubersprüche Fumbus und Driplo in Harry-Potter-Texte eingefügt. Ein Sprachmodell sollte solche Begriffe erkennen, lieferte laut der Beschreibung aber bekannte Zaubersprüche und übersah die eingefügten Wörter.

Diese Schilderung ist ein Anlass, die Dokumentenauswertung zu prüfen. Sie dokumentiert hier keinen eigenen Benchmark: Ohne die verwendeten Dateien, Modellversionen, Suchschritte und vollständigen Ausgaben lässt sich nicht feststellen, an welcher Stelle der Ablauf versagt hat. Insbesondere bleibt offen, ob eine Suche die relevanten Passagen überhaupt an das Modell übergeben hat.

Der Fall allein belegt deshalb weder ein grundsätzliches Scheitern von RAG noch die Zuverlässigkeit einer bestimmten Alternative.

Eine Antwort suchen oder alle Fundstellen erfassen?

RAG steht für Retrieval-Augmented Generation. Dabei sucht ein System zunächst passende Informationen in einem Dokumentenbestand und gibt sie einem Sprachmodell als Grundlage für die Antwort. Dieses Prinzip beschreiben Lewis und weitere Autoren in ihrer Arbeit zu RAG.

Für eine Frage wie „Welche Regel gilt für Reisekosten?“ können ausgewählte passende Textstellen hilfreich sein. Die Aufgabe „Finde alle Fristen in diesen Verträgen“ verlangt dagegen, den relevanten Bestand auf vollständige Erfassung zu prüfen. Eine Suche nach einigen wahrscheinlichen Treffern weist diese Abdeckung noch nicht nach.

Auch viel Text im Eingabefenster löst das Problem nicht automatisch. Die Studie „Lost in the Middle“ untersuchte, wie die Position relevanter Informationen die Leistung der getesteten Modelle beeinflusst. In diesen Versuchen wurden Informationen in der Mitte langer Eingaben teilweise schlechter genutzt. Das ist ein konkreter Forschungsbefund, keine Aussage über jedes heutige Modell und jede Aufgabe.

Für Ihren Betrieb folgt daraus eine Prüfaufgabe: Passt das Verfahren zu einer gezielten Wissensfrage, oder müssen sämtliche einschlägigen Stellen erfasst werden?

So prüfen Sie Ihren Dokumentenablauf

Wenn Vollständigkeit wichtig ist, sollte Ihr Team vor dem Einsatz festlegen, welche Unterlagen und Informationen zum Prüfauftrag gehören. Daraus ergibt sich, was die technische Verarbeitung abdecken muss.

• Dokumentbestand festlegen: Halten Sie fest, welche Dateien und Fassungen einbezogen wurden. Prüfen Sie, ob Text, Tabellen und Anlagen lesbar übernommen wurden.
• Abschnitte nachvollziehbar verarbeiten: Ordnen Sie Ergebnisse den bearbeiteten Abschnitten zu. Sichtbar bleiben sollte auch, welche Teile nicht verarbeitet werden konnten.
• Fundstellen mitführen: Zu einer extrahierten Frist oder Aussage gehören Dokument, Textstelle und der relevante Wortlaut. So kann Ihr Team das Ergebnis im Zusammenhang prüfen.
• Gegen bekannte Fälle testen: Vergleichen Sie die Ausgabe mit fachlich geprüften Beispielen. Erfassen Sie übersehene Stellen und falsche Treffer getrennt.

RAG kann Teil dieses Ablaufs sein. Dabei muss geprüft werden, wie Segmentierung, Suche und strukturierte Extraktion zusammenspielen. Auch ein vollständig durchlaufener Bestand garantiert noch keine fehlerfreie Auswertung.

Was bei der fachlichen Prüfung bleibt

Bei einer Vertragsauswertung kann die KI etwa Verpflichtungen, Fristen und Abweichungen von einer freigegebenen Vorlage zusammenstellen, während die zuständige Fachperson beurteilt, ob eine Klausel im konkreten Fall akzeptabel ist. Ebenso müssen unlesbare Anlagen, widersprüchliche Angaben oder fehlende Quellen sichtbar werden, damit sie nicht als erledigt gelten.

Bevor vertrauliche Unterlagen in den Ablauf gelangen, sind zulässige Verarbeitung und Zugriffsrechte zu klären. Für den späteren Einsatz zählt, wie gut Ihr Team die Ergebnisse prüfen und mit Fehlerfällen umgehen kann.

Ein verwandtes Einsatzgebiet ist die KI-gestützte Recherche in Recht und Steuern. Dort steht der Zugang zu Fachinformationen im Mittelpunkt. Für die eigene Planung sollten Sie Wissenssuche und vollständige Dokumentenprüfung als unterschiedliche Aufgaben behandeln.

Einen passenden Einstieg auswählen

Möchten Sie Wissen aus Ihren Unterlagen nutzbar machen oder wiederkehrende Dokumentenarbeit vorbereiten? Im KI-Workshop für Unternehmen klären Sie mit Kai Kramer, welcher Einstieg zu Ihren Aufgaben passt. Sie erhalten priorisierte erste Schritte und eine Empfehlung für einen Praxistest. Ein anschließender PoC ist ein eigener Auftrag; Umfang und Preis werden separat vereinbart.

Erstgespräch buchen