Weil die Extraktion der leichte Teil ist. Was eine Demonstration von einem Produktivsystem trennt, ist die Disambiguierung, also zu wissen, dass drei verschiedene Schreibweisen dieselbe Entität sind und zwei identische Schreibweisen es nicht sind. Und zu wissen, wann das Modell die Antwort verweigern sollte, statt zu riskieren.
Und weil die meisten Projekte ohne das einzige Artefakt beginnen, das alles Übrige messbar macht: einen Satz von Fällen mit bekannter richtiger Antwort, festgelegt vor der Wahl irgendeines Modells.
Wir sprechen mit konkreten Zahlen. Wir haben DIGITARQ für die Generaldirektion für Bücher, Archive und Bibliotheken neu gebaut. Eine Suche umfasst nun 20 Archive, über mehr als 8 Millionen beschreibende Datensätze und mehr als 63 Millionen digitalisierte Bilder, entsprechend über 100 Kilometern physischer Dokumentation. Wir haben Modelle zur Erkennung und Disambiguierung von Entitäten für portugiesische Archivmetadaten trainiert, auf dem nationalen Netz für Hochleistungsrechnen des portugiesischen Staates. Die vollständige Projektbeschreibung findet sich in unseren Fallstudien.
Extraktion, Klassifikation und Entitätenerkennung: Was ist der Unterschied?
Es sind unterschiedliche Aufgaben mit unterschiedlichen Schwierigkeiten, und sie werden häufig verkauft, als wären sie eine. Ihre Verwechslung ist der Grund, warum ein Budget zu knapp bemessen wird.
Warum ist die Disambiguierung schwieriger als die Extraktion?
Weil sie eine Entscheidung erfordert, die das Modell nicht allein treffen kann: was als dieselbe Entität gilt.
Bei DIGITARQ behandelte das Vorgängersystem "Torre do Tombo", "ANTT" und "Arquivo Nacional" als drei verschiedene Textfolgen. Eine Person, die in einem Kirchenbuch eines Archivs getauft und in einem Testament eines anderen Archivs genannt wurde, waren zwei unverbundene Datensätze. Der Wert eines Archivs liegt in den Verbindungen, und die Daten lagen als isolierte Datensätze vor und wurden als einfacher Text durchsucht.
Die betriebliche Fassung desselben Problems sieht so aus. Dasselbe Unternehmen erscheint als Lieferant mit vier Firmennamen, drei historischen Steuernummern und zwei Abkürzungen. Derselbe Mitarbeiter erscheint mit und ohne zweiten Vornamen, mit und ohne Akzente. Dieselbe Vertragsreferenz erscheint in unterschiedlichen Nummerierungsformaten, je nachdem, wer sie geschrieben hat. Keiner dieser Fälle löst sich durch ein besseres Modell. Sie lösen sich durch eine fachliche Entscheidung darüber, was Identität ausmacht, schriftlich festgehalten vor dem Beginn.
Was braucht man, bevor ein Document-AI-Projekt beginnt?
In der Stapelverarbeitung, in den meisten Fällen, und das ist die Architekturentscheidung mit der größten Kostenwirkung. Bei DIGITARQ liefen Erkennung und Disambiguierung als Stapelverarbeitung über den gesamten migrierten Datenbestand. Entitäten wurden einmal über alle Daten extrahiert und aufgelöst und speisen die Plattform. Die Modelle werden nicht in Echtzeit aufgerufen, während Nutzer navigieren.
Warum scheitert die Extraktion bei portugiesischen Dokumenten?
Weil die sprachliche Variation größer ist als die, für die sie kalibriert wurden, und unsere Erfahrung stammt aus der extremen Fassung dieses Problems. Historisches Portugiesisch ist unregelmäßig, stark abgekürzt und über Jahrhunderte hinweg uneinheitlich geschrieben. Generische Standardwerkzeuge genügen für dieses Material nicht, weshalb wir die Modelle speziell für diese Domäne angepasst und bewertet haben, im Vergleich moderner Transformer-Architekturen, um die mit der besten Leistung bei Archivsprache auszuwählen.
Das ist das Extrem, doch dieselbe Logik gilt lange davor. Ein generisches Modell erkennt gängige portugiesische Namen und scheitert an den weniger gängigen, und genau dort schmerzen die Fehler. Fachvokabular, ob juristisch, technisch oder branchenspezifisch, ist nicht repräsentiert, denn das Modell sieht Wörter und nicht Begriffe Ihres Geschäfts. Und alte Dokumente in einem modernen Unternehmen folgen anderen Konventionen, denn ein Vertragsarchiv über zwanzig Jahre enthält mehrere Schreibregime.
Die praktische Folgerung ist nicht, stets ein eigenes Modell zu trainieren, was teuer und oft unnötig ist. Sie lautet, jeden Kandidaten auf dem eigenen Material zu bewerten, bevor man wählt.
Was sollte nach dem Projekt bei Ihnen bleiben?
Vier Dinge, und keines erfordert Technologie. Sie bestimmen, ob das Projekt messbar ist.
Das Erste fehlt am häufigsten und ist am teuersten, wenn es fehlt. Einen Referenzdatensatz aufzubauen ist Annotationsarbeit einer Person, die das Material kennt, und sie verwandelt den ganzen Rest des Projekts in eine Messung statt in eine Diskussion.
Wann fällt dies unter den AI Act?
Es hängt davon ab, was mit dem Ergebnis geschieht, nicht von der eingesetzten Technologie, und die Unterscheidung ist nützlich, weil sie unnötigen Compliance-Umfang vermeidet. Felder aus einer Rechnung zu extrahieren und Dokumente für die Ablage zu klassifizieren ist für sich kein Hochrisikofall. Das Ergebnis zu nutzen, um über Menschen zu entscheiden, kann es sein. Die Kategorien des Anhangs III der Verordnung (EU) 2024/1689 umfassen Bereiche wie Beschäftigung, Kreditwürdigkeitsprüfung und Zugang zu öffentlichen Diensten, und diese Pflichten wurden durch die Verordnung (EU) 2026/1744, in Kraft seit dem 27. Juli 2026, auf den 2. Dezember 2027 verschoben.
Die Transparenzpflichten des Artikels 50 zur Kennzeichnung erzeugter Inhalte gelten für diejenigen, die Inhalte erzeugen. Ein System, das extrahiert und klassifiziert, erzeugt typischerweise nicht, doch wenn dasselbe Produkt auch Zusammenfassungen oder Text erstellt, ist dieser Teil erfasst. Praktisch: Klassifizieren Sie die Nutzung, nicht die Technologie, und führen Sie diese Analyse am Anfang durch. Unsere Zusammenfassung von was sich im August 2026 am AI Act geändert hat zeigt, welche Pflichten sich verschoben haben und welche nicht.
Was sollte bei Ihnen bleiben?
Fünf Dinge, und das erste geht am häufigsten verloren. Der Referenzdatensatz und die Bewertungsergebnisse, der Vermögenswert, der einen Wechsel von Anbieter oder Modell ohne Neubeginn erlaubt. Das Datenmodell, einschließlich der Entitätsdefinitionen und der Disambiguierungsregeln, in lesbarem Format. Die extrahierten Daten, in einem Schema, das nicht von der Plattform des Extrahierenden abhängt. Das Protokoll darüber, was wann und mit welcher Modellversion verarbeitet wurde, ohne das man nicht weiß, was neu verarbeitet werden muss. Und die Dokumentation der Entscheidungen, einschließlich der Grenzfälle.
Eine Anmerkung zu offenen Standards. Bei DIGITARQ wurde der Graph nach CIDOC-CRMmodelliert, dem Standard ISO 21127 für die Interoperabilität von Informationen zum Kulturerbe, mit einer 2023 veröffentlichten überarbeiteten Ausgabe, und zwar genau damit die Institution die Plattform langfristig ohne Abhängigkeit von einem einzigen Anbieter tragen und weiterentwickeln kann. Die Wahl eines Standarddatenmodells ist die Entscheidung, die am stärksten bestimmt, ob das Projektergebnis in zehn Jahren noch Ihnen gehört.
Häufige Fragen
Extraktion, NER und NED
Was ist der Unterschied zwischen NER und NED?
Warum scheitern Projekte zur Dokumentenextraktion in der Produktion?
Stapelarchitektur und Sprache
Sollte Dokumentenverarbeitung im Stapel oder in Echtzeit laufen?
Funktionieren generische Modelle bei portugiesischen Dokumenten?
Voraussetzungen und Regulierung
Was braucht man, bevor man ein Document-AI-Projekt beauftragt?
Fällt KI-Dokumentenextraktion in den Anwendungsbereich des AI Act?
