DIGITARQ: KI-Suche in Portugals Archiven

Avatar
Autor
Kunde
DGLAB, portugiesische Generaldirektion für Bücher, Archive und Bibliotheken
Branche
Öffentliche Verwaltung · Kulturerbe
Umfang
KI-Modelle, Datenmigration, Front- und Backoffice, umgesetzt von Caixa Mágica
KI
Eigennamenerkennung und Entitätsdisambiguierung, trainiert im nationalen Supercomputing-Netz
Datenmodell
Graphdatenbank auf Basis des internationalen Standards CIDOC-CRM
Reichweite
20 Archive in einer einzigen Suche, darunter das Nationalarchiv Torre do Tombo und die Distriktarchive
Größenordnung
8M+ Beschreibungsdatensätze · 63M+ digitalisierte Bilder · 100+ km physische Dokumentation
Integration
CRAV, der Online-Dienst für Einsicht, Reproduktion und Bescheinigungen
Status
Im Produktivbetrieb unter digitarq.arquivos.pt

Caixa Mágica Software hat DIGITARQ neu gebaut, die Plattform, über die Portugal sein dokumentarisches Gedächtnis der Welt öffnet, im Auftrag der DGLAB, der Generaldirektion für Bücher, Archive und Bibliotheken. Die neue Generation der Plattform verbindet ein modernes, vollständig webbasiertes Front- und Backoffice mit KI-Modellen, die im Supercomputing-Netz des portugiesischen Staates trainiert wurden. Diese Modelle lesen Archivbeschreibungen, erkennen die darin genannten Personen, Institutionen und Orte und verweben Millionen Datensätze zu einem Wissensgraphen auf Basis von CIDOC-CRM, dem internationalen Standard für Kulturerbe-Informationen.

Das Ergebnis ist ein Archiv, das sich so erkunden lässt, wie Historiker, Genealogen, Journalisten und Bürger tatsächlich denken: nach Person, nach Ort und nach Beziehung, nicht nur nach Katalognummer. Dahinter stehen mehr als zwei Jahrzehnte Erfahrung von Caixa Mágica mit Plattformen für den öffentlichen Sektor, offenen Standards und angewandtem maschinellen Lernen.

Heute im Produktivbetrieb: 20 Archive in einer Suche · 8M+ Dokumente · 10M+ Akteure (Personen und Körperschaften) · 16M+ Ereignisse · 180.000+ Orte · 63M+ digitalisierte Bilder. Aktuelle Produktionszahlen aus dem CIDOC-CRM-Wissensgraphen.

Herausforderung

Portugals Archive gehören zu den reichsten Europas. Über die DGLAB und das Nationalarchiv Torre do Tombo sowie die Distriktarchive bewahrt das Land mehr als 100 Kilometer Dokumentation. Das sind über acht Millionen Beschreibungsdatensätze und mehr als dreiundsechzig Millionen digitalisierte Bilder, die viele Jahrhunderte zurückreichen. DIGITARQ ist die Tür zu diesem Gedächtnis. Wenn Forschende, Studierende und Bürger einen Taufeintrag, eine Notariatsurkunde, ein Dokument aus der Kolonialzeit oder einen Familiennamen suchen, beginnt die Recherche bei DIGITARQ.

Die vorherige Generation der Plattform war über viele Jahre um eine Reihe regionaler, relationaler Datenbanken gewachsen. Jedes Archiv beschrieb seine Bestände im eigenen Silo. Auch das Frontoffice war regional: Wer landesweit suchen wollte, musste für jedes Archiv eine eigene Website aufrufen und dieselbe Abfrage überall wiederholen. Die Suche selbst verglich Zeichenketten. Man gab einen Namen ein und erhielt die Datensätze, in denen genau diese Zeichenfolge vorkam, ohne Verständnis dafür, dass "Torre do Tombo", "ANTT" und "Arquivo Nacional" dieselbe Institution bezeichnen können, oder dass eine in einem Testament genannte Person dieselbe sein kann, die in einem Kirchenbuch eines anderen Archivs getauft wurde.

Das Kernproblem

01

Der archivische Wert liegt in den Verbindungen zwischen Personen, Orten, Institutionen und Ereignissen. Die Daten lagen jedoch als isolierte Datensätze vor und wurden als reiner Text durchsucht. Die Aufgabe bestand darin, diese Verbindungen für eine Maschine lesbar und damit für Menschen auffindbar zu machen, über Millionen Dokumente und Dutzende Archive hinweg.

Die DGLAB wollte diese fragmentierte Landschaft durch eine einzige Plattform ersetzen, vollständig webbasiert, interoperabler, einfacher zu nutzen und messbar schneller. Dieser Anspruch war mit drei harten Bedingungen verbunden. Zuerst die Größenordnung: Jedes neue System musste Millionen Datensätze und Dutzende Millionen Bilder bedienen, ohne die Suche zu verlangsamen. Dann die Kontinuität, denn Jahrzehnte sorgfältiger Verzeichnungsarbeit durften bei der Migration nicht verloren gehen oder verfälscht werden. Schließlich die Langlebigkeit. Als öffentliche Kulturinstitution brauchte die DGLAB eine Plattform auf offenen, internationalen Standards, die sie über Jahrzehnte pflegen und weiterentwickeln kann, ohne an einen einzelnen Anbieter gebunden zu sein.

Darüber lag die anspruchsvollste Anforderung: künstliche Intelligenz verantwortungsvoll und souverän einzusetzen. Die in den Archiven verborgenen Entitäten, die einzelnen Akteure, die Körperschaften, die Orte, mussten automatisch erschlossen werden, denn kein Team von Archivaren könnte Millionen Datensätze von Hand auszeichnen. Und die dafür eingesetzte KI musste auf nationaler Infrastruktur laufen, damit sensible Kulturerbedaten unter Kontrolle des portugiesischen Staates bleiben.

Lösung

Caixa Mágica lieferte ein neues DIGITARQ als vollständig webbasierte Plattform auf offenen Technologien, strukturiert um drei Säulen. Eine KI-Ebene liest und versteht die Archivbeschreibungen. Ein Wissensgraph verknüpft alles, was sie findet. Ein modernes Front- und Backoffice bringt diese Arbeit zu Bürgern und Archivaren. Das System startete 2025 als neue Generation der nationalen Plattform.

Suchoberfläche der DIGITARQ-Plattform mit Archivdatensätzen aus Portugals National- und Distriktarchiven

A single sign-in connects DIGITARQ to CRAV, either with a platform account or through Autenticação.Gov.

Zentrale Bausteine der neuen DIGITARQ-Plattform:

Eine KI-Ebene, trainiert im nationalen Supercomputing

Grundlage der neuen Nutzung ist eine Reihe von Sprachmodellen, die Eigennamen in portugiesischen Archivmetadaten erkennen. Aus einem Beschreibungsdatensatz identifizieren und kennzeichnen die Modelle die relevanten Entitäten: Namen von Einzelpersonen, von kollektiven und institutionellen Akteuren sowie von Orten. Historisches Portugiesisch ist unregelmäßig, stark abgekürzt und über die Jahrhunderte inkonsistent geschrieben, generische Werkzeuge genügen daher nicht. Die Modelle wurden speziell für diese Domäne angepasst und evaluiert, wobei moderne Transformer-Architekturen verglichen wurden, um die für Archivsprache beste auszuwählen.

Einen Namen zu erkennen ist nur die halbe Aufgabe. Dieselbe Zeichenfolge kann viele verschiedene Personen bezeichnen, und dieselbe Person kann auf ein Dutzend Weisen geschrieben sein. Die Disambiguierung löst jede Nennung zu einer einzigen, eindeutigen Entität auf, sodass jeder Verweis auf eine Person, eine Körperschaft oder einen Ort mit genau einem kanonischen Knoten verbunden ist. Erst das erlaubt DIGITARQ, eine Frage über eine Person zu beantworten, statt nur die Dokumente zu listen, in denen eine Zeichenfolge zufällig auftaucht.

Diese Modelle zu trainieren und dann auf Millionen Datensätze anzuwenden, ist rechenintensiv. Caixa Mágica führte das Modelltraining im nationalen Netz für Hochleistungsrechnen des portugiesischen Staates durch. Neben der damit möglichen Leistung blieb die Verarbeitung des nationalen Kulturerbes auf souveräner, öffentlicher Infrastruktur, eine bewusste Entscheidung im Einklang mit europäischen Grundsätzen zu Datenresidenz und digitaler Souveränität. Erkennung und Disambiguierung liefen als Stapelverarbeitung über den gesamten migrierten Datenbestand. Die Entitäten wurden einmalig extrahiert und aufgelöst und befüllen nun die Plattform. Die Modelle werden beim Navigieren nicht in Echtzeit aufgerufen.

Ein CIDOC-CRM-Wissensgraph

Parallel migrierte Caixa Mágica die alten regionalen und relationalen Datenbanken in eine Graphdatenbank nach CIDOC-CRM, dem ISO-normierten konzeptuellen Referenzmodell zur Dokumentation von Kulturerbe. Wo das alte Modell Zeilen in Tabellen speicherte, speichert das neue Entitäten und ihre Beziehungen: diese Person schuf jenes Dokument, jenes Dokument betrifft diesen Ort, diese Institution hielt jenen Datensatz zu einer bestimmten Zeit. Die von der KI-Ebene erschlossenen Entitäten fließen in den Graphen und machen aus getrennten Katalogen ein verbundenes Netz portugiesischer Geschichte.

Auf dem Graphen liefert eine moderne Index- und Suchmaschine schnelle, relevante Ergebnisse über den gesamten Bestand. Nutzer können bei einem Namen, einem Ort oder einem Dokument beginnen und entlang echter Beziehungen nach außen wandern, wobei sie verwandte Akteure, zugehörige Orte und verbundene Datensätze entdecken, die eine Stichwortsuche nie zutage gebracht hätte. Die Größenordnung ist beachtlich: Die Plattform indexiert Millionen Beschreibungsinhalte und Dutzende Millionen Bilder und bleibt dabei reaktionsschnell.

Ein modernes Front- und Backoffice

Das öffentliche Frontoffice ist der Ort, an dem Forschende, Genealogen, Studierende und interessierte Bürger dem Archiv begegnen. Die alten regionalen Frontoffices schickten Nutzer von Website zu Website, mit derselben Suche in jedem Archiv. Eine einzige Suche erfasst nun alle zwanzig beteiligten Archive gleichzeitig. Sie bietet klare, schnelle und vollständig webbasierte Suche und Navigation im gesamten nationalen Bestand, reiche Entitätsseiten und direkte Wege von einem gefundenen Datensatz zu den Diensten, die daraus eine Handlung machen. Die Oberfläche wurde für ein breites, nicht spezialisiertes Publikum entworfen, ohne die Tiefe zu opfern, die Fachforschende erwarten.

Im Hintergrund gibt ein eigenes Backoffice den Archivaren der DGLAB die Werkzeuge, Bestände zu beschreiben, zu kuratieren und zu verwalten und die Qualität von Katalog und Wissensgraph über die Zeit zu sichern. Der Archivar behält die Kontrolle über Verzeichnung und Kuratierung und arbeitet auf denselben verbundenen Daten, die die Stapelverarbeitung erzeugt hat.

Entdeckung entfaltet ihren Wert erst, wenn sie zur Handlung führt. DIGITARQ ist mit CRAV (Consulta Real em Ambiente Virtual) integriert, dem Online-Schalter der Archive für Anträge auf Einsicht, Reproduktion und Bescheinigungen. Bürger gelangen direkt vom Fund eines Dokuments in DIGITARQ zur Anforderung über CRAV, sodass Suche und Dienstleistung einen durchgehenden digitalen Vorgang bilden.

Wirkung

Das neue DIGITARQ verändert, was es bedeutet, ein Nationalarchiv zu konsultieren. Was einst eine Textsuche über isolierte Kataloge war, ist heute ein Weg durch eine verbundene Karte von Personen, Institutionen und Orten, zugänglich von überall, jederzeit, für alle mit einer Frage an Portugals Vergangenheit.

Für Forschende liegt der praktische Gewinn in der Reichweite. Arbeit, die früher Besuche in mehreren Archiven und Handabgleiche von Katalogen erforderte, kann heute online beginnen und oft dort enden. Für die DGLAB ist der Gewinn strukturell: eine einzige nationale Plattform auf offenen Standards, die die Institution pflegen und erweitern kann, ohne von einem einzigen Anbieter abhängig zu sein.

Visualisierung des CIDOC-CRM-Wissensgraphen von DIGITARQ mit Verknüpfungen zwischen Personen, Institutionen, Orten und Dokumenten der portugiesischen Archive

Over 100 km of documentation is now one search away, with no queues and no travel.

Einige bemerkenswerte Ergebnisse des neuen DIGITARQ:

Indem die Plattform Entitäten erkennt, disambiguiert und in einem Wissensgraphen verknüpft, finden Nutzer Datensätze, die ihnen früher entgangen wären. Die Suche ist nicht mehr auf die exakten Wörter beschränkt, die ein Verzeichner zufällig gewählt hat.

Die Plattform bringt mehr als acht Millionen Beschreibungsinhalte und über dreiundsechzig Millionen Bilder in eine einzige, reaktionsschnelle und vollständig webbasierte Nutzung und eröffnet strukturierten Zugang zu einem Dokumentenerbe, das in hunderten Kilometern Regalmeter gemessen wird.

Erkennung und Disambiguierung wurden auf den gesamten migrierten Datenbestand angewandt und haben Millionen Datensätze mit strukturierten Personen, Institutionen und Orten angereichert, in einem Umfang, den manuelle Verzeichnung nie erreichen könnte. Der CIDOC-CRM-Wissensgraph umfasst heute mehr als 10,8 Millionen Akteure, über 16 Millionen Ereignisse, 189.000 Orte und 8 Millionen Dokumente, alle miteinander verbunden.

Gebaut auf offenen Technologien und dem internationalen Standard CIDOC-CRM und trainiert auf nationaler Supercomputing-Infrastruktur, gibt die Plattform der DGLAB eine dauerhafte, interoperable Grundlage unter öffentlicher Kontrolle, die sie langfristig pflegen und weiterentwickeln kann.

Die Integration mit CRAV verbindet das Finden eines Dokuments mit dessen Anforderung, senkt die Hürden für Bürger und entlastet Lesesaal- und Reproduktionsdienste.

Caixa Mágica Software hat gemeinsam mit der DGLAB eine fragmentierte Sammlung regionaler Kataloge durch eine nationale Plattform ersetzt, die ihre eigenen Bestände liest. Das Projekt erfüllte die Anforderungen an Größenordnung, Kontinuität und Langlebigkeit, die die DGLAB gesetzt hatte, und zwar auf offenen Standards und öffentlicher Infrastruktur, sodass die Verarbeitung portugiesischen Kulturerbes im Land bleibt. Zwanzig Archive, acht Millionen Datensätze und dreiundsechzig Millionen Bilder antworten heute auf eine einzige Abfrage. Der Archivar behält die Kontrolle über Verzeichnung und Kuratierung, während die KI das Volumen bewältigt, das kein Team von Hand abdecken könnte.

Blick in die Zukunft

Ein Archiv ist nie fertig, und die Plattform, die es öffnet, ebenso wenig. DIGITARQ läuft im Produktivbetrieb und wächst weiter, mit tausenden neuen Bildern und einem steten Zufluss neuer Datensätze. Der Wissensgraph wird sich erweitern, je mehr Bestände beschrieben und je mehr Entitäten erkannt und verknüpft werden. Die KI-Modelle lassen sich neu trainieren und verfeinern, sobald die Sammlungen und die Sprache, die sie beschreibt, besser verstanden sind.

Semantische Suche, die Verknüpfung von Entitäten mit externen Normdaten und eine engere Integration von Entdeckung und Diensten deuten auf eine Zukunft, in der Portugals dokumentarisches Gedächtnis immer leichter zu erkunden ist. Auf offenen Standards und einer modularen Architektur gebaut, ist die Plattform darauf ausgelegt, mit den Bedürfnissen ihrer Nutzer und dem Tempo des technologischen Wandels zu wachsen, eine Entwicklung, die die DGLAB mit den von ihr gewählten Partnern steuern kann.

Häufig gestellte Fragen

Was ist DIGITARQ?

DIGITARQ ist die Online-Plattform der DGLAB, der portugiesischen Generaldirektion für Bücher, Archive und Bibliotheken. Sie erlaubt die Suche und Einsicht in die Kataloge und digitalisierten Bestände der National- und Distriktarchive, mit Millionen Beschreibungsdatensätzen und Dutzenden Millionen Bildern. Eine einzige Suche erfasst nun alle 20 Archive und ersetzt die früheren regionalen Frontoffices, für die Nutzer jede Archiv-Website einzeln aufrufen mussten.

Wie viele Archive kann ich gleichzeitig durchsuchen?

DIGITARQ erfasst 20 Archive in einer einzigen Abfrage, darunter das Nationalarchiv Torre do Tombo, die Distriktarchive und weitere Nationalarchive. Früher musste jedes Archiv auf seiner eigenen Website durchsucht werden.

Wie nutzt DIGITARQ künstliche Intelligenz?

Caixa Mágica hat KI-Modelle für Eigennamenerkennung (NER) und Entitätsdisambiguierung (NED) im Supercomputing-Netz des portugiesischen Staates trainiert. Die Modelle erkennen Personen, Organisationen und Orte in Archivbeschreibungen und verknüpfen jede Nennung mit einer einzigen, eindeutigen Entität, was eine reichere Suche und Entdeckung ermöglicht.

Wofür dient der CIDOC-CRM-Wissensgraph?

Regionale und relationale Datenbanken wurden in eine Graphdatenbank nach CIDOC-CRM migriert, dem internationalen Standard für Kulturerbe-Informationen. Aus isolierten Datensätzen wurde ein verbundenes Netz aus Personen, Institutionen, Orten und Dokumenten, das über Beziehungen und nicht nur über Stichwörter erkundet werden kann. Der Graph umfasst Dutzende Millionen verbundene Knoten: über 10,8 Millionen Akteure, 16 Millionen Ereignisse, 189.000 Orte und 8 Millionen Dokumente.


Mehr über DIGITARQ

Wie verhält sich DIGITARQ zu CRAV?

DIGITARQ ist die Entdeckungsebene, auf der Nutzer Datensätze finden und erkunden. CRAV (Consulta Real em Ambiente Virtual) ist der Online-Schalter für Anträge auf Einsicht, Reproduktion und Bescheinigungen. Beide Plattformen sind integriert, sodass Bürger vom Finden eines Dokuments direkt zur Anforderung übergehen, ohne die digitalen Dienste der Archive zu verlassen.

Wie groß ist der Bestand hinter DIGITARQ?

Die Plattform bietet Zugang zu mehr als 8 Millionen Beschreibungsinhalten und über 63 Millionen zugehörigen Bildern, was mehr als 100 Kilometern physischer Dokumentation im portugiesischen Archivnetz entspricht.

Wer hat DIGITARQ entwickelt und für wen?

Die Plattform wurde von Caixa Mágica Software für die DGLAB entwickelt, die portugiesische Generaldirektion für Bücher, Archive und Bibliotheken, die das Nationalarchiv Torre do Tombo und die Distriktarchive koordiniert.

Basiert die Plattform auf offenen Standards?

Ja. DIGITARQ ist ein vollständig webbasiertes System auf offenen Technologien sowie internationalen Archiv- und Kulturerbe-Standards, darunter CIDOC-CRM. Diese Wahl fördert Interoperabilität, langfristige Nachhaltigkeit und Unabhängigkeit von einzelnen Anbietern.