- Cliente
- DGLAB, Direção-Geral do Livro, dos Arquivos e das Bibliotecas
- Setor
- Administração pública · Património cultural
- Âmbito
- Modelos de IA, migração de dados, front office e back office, entregues pela Caixa Mágica
- IA
- Reconhecimento e desambiguação de entidades mencionadas, treinados na rede nacional de supercomputação
- Modelo de dados
- Base de dados em grafo construída sobre a norma internacional CIDOC-CRM
- Alcance
- 20 arquivos pesquisáveis numa única consulta, incluindo o Arquivo Nacional da Torre do Tombo e os arquivos distritais
- Escala
- 8M+ registos descritivos · 63M+ imagens digitalizadas · 100+ km de documentação física
- Integração
- CRAV, o serviço online de consulta, reprodução e certidões
- Estado
- Em produção em digitarq.arquivos.pt
A Caixa Mágica Software reconstruiu o DIGITARQ, a plataforma através da qual Portugal abre ao mundo a sua memória documental, para a DGLAB, a Direção-Geral do Livro, dos Arquivos e das Bibliotecas. A nova geração da plataforma junta um front e back office modernos, totalmente web, a modelos de inteligência artificial treinados na rede de supercomputação do Estado português. Esses modelos leem descrições arquivísticas, reconhecem as pessoas, instituições e lugares nelas nomeados e tecem milhões de registos num grafo de conhecimento construído sobre o CIDOC-CRM, a norma internacional para informação de património cultural.
O resultado é um arquivo que pode ser explorado como historiadores, genealogistas, jornalistas e cidadãos efetivamente pensam: por pessoa, por lugar e por relação, e não apenas por referência de catálogo. Assenta em mais de duas décadas de experiência da Caixa Mágica em plataformas para o setor público, normas abertas e aprendizagem automática aplicada.
Em produção hoje: 20 arquivos numa única pesquisa · 8M+ documentos · 10M+ atores (pessoas e organismos coletivos) · 16M+ eventos · 180 mil+ lugares · 63M+ imagens digitalizadas. Valores atuais de produção do grafo de conhecimento CIDOC-CRM.
Desafio
Os arquivos portugueses estão entre os mais ricos da Europa. Através da DGLAB e do Arquivo Nacional da Torre do Tombo, a par dos arquivos distritais, o país guarda mais de 100 quilómetros de documentação. São mais de oito milhões de registos descritivos e mais de sessenta e três milhões de imagens digitalizadas que recuam vários séculos. O DIGITARQ é a porta para essa memória. Quando investigadores, estudantes e cidadãos querem encontrar um registo de batismo, uma escritura notarial, um documento do período colonial ou um nome de família, é no DIGITARQ que a pesquisa começa.
A geração anterior da plataforma tinha crescido ao longo de muitos anos em torno de um conjunto de bases de dados regionais e relacionais. Cada arquivo descrevia o seu acervo no seu próprio silo. O front office também era regional: para pesquisar em todo o país, o utilizador tinha de visitar um site diferente por cada arquivo e repetir a mesma consulta em todos eles. A própria pesquisa fazia correspondência de cadeias de texto. Escrevia-se um nome e recebiam-se os registos onde essa cadeia exata aparecia, sem qualquer compreensão de que "Torre do Tombo", "ANTT" e "Arquivo Nacional" podem designar a mesma instituição, ou de que uma pessoa nomeada num testamento pode ser a mesma pessoa batizada num registo paroquial guardado noutro arquivo.
O Problema Central
O valor arquivístico está nas ligações entre pessoas, lugares, instituições e eventos. Ainda assim, os dados estavam guardados como registos isolados e pesquisados como texto simples. O desafio era tornar essas ligações legíveis para uma máquina, e por isso descobríveis por um humano, ao longo de milhões de documentos e de dezenas de arquivos.
A DGLAB propôs-se substituir este cenário fragmentado por uma plataforma única, totalmente web, mais interoperável, mais fácil de usar e mensuravelmente mais rápida. Essa ambição trazia três restrições difíceis. A escala vinha primeiro: qualquer sistema novo tinha de servir milhões de registos e dezenas de milhões de imagens sem degradar a experiência de pesquisa. A continuidade vinha em segundo, porque décadas de descrição cuidadosamente catalogada não podiam perder-se nem distorcer-se na migração. A longevidade vinha em terceiro. Sendo uma instituição cultural pública, a DGLAB precisava de uma plataforma assente em normas abertas e internacionais, que pudesse sustentar e fazer evoluir durante décadas, sem ficar presa a um único fornecedor.
Sobreposto a tudo isto estava o requisito mais exigente: usar inteligência artificial de forma responsável e soberana. As entidades escondidas dentro dos arquivos, os atores individuais, os organismos coletivos, os lugares, tinham de ser reveladas automaticamente, porque nenhuma equipa de arquivistas conseguiria etiquetar milhões de registos à mão. E a IA que fizesse esse trabalho tinha de correr em infraestrutura nacional, mantendo dados sensíveis de património cultural sob controlo do Estado português.
Solução
A Caixa Mágica entregou um novo DIGITARQ construído como plataforma totalmente web sobre tecnologias abertas, estruturada em torno de três pilares. Uma camada de IA lê e interpreta as descrições arquivísticas. Um grafo de conhecimento liga tudo o que ela encontra. Um front e back office modernos colocam esse trabalho nas mãos de cidadãos e arquivistas. O sistema foi lançado como a nova geração da plataforma nacional em 2025.
A single sign-in connects DIGITARQ to CRAV, either with a platform account or through Autenticação.Gov.
Principais componentes da nova plataforma DIGITARQ:
Uma camada de IA treinada em supercomputação nacional
A base da nova experiência é um conjunto de modelos de linguagem treinados para reconhecer entidades mencionadas em metadados arquivísticos portugueses. Dado um registo descritivo, os modelos identificam e etiquetam as entidades relevantes que ele contém: nomes de indivíduos, de atores coletivos e institucionais, e de lugares. O português histórico é irregular, muito abreviado e escrito de forma inconsistente ao longo dos séculos, pelo que ferramentas genéricas não bastam. Os modelos foram adaptados e avaliados especificamente para este domínio, comparando arquiteturas transformer modernas para escolher a que melhor lida com a linguagem dos arquivos.
Reconhecer um nome é metade da tarefa. A mesma cadeia de texto pode referir-se a muitas pessoas diferentes, e a mesma pessoa pode aparecer escrita de uma dezena de maneiras. A desambiguação resolve cada menção numa entidade única e inequívoca, de modo que toda referência a um dado indivíduo, organismo ou lugar liga a um só nó canónico. É isto que permite ao DIGITARQ responder a uma pergunta sobre uma pessoa, em vez de apenas listar os documentos onde uma sequência de caracteres calha aparecer.
Treinar estes modelos, e depois aplicá-los a milhões de registos, é computacionalmente intensivo. A Caixa Mágica realizou o treino dos modelos na rede nacional de computação avançada e supercomputação do Estado português. Além do desempenho que isso permitiu, manteve o processamento do património cultural do país em infraestrutura pública e soberana, uma escolha deliberada e alinhada com os princípios europeus de residência de dados e soberania digital. O reconhecimento e a desambiguação correram como processo em lote sobre todo o conjunto de dados migrado. As entidades foram extraídas e resolvidas uma vez, em toda a informação, e povoam agora a plataforma. Os modelos não são invocados em tempo real durante a navegação.
Um grafo de conhecimento CIDOC-CRM
Em paralelo, a Caixa Mágica migrou as bases de dados regionais e relacionais legadas para uma base de dados em grafo modelada em CIDOC-CRM, o modelo conceptual de referência normalizado pela ISO para documentar património cultural. Onde o modelo antigo guardava linhas em tabelas, o novo guarda entidades e as relações entre elas: esta pessoa produziu aquele documento, aquele documento diz respeito a este lugar, esta instituição deteve aquele registo numa dada época. As entidades reveladas pela camada de IA fluem para o grafo, transformando um conjunto de catálogos separados numa teia ligada da história portuguesa.
Sobre o grafo, um motor moderno de indexação e pesquisa devolve resultados rápidos e relevantes em todo o acervo. O utilizador pode começar num nome, num lugar ou num documento e viajar para fora ao longo de relações reais, descobrindo atores relacionados, localizações associadas e registos ligados que uma pesquisa por palavra-chave nunca revelaria. A escala é considerável: a plataforma indexa milhões de conteúdos descritivos e dezenas de milhões de imagens, e mantém-se responsiva.
Um front e back office modernos
O front office público é onde investigadores, genealogistas, estudantes e cidadãos curiosos encontram o arquivo. Os antigos front offices regionais obrigavam a ir de site em site, repetindo a pesquisa em cada arquivo. Uma única pesquisa cobre agora, de uma só vez, os vinte arquivos participantes. Oferece pesquisa e navegação limpas, rápidas e totalmente web em todo o acervo nacional, páginas ricas de entidade e caminhos diretos entre um registo descoberto e os serviços que permitem agir sobre ele. A interface foi desenhada para um público amplo e não especialista, sem deixar de recompensar a profundidade que os investigadores profissionais exigem.
Nos bastidores, um back office dedicado dá aos arquivistas da DGLAB as ferramentas para descrever, curar e gerir acervos, e para manter a qualidade do catálogo e do grafo de conhecimento ao longo do tempo. O arquivista mantém pleno controlo da descrição e da curadoria, trabalhando sobre os mesmos dados ligados que o processamento em lote produziu.
A descoberta só entrega o seu valor pleno quando conduz à ação. O DIGITARQ está integrado com o CRAV (Consulta Real em Ambiente Virtual), o serviço online dos arquivos para pedidos de consulta, reprodução e certidões. O cidadão passa diretamente de encontrar um documento no DIGITARQ a requisitá-lo através do CRAV, de modo que pesquisa e serviço formam um processo digital contínuo.
Impacto
O novo DIGITARQ muda o que significa consultar um arquivo nacional. O que era uma pesquisa de texto sobre catálogos isolados é agora um percurso por um mapa ligado de pessoas, instituições e lugares, acessível de qualquer lugar, a qualquer hora, a quem tenha uma pergunta sobre o passado de Portugal.
Para os investigadores, o ganho prático é alcance. Trabalho que antes exigia visitar vários arquivos e cruzar catálogos à mão pode agora começar online, e muitas vezes terminar aí. Para a DGLAB, o ganho é estrutural: uma plataforma nacional única, assente em normas abertas, que a instituição pode sustentar e alargar sem depender de um só fornecedor.
Over 100 km of documentation is now one search away, with no queues and no travel.
Alguns resultados notáveis do novo DIGITARQ:
Ao reconhecer e desambiguar entidades e ao ligá-las num grafo de conhecimento, a plataforma permite encontrar registos que antes passariam ao lado. A pesquisa deixa de estar limitada às palavras exatas que um catalogador calhou de escrever.
A plataforma traz mais de oito milhões de conteúdos descritivos e mais de sessenta e três milhões de imagens para uma experiência única, responsiva e totalmente web, dando acesso estruturado a um património documental medido em centenas de quilómetros de estantes.
O reconhecimento e a desambiguação de entidades foram aplicados a todo o conjunto de dados migrado, enriquecendo milhões de registos com pessoas, instituições e lugares estruturados a uma escala que a catalogação manual nunca alcançaria. O grafo CIDOC-CRM tem hoje mais de 10,8 milhões de atores, mais de 16 milhões de eventos, 189 mil lugares e 8 milhões de documentos, todos interligados.
Construída sobre tecnologias abertas e sobre a norma internacional CIDOC-CRM, e treinada em infraestrutura nacional de supercomputação, a plataforma dá à DGLAB uma base durável e interoperável sob controlo público, que pode sustentar e fazer evoluir a longo prazo.
A integração com o CRAV liga o encontrar um documento ao requisitá-lo, reduzindo o atrito para o cidadão e aliviando a carga sobre os serviços de sala de leitura e de reprodução.
A Caixa Mágica Software, em conjunto com a DGLAB, substituiu um conjunto fragmentado de catálogos regionais por uma plataforma nacional que lê o seu próprio acervo. O projeto cumpriu os requisitos de escala, continuidade e longevidade definidos pela DGLAB, e fê-lo sobre normas abertas e infraestrutura pública, mantendo o processamento do património cultural português dentro do país. Vinte arquivos, oito milhões de registos e sessenta e três milhões de imagens respondem agora a uma única consulta. O arquivista mantém o controlo da descrição e da curadoria, enquanto a IA trata do volume que nenhuma equipa cobriria à mão.
Olhando em Frente
Um arquivo nunca está terminado, e a plataforma que o abre também não. Já em produção, o DIGITARQ continua a crescer, com milhares de novas imagens e um fluxo constante de novos registos a serem acrescentados. O grafo de conhecimento vai expandir-se à medida que mais acervos forem descritos e mais entidades reconhecidas e ligadas. Os modelos de IA podem ser retreinados e refinados à medida que as coleções, e a linguagem que as descreve, forem melhor compreendidas.
A pesquisa semântica, a ligação de entidades a autoridades externas e uma integração mais estreita entre descoberta e serviços apontam para um futuro em que a memória documental portuguesa se torna progressivamente mais fácil de explorar. Assente em normas abertas e numa arquitetura modular, a plataforma foi desenhada para evoluir com as necessidades dos seus utilizadores e com o ritmo da mudança tecnológica, uma evolução que a DGLAB pode conduzir com os parceiros que vier a selecionar.
Perguntas Frequentes
O que é o DIGITARQ?
O DIGITARQ é a plataforma online da DGLAB, a Direção-Geral do Livro, dos Arquivos e das Bibliotecas. Permite pesquisar e consultar os catálogos e os acervos digitalizados dos arquivos nacionais e distritais, com milhões de registos descritivos e dezenas de milhões de imagens. Uma única pesquisa cobre agora os 20 arquivos, em substituição dos antigos front offices regionais, que obrigavam a visitar o site de cada arquivo separadamente.
Quantos arquivos posso pesquisar de uma só vez?
O DIGITARQ cobre 20 arquivos numa única consulta, incluindo o Arquivo Nacional da Torre do Tombo, os arquivos distritais e outros arquivos nacionais. Antes, cada arquivo tinha de ser pesquisado no seu próprio site.
Como é que o DIGITARQ usa inteligência artificial?
A Caixa Mágica treinou modelos de IA para reconhecimento (NER) e desambiguação (NED) de entidades mencionadas na rede nacional de supercomputação. Os modelos identificam pessoas, organizações e lugares nas descrições arquivísticas e ligam cada menção a uma entidade única e inequívoca, o que sustenta uma pesquisa e uma descoberta mais ricas.
Para que serve o grafo de conhecimento CIDOC-CRM?
As bases de dados regionais e relacionais foram migradas para uma base de dados em grafo modelada em CIDOC-CRM, a norma internacional para informação de património cultural. Registos isolados passaram a ser uma teia ligada de pessoas, instituições, lugares e documentos, explorável por relação e não apenas por palavra-chave. O grafo tem dezenas de milhões de nós interligados: mais de 10,8 milhões de atores, 16 milhões de eventos, 189 mil lugares e 8 milhões de documentos.
Mais sobre o DIGITARQ
Qual é a relação entre o DIGITARQ e o CRAV?
O DIGITARQ é a camada de descoberta, onde os utilizadores encontram e exploram registos. O CRAV (Consulta Real em Ambiente Virtual) é o serviço online para pedidos de consulta, reprodução e certidões. As duas plataformas estão integradas, pelo que o cidadão passa de encontrar um documento a requisitá-lo sem sair dos serviços digitais dos arquivos.
Qual é a dimensão do acervo por trás do DIGITARQ?
A plataforma dá acesso a mais de 8 milhões de conteúdos descritivos e a mais de 63 milhões de imagens associadas, correspondentes a mais de 100 quilómetros de documentação física na rede de arquivos portugueses.
Quem desenvolveu o DIGITARQ e para quem?
A plataforma foi desenvolvida pela Caixa Mágica Software para a DGLAB, a Direção-Geral do Livro, dos Arquivos e das Bibliotecas, que coordena o Arquivo Nacional da Torre do Tombo e os arquivos distritais.
A plataforma assenta em normas abertas?
Sim. O DIGITARQ é um sistema totalmente web, construído sobre tecnologias abertas e sobre normas internacionais de arquivo e de património cultural, incluindo o CIDOC-CRM. Essa escolha favorece a interoperabilidade, a sustentabilidade a longo prazo e a independência face a qualquer fornecedor.
