Porque a extracção é a parte fácil. O que separa uma demonstração de um sistema em produção é a desambiguação, ou seja saber que três grafias diferentes são a mesma entidade e que duas grafias iguais não são. E saber quando o modelo deve recusar responder em vez de arriscar.
E porque a maioria dos projectos começa sem o único artefacto que torna o resto mensurável: um conjunto de casos com a resposta correcta conhecida, definido antes de escolher qualquer modelo.
Falamos com números concretos. Reconstruímos o DIGITARQ para a Direção-Geral do Livro, dos Arquivos e das Bibliotecas. Uma pesquisa passou a cobrir 20 arquivos, sobre mais de 8 milhões de registos descritivos e mais de 63 milhões de imagens digitalizadas, correspondentes a mais de 100 quilómetros de documentação física. Treinámos modelos de reconhecimento e de desambiguação de entidades para metadados arquivísticos em português, na rede nacional de computação avançada e supercomputação do Estado português. O texto completo do projecto está nos nossos casos de estudo.
Extracção, classificação e reconhecimento de entidades: qual é a diferença?
São tarefas distintas, com dificuldades distintas, e são frequentemente vendidas como se fossem uma. Confundi-las é a razão pela qual um orçamento fica curto.
Porque é que a desambiguação é mais difícil do que a extracção?
Porque exige uma decisão que o modelo não pode tomar sozinho: o que conta como a mesma entidade.
No DIGITARQ, o sistema anterior tratava "Torre do Tombo", "ANTT" e "Arquivo Nacional" como três cadeias de texto diferentes. Uma pessoa batizada num registo paroquial guardado num arquivo e nomeada num testamento guardado noutro eram dois registos sem ligação. O valor do arquivo está nas ligações, e os dados estavam guardados como registos isolados e pesquisados como texto simples.
A versão empresarial do mesmo problema é esta. A mesma empresa aparece como fornecedor com quatro razões sociais, três NIF históricos e duas abreviaturas. O mesmo colaborador aparece com e sem nome do meio, com e sem acentos. A mesma referência contratual aparece com formatos de numeração diferentes conforme quem a escreveu. Nenhum destes casos se resolve com um modelo melhor. Resolve-se com uma decisão de negócio sobre o que constitui identidade, escrita antes de começar.
O que é preciso ter antes de começar um projecto de extracção com document AI?
Em lote, na maioria dos casos, e esta é a decisão arquitectural com maior impacto no custo. No DIGITARQ o reconhecimento e a desambiguação correram como processamento em lote sobre todo o conjunto migrado. As entidades foram extraídas e resolvidas uma vez, sobre todos os dados, e alimentam a plataforma. Os modelos não são invocados em tempo real enquanto os utilizadores navegam.
Porque é que a extracção com document AI falha em português?
Porque a variação linguística é maior do que aquela para que foram calibrados, e a nossa experiência veio da versão extrema desse problema. O português histórico é irregular, muito abreviado e escrito de forma inconsistente ao longo de séculos. Ferramentas genéricas prontas a usar não bastam para esse material, e por isso adaptámos e avaliámos os modelos especificamente para este domínio, comparando arquitecturas transformer modernas para escolher a que tinha melhor desempenho em linguagem arquivística.
Esse é o extremo, mas a mesma lógica aplica-se muito antes dele. Um modelo genérico reconhece nomes portugueses comuns e falha nos menos comuns, que é exactamente onde os erros doem. Vocabulário de domínio, jurídico, técnico ou sectorial, não está representado, porque o modelo vê palavras e não conceitos do seu negócio. E documentos antigos dentro de uma empresa moderna têm convenções diferentes, porque um arquivo de contratos de vinte anos tem vários regimes de escrita.
A conclusão prática não é treinar sempre um modelo próprio, que é caro e frequentemente desnecessário. É avaliar cada candidato no seu próprio material antes de escolher.
O que deve ficar consigo depois do projecto?
Quatro coisas, e nenhuma exige tecnologia. São o que determina se o projecto é mensurável.
O primeiro é o que mais vezes falta e o que mais custa não ter. Construir um conjunto de referência é trabalho de anotação de alguém que conhece o material, e transforma todo o resto do projecto numa medição em vez de numa discussão.
Quando é que isto entra no âmbito do AI Act?
Depende do que se faz com o resultado, não da tecnologia usada, e a distinção é útil porque evita âmbito de conformidade desnecessário. Extrair campos de uma factura e classificar documentos para arquivo não é, em si, um caso de risco elevado. Usar o resultado para decidir sobre pessoas pode ser. As categorias do Anexo III do Regulamento (UE) 2024/1689 incluem áreas como emprego, avaliação de crédito e acesso a serviços públicos, e essas obrigações foram diferidas para 2 de dezembro de 2027 pelo Regulamento (UE) 2026/1744, que entrou em vigor a 27 de julho de 2026.
As obrigações de transparência do artigo 50, sobre marcação de conteúdo gerado, aplicam-se a quem gera conteúdo. Um sistema que extrai e classifica não está tipicamente a gerar, mas se o mesmo produto também produz resumos ou texto, essa parte está. Na prática: classifique a utilização, não a tecnologia, e faça essa análise no início. O nosso resumo de o que mudou no AI Act em agosto de 2026 indica quais as obrigações que mudaram e quais as que não mudaram.
O que deve ficar consigo?
Cinco coisas, e a primeira é a que mais vezes se perde. O conjunto de referência e os resultados de avaliação, que é o activo que permite mudar de fornecedor ou de modelo sem recomeçar. O modelo de dados, incluindo as definições de entidade e as regras de desambiguação, em formato legível. Os dados extraídos, num esquema que não dependa da plataforma de quem os extraiu. O registo do que foi processado, quando, e com que versão do modelo, sem o qual não se sabe o que precisa de ser reprocessado. E a documentação das decisões, incluindo os casos de fronteira.
Uma nota sobre normas abertas. No DIGITARQ o grafo foi modelado em CIDOC-CRM, a norma ISO 21127 para interoperabilidade de informação de património cultural, com edição revista publicada em 2023, precisamente para que a instituição possa sustentar e desenvolver a plataforma a longo prazo sem dependência de um único fornecedor. A escolha de um modelo de dados padrão é a decisão que mais determina se o resultado do projecto continua a ser seu daqui a dez anos.
Perguntas frequentes
Extracção, NER e NED
Qual a diferença entre NER e NED?
Porque é que os projectos de extracção de documentos falham em produção?
Arquitectura em lote e língua
Deve o processamento de documentos correr em lote ou em tempo real?
Modelos genéricos funcionam em documentos em português?
Pré-requisitos e regulação
O que é preciso ter antes de contratar um projecto de document AI?
Extracção de documentos com IA entra no âmbito do AI Act?
