Modelos personalizados de Informação de Documentos

Esse conteúdo se aplica a: v4.0 (versão prévia) | Versões prévias: v3.1 (GA) v3.0 (GA) v2.1 (GA)

Esse conteúdo se aplica a: v3.1 (GA) | Ultima versão: v4.0 (versão prévia) | Versões prévia: v3.0 v2.1

Esse conteúdo se aplica a: v3.0 (GA) | Ultimas versões: v4.0 (versão prévia) v3.1 | Versões prévia: v2.1

Esse conteúdo se aplica a: v2.1 | ais recente: v4.0 (versão prévia)

Tipos de modelo de documento personalizado

Modelos de documento personalizados podem ser de dois tipos, modelo personalizado ou formulário personalizado e modelos de documentos personalizados ou neurais personalizados. O processo de rotulagem e treinamento para os dois modelos é idêntico, mas os modelos diferem da seguinte maneira:

Modelos de extração personalizados

Para criar um modelo de extração personalizado, rotule um conjunto de dados de documentos com os valores que deseja extrair e treine o modelo no conjunto de dados rotulado. É necessário somente cinco exemplos do mesmo tipo de formulário ou documento para começar.

Modelo neural personalizado

O modelo neural personalizado (documento personalizado) usa modelos de aprendizado profundo e modelo base treinado em uma grande coleção de documentos. Esse modelo é ajustado ou adaptado aos seus dados quando você treina o modelo com um conjunto de dados rotulado. Os modelos neurais personalizados dão suporte à extração de campos de dados chave de documentos estruturados, semiestruturados e não estruturados. Quando você estiver escolhendo entre os dois tipos de modelo, comece com um modelo neural para determinar se ele atender às suas necessidades funcionais. Confira modelos neurais para saber mais sobre modelos de documento personalizados.

Modelo de template personalizado

O template personalizado ou modelo de formulário personalizado depende de um template visual consistente para extrair os dados rotulados. As variações na estrutura de seus documentos afetam a precisão do seu modelo. Formulários estruturados, como questionários ou aplicativos, são exemplos de templates visuais consistentes.

Seu conjunto de treinamento consiste de documentos estruturados em que a formatação e o layout são estáticos e constantes de uma instância de documento para a próxima. Os modelos personalizados dão suporte a pares chave-valor, marcas de seleção, tabelas, campos de assinatura e regiões. Modelos de template e podem ser treinados em documentos em todos os idiomas compatíveis. Para obter mais informações, veja modelos de modelos personalizados.

Se o idioma dos seus documentos e os cenários de extração dão suporte a modelos neurais personalizados, recomendamos usar modelos neurais personalizados em vez de modelos predefinidos para obter maior precisão.

Requisitos de entrada

• Para ter melhores resultados, forneça uma foto clara ou uma digitalização de alta qualidade por documento.

• Formatos de arquivo com suporte:

  Modelar	PDF	Image,: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Ler	✔	✔	✔
  Layout	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview e posterior)
  Documento geral	✔	✔
  Predefinida	✔	✔
  Extração personalizada	✔	✔
  Classificação personalizada	✔	✔	✔

  ✱ Atualmente, não há suporte para arquivos do Microsoft Office para outros modelos ou versões.

• Para PDF e TIFF, até 2.000 páginas podem ser processadas (com uma assinatura de camada gratuita, apenas as duas primeiras páginas são processadas).

• O tamanho do arquivo para análise de documentos é 500 MB para a camada paga (S0) e 4 MB para a camada gratuita (F0).

• As dimensões da imagem devem estar entre 50 x 50 pixels e 10.000 px x 10.000 pixels.

• Se os PDFs estiverem com bloqueio de senha, você deverá remover o bloqueio antes do envio.

• A altura mínima do texto a ser extraído é de 12 pixels para uma imagem de 1.024 x 768 pixels. Essa dimensão corresponde a cerca de 8-texto de ponto a 150 pontos por polegada.

• Para treinamento de modelo personalizado, o número máximo de páginas para dados de treinamento é 500 para o modelo de modelo personalizado e 50.000 para o modelo neural personalizado.

• Para treinamento de modelo de extração personalizado, o tamanho total dos dados de treinamento é de 50 MB para o modelo e 1G-MB para o modelo neural.

• Para treinamento de modelo de classificação personalizado, o tamanho total dos dados de treinamento é 1GB com no máximo 10.000 páginas.

Dados de treinamento ideais

Os dados de entrada de treinamento são a base de qualquer modelo de machine learning. Eles são determinantes para a qualidade, exatidão e desempenho do modelo. Portanto, é fundamental gerar os melhores dados de treinamento possíveis para o seu projeto de Informação de Documentos. Ao usar o modelo personalizado da Informação de Documentos, você fornece seus próprios dados de treinamento. Aqui estão algumas dicas para ajudar a treinar seus modelos com eficiência:

• Use PDFs em texto em vez de PDFs em imagem quando possível. Uma forma de identificar um PDF baseado em imagem é tentar selecionar um texto específico no documento. Se você puder selecionar apenas a imagem inteira do texto, o documento será baseado em imagem e não em texto.

• Organize seus documentos de treinamento usando uma subpasta para cada formato (JPEG/JPG, PNG, BMP, PDF ou TIFF).

• Use formulários que tenham todos os campos disponíveis preenchidos.

• Use formulários com valores diferentes em cada campo.

• Se as imagens forem de baixa qualidade, use um conjunto de dados maior (com mais de cinco documentos de treinamento).

• Determine se você precisa usar um único modelo ou vários modelos compostos em um único modelo.

• Pense em segmentar o conjunto de seus conjuntos de dados em pastas, em que cada pasta corresponde a um modelo único. Treine um modelo por pasta e componha os modelos resultantes em um único ponto de extremidade. A precisão do modelo pode diminuir quando você tem formatos diferentes analisados com um único modelo.

• Considere segmentar seu conjunto de dados para treinar vários modelos caso seus formulários apresentem variações nos formatos e quebras de página. Formulários personalizados dependem de um modelo visual consistente.

• Verifique se você tem um conjunto de dados equilibrado, considerando os formatos, os tipos de documentos e a estrutura.

Modo de criação

A função build custom model agora inclui suporte para os modelos personalizados modelo e neural. As versões anteriores da API REST e das bibliotecas de cliente só dão suporte a um único modo de build que agora é conhecido como o modo de modelo.

• Modelos de template aceitam apenas documentos que tenham a mesma estrutura de página básica – uma aparência visual uniforme – ou o mesmo posicionamento relativo de elementos dentro do documento.

• Os modelos neurais dão suporte a documentos que têm as mesmas informações, mas estruturas de página diferentes. Exemplos desses documentos incluem formulários W2 dos Estados Unidos, que compartilham as mesmas informações, mas variam na aparência entre as empresas.

Esta tabela fornece links para as referências do SDK da linguagem de programação do modo de compilação e exemplos de código no GitHub:

Comparar recursos de modelo

A tabela a seguir compara o modelo personalizado e os recursos neurais personalizados:

Modelo de classificação personalizada

A classificação de documentos é um novo cenário com suporte pela Informação de Documentos com a API 2023-07-31 (v3.1 de disponibilidade geral). A API do classificador de documentos dá suporte a cenários de classificação e divisão. Treine um modelo de classificação para identificar os diferentes tipos de documentos aos quais seu aplicativo dá suporte. O arquivo de entrada para o modelo de classificação pode conter vários documentos e classifica cada documento dentro de um intervalo de páginas associado. Para saber mais, veja classificação personalizada.

Ferramentas de modelo personalizado

Os modelos de Informação de Documentos v3.1 e posteriores dão suporte às seguintes ferramentas, aplicativos e bibliotecas, programas e bibliotecas:

Ciclo de vida de um modelo personalizado

O ciclo de vida de um modelo personalizado é determinado pela versão da API usada para treiná-lo. Se a versão da API for uma versão de disponibilidade geral (GA), o modelo personalizado seguirá o mesmo ciclo de vida dessa versão. O modelo customizado não estará mais disponível para inferência quando a versão da API for descontinuada. Caso a versão da API seja uma versão prévia, o modelo personalizado acompanhará o ciclo de vida da versão prévia dessa API.

A Informação de Documentos v2.1 dá suporte às seguintes ferramentas, aplicativos e bibliotecas:

Ferramenta de rotulagem de exemplos

• A ferramenta de Rotulagem de Amostra de Informação de Documentos é uma ferramenta de código aberto que permite testar os recursos mais recentes da Informação de Documentos e os recursos de Reconhecimento Óptico de Caracteres (OCR).

• Acesse o início rápido da ferramenta Rotulagem de Exemplo para começar a criar e usar um modelo personalizado.

Estúdio de Informação de Documentos

1. Na página inicial do Estúdio de Informação de Documentos, selecione Modelos de extração personalizados.

2. Em Meus projetos, selecione Criar um projeto.

3. Preencha os campos de detalhes do projeto.

4. Configure o recurso de serviço adicionando sua conta de armazenamento e seu contêiner de blob para Conectar sua fonte de dados de treinamento.

5. Revise e crie seu projeto.

6. Adicione seus documentos de exemplo para rotular, compilar e testar seu modelo personalizado.

Para obter um passo a passo detalhado para criar seu primeiro modelo de extração personalizado, veja Como criar um modelo de extração personalizado.

Resumo da extração de modelo personalizado

Esta tabela compara as áreas de extração de dados com suporte:

Símbolos de tabela:
✔ — Com suporte
**n/a— atualmente indisponível;
*-Comporta-se de forma diferente dependendo do modelo. Com modelos, os dados sintéticos são gerados no momento do treinamento. Com modelos neurais, o texto de saída reconhecido na região é selecionado.

• Tente processar seus próprios formulários e documentos com a ferramenta Rotulagem de Amostra da Informação de Documentos.

• Execute um início rápido do serviço Informação de Documentos e comece a criar um aplicativo de processamento de documentos na linguagem de desenvolvimento de sua escolha.

• Experimente processar seus próprios formulários e documentos com o Estúdio da Informação de Documentos.

• Execute um início rápido do serviço Informação de Documentos e comece a criar um aplicativo de processamento de documentos na linguagem de desenvolvimento de sua escolha.