O que é o reconhecimento de entidade nomeada personalizada?

  • Artigo

O NER personalizado é um dos recursos personalizados oferecidos pela Linguagem de IA do Azure. Ele consiste em um serviço de API baseado em nuvem que aplica a inteligência do aprendizado de máquina para permitir que você crie modelos personalizados para tarefas de reconhecimento de entidade nomeada personalizado.

O NER personalizado permite que os usuários criem modelos personalizados de IA para extrair de textos não estruturados, como contratos ou documentos financeiros, entidades específicas do domínio. Ao criar um projeto de NER, os desenvolvedores poderão rotular dados iterativamente, além de treinar, avaliar e aprimorar o desempenho do modelo antes de disponibilizá-lo para consumo. A qualidade dos dados rotulados afeta profundamente o desempenho do modelo. Para simplificar a criação e a personalização do modelo, o serviço oferece um portal da Web personalizado que pode ser acessado por meio do Language Studio. Para começar a usar o serviço com facilidade, siga as etapas neste guia de início rápido.

Esta documentação contém os seguintes tipos de artigos:

  • Os guias de início rápido são instruções de introdução que orientam sobre como fazer solicitações ao serviço.
  • Os conceitos fornecem explicações sobre a funcionalidade e os recursos do serviço.
  • Os guias de instruções contêm instruções de uso do serviço de maneiras mais específicas ou personalizadas.

Cenários de uso de exemplo

O reconhecimento de entidade nomeada personalizado pode ser usado em cenários de vários setores:

Extração de informações

Muitas organizações financeiras e jurídicas extraem e normalizam dados de milhares de textos complexos não estruturados diariamente. Essas fontes incluem extratos bancários, contratos legais ou formulários bancários. Por exemplo, a extração de dados de aplicativos hipotecários feita manualmente por revisores humanos pode levar vários dias para ser extraída. Automatizar essas etapas criando um modelo de NER personalizado simplifica o processo e reduz o custo, o tempo e o esforço.

A pesquisa é fundamental para qualquer aplicativo que mostra conteúdo de texto para os usuários. Cenários comuns incluem pesquisa de catálogos ou documentos, pesquisa de produtos de varejo ou mineração de conhecimento para ciência de dados. Muitas empresas em vários setores desejam criar uma experiência de pesquisa avançada em conteúdos privados e diversificados, que incluem documentos estruturados e não estruturados. Como parte do pipeline, os desenvolvedores podem usar o NER personalizado para extrair entidades do texto que são relevantes para o setor. As entidades previstas podem ser usadas para enriquecer a indexação do arquivo para obter uma experiência de pesquisa mais personalizada.

Auditoria e conformidade

Em vez de examinar manualmente arquivos de texto significativamente longos para auditar e aplicar políticas, os departamentos de TI em empresas financeiras ou jurídicas podem usar o NER personalizado para criar soluções automatizadas. Essas soluções ajudam a impor políticas de conformidade e a configurar as regras de negócio necessárias com base em pipelines de mineração de conhecimento que processam conteúdo estruturado e não estruturado.

Ciclo de vida de desenvolvimento do projeto

O uso do NER personalizado normalmente envolve várias etapas diferentes.

O ciclo de vida de desenvolvimento

  1. Definir seu esquema: conheça seus dados e identifique as entidades que você deseja extrair. Evite ambiguidade.

  2. Rotular os dados: rotular os dados é fundamental para determinar o desempenho do modelo. Rotule com precisão, de modo consistente e completo.

    1. Rotular com precisão: rotule cada entidade sempre para o tipo correto dela. Inclua apenas o que você deseja extrair, evite dados desnecessários em seu rótulo.
    2. Rotular consistentemente: a mesma entidade deve ter o mesmo rótulo em todos os arquivos.
    3. Rotular completamente: rotule todas as instâncias da entidade em todos os seus arquivos.

  3. Treinar o modelo: o modelo começa a aprender com os dados rotulados.

  4. Exibir o desempenho do modelo: depois que o treinamento for concluído, exiba os detalhes de avaliação do modelo e o desempenho dele.

  5. Implantar o modelo: a implantação de um modelo o disponibiliza para uso por meio da API de análise.

  6. Extrair entidades: use seus modelos personalizados para tarefas de extração de entidade.

Documentação de referência e exemplos de código

Ao usar o NER personalizado, confira a seguinte documentação de referência e os exemplos de Linguagem de IA do Azure:

Opção/idioma de desenvolvimento Documentação de referência Exemplos
APIs REST (Criação) Documentação da API REST
APIs REST (Runtime) Documentação da API REST
C# (Runtime) Documentação do C# Exemplos do C#
Java (Runtime) Documentação do Java Exemplos do Java
JavaScript (Runtime) Documentação do JavaScript Exemplos de JavaScript
Python (Runtime) Documentação do Python Exemplos em Python

IA responsável

Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usarão, que serão afetadas por ele e o ambiente em que ele é implantado. Leia o artigo sobre o NER personalizado para saber mais sobre o uso e a implantação responsáveis de IA em seus sistemas. Você também pode conferir os artigos a seguir para saber mais:

Próximas etapas