Como criar um projeto de NER personalizado

O recurso de Linguagem deve ter gerenciamento de identidade, para habilitá-lo usando o portal do Azure:

1. Acesse o recurso de Linguagem
2. No menu à esquerda, na seção Gerenciamento de Recursos, selecione Identidade
3. Na guia Atribuído pelo sistema, defina o Status como Ativado

O recurso de Linguagem deve ter gerenciamento de identidade, para habilitá-lo usando o Language Studio:

1. Clique no ícone configurações no canto superior direito da tela
2. Selecione Recursos
3. Marque a caixa de seleção Identidade Gerenciada do recurso de Linguagem de IA do Azure.

1. Entre no Language Studio. Uma janela será exibida para permitir que você selecione sua assinatura e o recurso idioma. Selecione o recurso de idioma que você criou na etapa acima.

2. Na seção Extrair informações do Language Studio, selecione Reconhecimento de entidade nomeada personalizada.

   

3. Selecione Criar projeto no menu superior na página de projetos. A criação de um projeto permitirá que você marque dados, treine, avalie, melhore e implante seus modelos.

   

4. Depois de clicar em Criar projeto, uma janela será exibida para permitir que você conecte sua conta de armazenamento. Se você já tiver conectado uma conta de armazenamento, verá o armazenamento conectado. Caso contrário, escolha a conta de armazenamento na lista suspensa que aparece e selecione Conectar conta de armazenamento. Isso definirá as funções necessárias para a sua conta de armazenamento. É possível que essa etapa retorne um erro se você não for atribuído como proprietário na conta de armazenamento.

   Observação

   • Para começar logo, é recomendável criar um novo recurso de Linguagem do Azure por meio das etapas fornecidas abaixo, o que permitirá que você crie o recurso e configure uma conta de armazenamento ao mesmo tempo, o que é mais fácil do que fazê-lo mais tarde.
   • Esse processo é irreversível, se você conectar uma conta de armazenamento ao recurso de idioma, não poderá desconectá-la posteriormente.
   • É possível conectar o recurso de idioma a apenas uma conta de armazenamento.

   

5. Insira as informações do projeto, incluindo um nome, uma descrição e o idioma dos arquivos em seu projeto. Se você estiver usando o conjunto de dados de exemplo, selecione Inglês. Você não poderá alterar o nome do projeto mais tarde. Selecione Avançar

   Dica

   Seu conjunto de dados não precisa estar totalmente no mesmo idioma. Você pode ter vários documentos, cada um com diferentes idiomas compatíveis. Se o conjunto de dados contiver documentos de idiomas diferentes ou se você esperar um texto de diferentes idiomas durante o runtime, selecione Habilitar conjunto de dados multilíngue ao inserir as informações básicas no projeto. Essa opção pode ser habilitada posteriormente na página Configurações do projeto.

6. Selecione o contêiner em que você carregou o conjunto de dados. Se você já rotulou os dados, certifique-se de que seguem o formato com suporte e selecione Sim, meus arquivos já estão rotulados e formatei o arquivo de rótulos JSON e selecione o arquivo de rótulos no menu suspenso. Selecione Avançar.

7. Revise os dados inseridos e selecione Criar Projeto.

Para começar a criar um modelo de reconhecimento de entidade nomeada personalizada, você precisa criar um projeto. A criação de um projeto permitirá que você rotule dados, treine, avalie, melhore e implante seus modelos.

Crie uma solicitação PATCH usando a URL, os cabeçalhos e o corpo JSON a seguir para criar seu projeto.

URL da solicitação

Use a URL a seguir para criar um projeto. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Corpo

Use o JSON a seguir em sua solicitação. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{
  "projectName": "{PROJECT-NAME}",
  "language": "{LANGUAGE-CODE}",
  "projectKind": "CustomEntityRecognition",
  "description": "Project description",
  "multilingual": "True",
  "storageInputContainerName": "{CONTAINER-NAME}"
}

Esta solicitação retornará uma resposta de 201, o que significa que o projeto foi criado.

Essa solicitação retornará um erro se:

• O recurso selecionado não tem a permissão apropriada para a conta de armazenamento.

1. Entre no Language Studio. Uma janela será exibida para permitir que você selecione sua assinatura e o recurso idioma. Selecione o recurso de idioma.

2. Na seção Extrair informações do Language Studio, selecione Reconhecimento de entidade nomeada personalizada.

   

3. Selecione Criar projeto no menu superior na página de projetos. A criação de um projeto permitirá que você marque dados, treine, avalie, melhore e implante seus modelos.

   

4. Depois de selecionar Criar projeto, uma tela será exibida para permitir que você conecte sua conta de armazenamento. Se você não conseguir encontrar a sua conta de armazenamento, verifique se você criou um recurso seguindo as etapas recomendadas. Se você já tiver conectado uma conta de armazenamento ao recurso de Linguagem, verá a conta de armazenamento conectada.

   Observação

   • Você só precisa fazer essa etapa uma vez para cada novo recurso de linguagem usado.
   • Esse processo é irreversível, se você conectar uma conta de armazenamento ao recurso de idioma, não poderá desconectá-la posteriormente.
   • É possível conectar o recurso de idioma a apenas uma conta de armazenamento.

   

5. Insira as informações do projeto, incluindo um nome, uma descrição e o idioma dos arquivos em seu projeto. Você não poderá alterar o nome do projeto mais tarde. Selecione Avançar.

   Dica

   Seu conjunto de dados não precisa estar totalmente no mesmo idioma. Você pode ter vários documentos, cada um com diferentes idiomas compatíveis. Se o conjunto de dados contiver documentos de idiomas diferentes ou se você esperar um texto de diferentes idiomas durante o runtime, selecione Habilitar conjunto de dados multilíngue ao inserir as informações básicas no projeto. Essa opção pode ser habilitada posteriormente na página Configurações do projeto.

6. Selecione o contêiner em que você carregou o conjunto de dados.

7. Clique em Sim, meus arquivos já estão rotulados e formatei o arquivo de rótulos JSON e selecione o arquivo de rótulos no menu suspenso abaixo para importar o arquivo de rótulos JSON. Verifique se ele segue o formato com suporte.

8. Selecione Avançar.

9. Revise os dados inseridos e selecione Criar Projeto.

Envie uma solicitaçãoPOST usando o URL, os cabeçalhos e o corpo JSON a seguir para importar o arquivo de rótulos. Verifique se o arquivo de rótulos segue o formato de arquivo aceito.

Se já existir um projeto com o mesmo nome, os dados desse projeto serão substituídos.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/:import?api-version={API-VERSION}

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Corpo

Use o JSON a seguir em sua solicitação. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{
    "projectFileVersion": "{API-VERSION}",
    "stringIndexType": "Utf16CodeUnit",
    "metadata": {
        "projectName": "{PROJECT-NAME}",
        "projectKind": "CustomEntityRecognition",
        "description": "Trying out custom NER",
        "language": "{LANGUAGE-CODE}",
        "multilingual": true,
        "storageInputContainerName": "{CONTAINER-NAME}",
        "settings": {}
    },
    "assets": {
    "projectKind": "CustomEntityRecognition",
        "entities": [
            {
                "category": "Entity1"
            },
            {
                "category": "Entity2"
            }
        ],
        "documents": [
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 500,
                        "labels": [
                            {
                                "category": "Entity1",
                                "offset": 25,
                                "length": 10
                            },
                            {
                                "category": "Entity2",
                                "offset": 120,
                                "length": 8
                            }
                        ]
                    }
                ]
            },
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 100,
                        "labels": [
                            {
                                "category": "Entity2",
                                "offset": 20,
                                "length": 5
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

Depois de enviar a solicitação à API, você receberá uma resposta 202 indicando que o trabalho foi enviado corretamente. Nos cabeçalhos de resposta, extraia o valor operation-location. A formatação ficará da seguinte maneira:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} é usado para identificar sua solicitação, pois essa operação é assíncrona. Você usará essa URL para obter o status do trabalho de importação.

Possíveis cenários de erro para esta solicitação:

• O recurso selecionado não tem as permissões apropriadas para a conta de armazenamento.
• O storageInputContainerName especificado não existe.
• Um código de idioma inválido foi usado ou o tipo de código de idioma não é cadeia de caracteres.
• O valor multilingual é uma cadeia de caracteres e não um booliano.

1. Acesse a página de configurações do projeto no Language Studio.

2. Você pode ver os detalhes do projeto.

3. Nesta página, você pode atualizar a descrição do projeto e habilitar/desabilitar o conjunto de dados multilíngue nas configurações do projeto.

4. Você também pode exibir a conta de armazenamento conectada e o contêiner para o recurso de Linguagem.

5. Você também pode recuperar a chave de recurso primária nesta página.

   

Use a solicitação GET a seguir para obter os detalhes do projeto. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}?api-version={API-VERSION}

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Corpo da resposta

    {
        "createdDateTime": "2021-10-19T23:24:41.572Z",
        "lastModifiedDateTime": "2021-10-19T23:24:41.572Z",
        "lastTrainedDateTime": "2021-10-19T23:24:41.572Z",
        "lastDeployedDateTime": "2021-10-19T23:24:41.572Z",
        "projectKind": "CustomEntityRecognition",
        "storageInputContainerName": "{CONTAINER-NAME}",
        "projectName": "{PROJECT-NAME}",
        "multilingual": false,
        "description": "Project description",
        "language": "{LANGUAGE-CODE}"
    }

Depois de enviar a solicitação da API, você receberá uma resposta 200 indicando o êxito e o corpo da resposta JSON com os detalhes do projeto.

Quando não precisar mais do seu projeto, poderá excluí-lo do projeto usando o Language Studio. Selecione NER (reconhecimento de entidade nomeada personalizada) na parte superior, selecione o projeto que deseja excluir e selecione Excluir no menu superior.

Quando você não precisar mais do seu projeto, poderá excluí-lo com a seguinte solicitação de DELETE. Substitua os valores do espaço reservado pelos seus.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Depois de enviar a solicitação da API, você receberá uma resposta 202 indicando êxito, o que significa que o projeto foi excluído. Uma chamada bem-sucedida resulta em um cabeçalho Operation-Location usado para verificar o status do trabalho.