Teste em lote com um conjunto de expressões de exemplo

Testes em lote usando o portal LUIS

Importar e treinar um aplicativo de exemplo

Importe um aplicativo que receba um pedido de pizza, como 1 pepperoni pizza on thin crust.

1. Transfira e guarde o ficheiro JSON da aplicação.

2. Inicie sessão no portal LUIS e selecione o seu recurso de Subscrição e Criação para ver as aplicações atribuídas a esse recurso de criação.

3. Selecione a seta ao lado de Novo aplicativo e clique em Importar como JSON para importar o JSON para um novo aplicativo. Nomeie o aplicativo Pizza app.

4. Selecione Treinar no canto superior direito da navegação para treinar o aplicativo.

Funções no teste de lote

Arquivo de teste em lote

O exemplo JSON inclui um enunciado com uma entidade rotulada para ilustrar a aparência de um arquivo de teste. Em seus próprios testes, você deve ter muitos enunciados com intenção correta e entidade de aprendizado de máquina rotulada.

1. Crie pizza-with-machine-learned-entity-test.json em um editor de texto ou baixe-o .

2. No arquivo em lotes formatado em JSON, adicione um enunciado com a intenção que você deseja prever no teste.

   [
       {
           "text": "I want to pick up 1 cheese pizza",
           "intent": "ModifyOrder",
           "entities": [
               {
                   "entity": "Order",
                   "startPos": 18,
                   "endPos": 31
               },
               {
                   "entity": "ToppingList",
                   "startPos": 20,
                   "endPos": 25
               }
           ]
       }
   ]
   

Executar o lote

1. Selecione Testar na barra de navegação superior.

2. Selecione Painel de teste de lote no painel direito.

   

3. Selecione Importar. Na caixa de diálogo exibida, selecione Escolher arquivo e localize um arquivo JSON com o formato JSON correto que não contenha mais de 1.000 expressões para testar.

   Os erros de importação são relatados em uma barra de notificação vermelha na parte superior do navegador. Quando uma importação tem erros, nenhum conjunto de dados é criado. Para obter mais informações, consulte Erros comuns.

4. Escolha o local do pizza-with-machine-learned-entity-test.json arquivo.

5. Nomeie o conjunto de pizza test dados e selecione Concluído.

6. Selecione o botão Run (Executar).

7. Após a conclusão do teste em lote, você poderá ver as seguintes colunas:

   Column	Description
   Distrito	Estado do ensaio. Os resultados só são visíveis após a conclusão do teste.
   Nome	O nome que deu ao teste.
   Tamanho	Número de testes neste ficheiro de teste em lote.
   Última Execução	Data da última execução deste ficheiro de teste em lote.
   Último resultado	Número de previsões bem-sucedidas no teste.

8. Para visualizar os resultados detalhados do teste, selecione Ver resultados.

   Gorjeta

   • Selecionar Download baixará o mesmo arquivo que você carregou.
   • Se você vir que o teste em lote falhou, pelo menos uma intenção de emissão não correspondeu à previsão.

Revisar os resultados do lote para fins

Para rever os resultados do teste em lote, selecione Ver resultados. Os resultados do teste mostram graficamente como os enunciados do teste foram previstos em relação à versão ativa.

O gráfico de lote exibe quatro quadrantes de resultados. À direita do gráfico há um filtro. O filtro contém intenções e entidades. Quando você seleciona uma seção do gráfico ou um ponto dentro do gráfico, os enunciados associados são exibidos abaixo do gráfico.

Ao passar o mouse sobre o gráfico, uma roda do mouse pode ampliar ou reduzir a exibição no gráfico. Isso é útil quando há muitos pontos no gráfico agrupados firmemente juntos.

O gráfico está em quatro quadrantes, com duas das seções exibidas em vermelho.

1. Selecione a intenção ModifyOrder na lista de filtros. O enunciado é previsto como um True Positive , o que significa que o enunciado correspondeu com êxito à sua previsão positiva listada no arquivo em lote.

   

   As marcas de verificação verdes na lista de filtros também indicam o sucesso do teste para cada intenção. Todas as outras intenções são listadas com uma pontuação positiva de 1/1 porque o enunciado foi testado contra cada intenção, como um teste negativo para quaisquer intenções não listadas no teste de lote.

2. Selecione a Intenção de confirmação . Essa intenção não está listada no teste de lote, portanto, este é um teste negativo do enunciado listado no teste de lote.

   

   O teste negativo foi bem-sucedido, como observado com o texto verde no filtro e a grade.

Revisar os resultados do teste em lote para entidades

A entidade ModifyOrder, como uma entidade de máquina com subentidades, exibe se a entidade de nível superior correspondeu e como as subentidades são previstas.

1. Selecione a entidade ModifyOrder na lista de filtros e, em seguida, selecione o círculo na grade.

2. A previsão da entidade é exibida abaixo do gráfico. A exibição inclui linhas sólidas para previsões que correspondem à expectativa e linhas pontilhadas para previsões que não correspondem à expectativa.

   

Filtrar resultados do gráfico

Para filtrar o gráfico por uma intenção ou entidade específica, selecione a intenção ou entidade no painel de filtragem do lado direito. Os pontos de dados e sua distribuição são atualizados no gráfico de acordo com sua seleção.

Exemplos de resultados de gráficos

No gráfico no portal LUIS, você pode executar as seguintes ações:

Exibir dados de emissão de ponto único

No gráfico, passe o mouse sobre um ponto de dados para ver a pontuação de certeza de sua previsão. Selecione um ponto de dados para recuperar seu enunciado correspondente na lista de enunciados na parte inferior da página.

Ver dados da secção

No gráfico de quatro seções, selecione o nome da seção, como Falso positivo no canto superior direito do gráfico. Abaixo do gráfico, todos os enunciados nessa seção são exibidos abaixo do gráfico em uma lista.

Nesta imagem anterior, o enunciado switch on é rotulado com a intenção TurnAllOn, mas recebeu a previsão de Nenhuma intenção. Esta é uma indicação de que a intenção do TurnAllOn precisa de mais expressões de exemplo para fazer a previsão esperada.

As duas seções do gráfico em vermelho indicam enunciados que não corresponderam à previsão esperada. Estes indicam enunciados que o LUIS precisa de mais formação.

As duas seções do gráfico em verde corresponderam à previsão esperada.

Teste em lote usando a API REST

O LUIS permite testar em lote usando o portal LUIS e a API REST. Os pontos de extremidade para a API REST estão listados abaixo. Para obter informações sobre testes em lote usando o portal LUIS, consulte Tutorial: conjuntos de dados de teste em lote. Use as URLs completas abaixo, substituindo os valores de espaço reservado por sua própria chave de previsão LUIS e ponto de extremidade.

Lembre-se de adicionar sua chave LUIS no Ocp-Apim-Subscription-Key cabeçalho e defina Content-Type como application/json.

Iniciar um teste em lote

Inicie um teste em lote usando um ID de versão do aplicativo ou um slot de publicação. Envie uma solicitação POST para um dos seguintes formatos de ponto de extremidade. Inclua seu arquivo em lote no corpo da solicitação.

Ranhura de publicação

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-NAME>/evaluations

ID da versão do aplicativo

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations

Esses pontos de extremidade retornarão um ID de operação que você usará para verificar o status e obter resultados.

Obter o status de um teste em lote contínuo

Use o ID da operação do teste em lote que você iniciou para obter seu status dos seguintes formatos de ponto de extremidade:

Ranhura de publicação

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/status

ID da versão do aplicativo

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/status

Obter os resultados de um teste em lote

Use o ID da operação do teste em lote que você iniciou para obter seus resultados dos seguintes formatos de ponto final:

Ranhura de publicação

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/result

ID da versão do aplicativo

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/result

Arquivo em lote de enunciados

Envie um arquivo em lote de enunciados, conhecido como conjunto de dados, para teste em lote. O conjunto de dados é um arquivo formatado em JSON contendo um máximo de 1.000 expressões rotuladas. Você pode testar até 10 conjuntos de dados em um aplicativo. Se precisar de testar mais, elimine um conjunto de dados e, em seguida, adicione um novo. Todas as entidades personalizadas no modelo aparecem no filtro de entidades de teste em lote, mesmo que não haja entidades correspondentes nos dados do arquivo em lote.

O arquivo em lote consiste em enunciados. Cada enunciado deve ter uma previsão de intenção esperada, juntamente com quaisquer entidades de aprendizado de máquina que você espera que sejam detetadas.

Modelo de sintaxe de lote para intenções com entidades

Use o seguinte modelo para iniciar o arquivo em lotes:

{
    "LabeledTestSetUtterances": [
        {
            "text": "play a song",
            "intent": "play_music",
            "entities": [
                {
                    "entity": "song_parent",
                    "startPos": 0,
                    "endPos": 15,
                    "children": [
                        {
                            "entity": "pre_song",
                            "startPos": 0,
                            "endPos": 3
                        },
                        {
                            "entity": "song_info",
                            "startPos": 5,
                            "endPos": 15
                        }
                    ]
                }
            ]
        }
    ]
}

O arquivo em lotes usa as propriedades startPos e endPos para anotar o início e o fim de uma entidade. Os valores são baseados em zero e não devem começar ou terminar em um espaço. Isso é diferente dos logs de consulta, que usam propriedades startIndex e endIndex.

Se você não quiser testar entidades, inclua a entities propriedade e defina o valor como uma matriz vazia, [].

Resultados do teste em lote da API REST

Há vários objetos retornados pela API:

• Informações sobre os modelos de intenções e entidades, como precisão, recall e F-score.
• Informações sobre os modelos de entidades, como precisão, recall e pontuação F) para cada entidade
  • Usando o verbose sinalizador, você pode obter mais informações sobre a entidade, como entityTextFScore e entityTypeFScore.
• Forneceu enunciados com os nomes de intenção previstos e rotulados
• Uma lista de entidades falso-positivas e uma lista de entidades falsamente negativas.