Teste sua base de conhecimento no QnA Maker

Testar sua base de conhecimento do QnA Maker é uma parte importante de um processo iterativo para melhorar a precisão das respostas que estão sendo retornadas. Você pode testar a base de conhecimento por meio de uma interface de bate-papo aprimorada que também permite fazer edições.

Teste interativo no portal QnA Maker

1. Acesse sua base de dados de conhecimento selecionando seu nome na página Minhas bases de conhecimento.
2. Para acessar o painel deslizante Teste, selecione Testar no painel superior do seu aplicativo.
3. Insira uma consulta na caixa de texto e selecione Enter.
4. A resposta mais adequada da base de dados de conhecimento é retornada como resposta.

Limpar painel de teste

Para limpar todas as consultas de teste inseridas e seus resultados do console de teste, selecione Começar de novo no canto superior esquerdo do painel Teste.

Fechar painel de teste

Para fechar o painel Teste, selecione o botão Testar novamente. Enquanto o painel Teste estiver aberto, não é possível editar o conteúdo da Base de Dados de Conhecimento.

Inspecionar pontuação

Você inspeciona os detalhes do resultado do teste no painel Inspecionar.

1. Com o painel deslizante Teste aberto, selecione Inspecionar para obter mais detalhes sobre essa resposta.

   

2. O painel Inspeção é exibido. O painel inclui a intenção de pontuação máxima, bem como quaisquer entidades identificadas. O painel mostra o resultado do enunciado selecionado.

Corrigir a resposta com melhor pontuação

Se a resposta com a melhor pontuação estiver incorreta, selecione a resposta correta na lista e selecione Salvar e treinar.

Adicionar perguntas alternativas

Você pode adicionar formas alternativas de uma pergunta a uma determinada resposta. Digite as respostas alternativas na caixa de texto e selecione enter para adicioná-las. Selecione Salvar e Treinar para armazenar as atualizações.

Adicionar uma nova resposta

Você pode adicionar uma nova resposta se alguma das respostas existentes que foram correspondidas estiver incorreta ou se a resposta não existir na base de dados de conhecimento (nenhuma boa correspondência encontrada no KB).

Na parte inferior da lista de respostas, use a caixa de texto para inserir uma nova resposta e pressione enter para adicioná-la.

Selecione Salvar e treinar para manter essa resposta. Um novo par pergunta-resposta foi adicionado à sua base de conhecimento.

Testar a base de dados de conhecimento publicada

Você pode testar a versão publicada da base de dados de conhecimento no painel de teste. Depois de publicar o KB, selecione a caixa KB publicado e envie uma consulta para obter os resultados do KB publicado.

Teste em lote com ferramenta

Use a ferramenta de teste em lote quando quiser:

• determinar a melhor resposta e pontuação para um conjunto de perguntas
• validar a resposta esperada para o conjunto de perguntas

Pré-requisitos

• Subscrição do Azure - crie uma gratuitamente
• Crie um serviço QnA Maker ou use um serviço existente, que usa o idioma inglês.
• Baixe o arquivo de exemplo .docx de várias voltas
• Baixe a ferramenta de teste em lote, extraia o arquivo executável do .zip arquivo.

Entrar no portal do QnA Maker

Faça login no portal do QnA Maker.

Criar uma nova base de dados de conhecimento a partir do arquivo de sample.docx de várias voltas

1. Selecione Criar uma base de dados de conhecimento na barra de ferramentas.

2. Ignore a Etapa 1 porque você já deve ter um recurso do QnA Maker, passando para a Etapa 2 para selecionar as informações do recurso existente:

   • Microsoft Entra ID
   • Nome de assinante do Azure
   • Nome do Serviço Azure QnA
   • Língua - a língua inglesa

3. Insira o nome Multi-turn batch test quickstart como o nome da sua base de dados de conhecimento.

4. Na Etapa 4, defina as configurações com a tabela a seguir:

   Definição	Value
   Habilite a extração de vários turnos de URLs, .pdf ou arquivos .docx.	Selecionado
   Texto de resposta padrão	Batch test - default answer not found.
   + Adicionar ficheiro	Selecione a listagem de arquivos baixados .docx nos pré-requisitos.
   Conversa	Selecione Profissional

5. Na Etapa 5, selecione Criar seu KB.

   Quando o processo de criação termina, o portal exibe a base de dados de conhecimento editável.

Guardar, treinar e publicar a base de dados de conhecimento

1. Selecione Salvar e treinar na barra de ferramentas para salvar a base de dados de conhecimento.

2. Selecione Publicar na barra de ferramentas e, em seguida, selecione Publicar novamente para publicar a base de dados de conhecimento. A publicação disponibiliza a base de dados de conhecimento para consultas a partir de um ponto de extremidade de URL público. Quando a publicação estiver concluída, salve a URL do host e as informações da chave do ponto de extremidade mostradas na página Publicar .

   Dados necessários	Exemplo
   Anfitrião Publicado	https://YOUR-RESOURCE-NAME.azurewebsites.net
   Chave publicada	XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (Sequência de 32 caracteres mostrada após Endpoint )
   ID da Aplicação	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (Sequência de 36 caracteres mostrada como parte de POST)

Criar arquivo de teste em lote com IDs de pergunta

Para usar a ferramenta de teste em lote, crie um arquivo nomeado batch-test-data-1.tsv com um editor de texto. O arquivo deve estar no formato UTF-8 e precisa ter as seguintes colunas separadas por uma guia.

Para esta base de dados de conhecimento, adicione três linhas de apenas as duas colunas necessárias ao arquivo. A primeira coluna é o ID da base de dados de conhecimento e a segunda coluna deve ser a seguinte lista de perguntas:

Essas perguntas são a redação exata da base de conhecimento e devem retornar 100 como pontuação de confiança.

Em seguida, adicione algumas perguntas, semelhantes a essas perguntas, mas não exatamente iguais em mais três linhas, usando o mesmo ID da base de conhecimento:

O arquivo de teste em lote, quando aberto no Excel, se parece com a imagem a seguir. O ID da base de dados de conhecimento foi substituído por xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx para segurança. Para seu próprio teste em lote, verifique se a coluna exibe seu ID da base de dados de conhecimento.

Testar o arquivo em lotes

Execute o programa de teste em lote usando o seguinte formato de CLI na linha de comando.

Substitua YOUR-RESOURCE-NAME e ENDPOINT-KEY por seus próprios valores para nome de serviço e chave de ponto de extremidade. Esses valores são encontrados na página Configurações no portal do QnA Maker.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

O teste é concluído e gera o out.tsv arquivo:

O ID da base de dados de conhecimento foi substituído por xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx para segurança. Para seu próprio teste em lote, a coluna exibe seu ID da base de dados de conhecimento.

O resultado do teste de pontuação de confiança, na quarta coluna, mostra que as três principais perguntas retornaram uma pontuação de 100 como esperado, porque cada pergunta é exatamente a mesma que aparece na base de conhecimento. As três últimas questões, com nova redação da pergunta, não retornam 100 como pontuação de confiança. Para aumentar a pontuação do teste e de seus usuários, você precisa adicionar mais perguntas alternativas à base de conhecimento.

Teste com os campos opcionais

Depois de entender o formato e o processo, você pode gerar um arquivo de teste, para ser executado em sua base de dados a partir de uma fonte de dados, como logs de bate-papos.

Como a fonte de dados e o processo são automatizados, o arquivo de teste pode ser executado muitas vezes com configurações diferentes para determinar os valores corretos.

Por exemplo, se você tiver um log de bate-papo e quiser determinar qual texto do log de bate-papo se aplica a quais campos de metadados, crie um arquivo de teste e defina os campos de metadados para cada linha. Execute o teste e, em seguida, reveja as linhas que correspondem aos metadados. Geralmente, as correspondências devem ser positivas, mas você deve rever os resultados para falsos positivos. Um falso positivo é uma linha que corresponde aos metadados, mas, com base no texto, não deve corresponder.

Usando campos opcionais no arquivo de teste em lote de entrada

Use o gráfico a seguir para entender como localizar os valores de campo para dados opcionais.

Adicionar metadados à base de dados de conhecimento

1. No portal QnA, na página Editar , adicione metadados das topic:power seguintes perguntas:

   Perguntas
   Carregue o seu Surface Pro 4
   Verifique o nível da bateria

   Dois pares de QnA têm o conjunto de metadados.

   Gorjeta

   Para ver os metadados e IDs QnA de cada conjunto, exporte a base de dados de conhecimento. Selecione a página Configurações e, em seguida, selecione Exportar como um .xls arquivo. Encontre este arquivo baixado e abra com o Excel revisando metadados e ID.

2. Selecione Salvar e treinar, selecione a página Publicar e selecione o botão Publicar . Essas ações disponibilizam a alteração para o teste em lote. Transfira a base de dados de conhecimento a partir da página Definições .

   O arquivo baixado tem o formato correto para os metadados e o ID correto do conjunto de perguntas e respostas. Use estes campos na próxima seção

   

Criar um segundo teste em lote

Há dois cenários principais para o teste em lote:

• Processar arquivos de log de bate-papo - Determine a principal resposta para uma pergunta inédita - a situação mais comum é quando você precisa processar o arquivo de log de consultas, como as perguntas do usuário de um bot de chat. Crie um teste de arquivo em lotes, com apenas as colunas necessárias. O teste devolve a resposta principal para cada pergunta. Isso não significa que a resposta principal seja a resposta correta. Depois de concluir este teste, passe para o teste de validação.
• Teste de validação - Valide a resposta esperada. Este teste requer que todas as perguntas e respostas correspondentes esperadas no teste em lote tenham sido validadas. Isso pode exigir algum processo manual.

O procedimento a seguir pressupõe que o cenário é processar logs de bate-papo com

1. Crie um novo arquivo de teste em lote para incluir dados opcionais, batch-test-data-2.tsv. Adicione as seis linhas do arquivo de entrada de teste em lote original e, em seguida, adicione os metadados, a parte superior e o ID do par QnA para cada linha.

   Para simular o processo automatizado de verificação de novo texto de logs de bate-papo em relação à base de dados de conhecimento, defina os metadados de cada coluna com o mesmo valor: topic:power.

   

2. Execute o teste novamente, alterando os nomes dos arquivos de entrada e saída para indicar que é o segundo teste.

   

Resultados dos testes e um sistema de teste automatizado

Esse arquivo de saída de teste pode ser analisado como parte de um pipeline de teste contínuo automatizado.

Essa saída de teste específica deve ser lida como: cada linha foi filtrada com metadados e, como cada linha não correspondia aos metadados na base de dados de conhecimento, a resposta padrão para essas linhas não correspondentes retornava ("nenhuma boa correspondência encontrada em kb"). Das linhas que corresponderam, o ID e a pontuação do QnA foram devolvidos.

Todas as linhas retornaram o rótulo de incorreto porque nenhuma linha correspondia ao ID de resposta esperado.

Você deve ser capaz de ver com esses resultados que você pode fazer um log de bate-papo e usar o texto como a consulta de cada linha. Sem saber nada sobre os dados, os resultados dizem muito sobre os dados que você pode usar daqui para frente:

• meta-dados
• QnA ID
• score

A filtragem com metadados foi uma boa ideia para o teste? Sim e não. O sistema de teste deve criar arquivos de teste para cada par de metadados, bem como um teste sem pares de metadados.

Clean up resources (Limpar recursos)

Se você não vai continuar testando a base de dados de conhecimento, exclua a ferramenta de arquivo em lote e os arquivos de teste.

Se você não vai continuar a usar essa base de dados de conhecimento, exclua a base de dados de conhecimento com as seguintes etapas:

1. No portal do QnA Maker, selecione Minhas bases de conhecimento no menu superior.
2. Na lista de bases de dados de conhecimento, selecione o ícone Excluir na linha da base de dados de conhecimento deste início rápido.

A documentação de referência sobre a ferramenta inclui:

• O exemplo de linha de comando da ferramenta
• o formato para arquivos de entrada e saída TSV

Próximos passos