Usar parâmetros de comparação em um espaço Genie

Este artigo explica como usar parâmetros de comparação para avaliar a precisão do seu espaço Genie.

Os parâmetros de comparação permitem que você crie um conjunto de perguntas de teste que podem ser executadas para avaliar a precisão geral da resposta do Genie. Um conjunto bem projetado de parâmetros de comparação que cobre as perguntas mais frequentes do usuário ajuda a avaliar a precisão do seu espaço Genie à medida que você o refina.

Adicionar perguntas de parâmetro de comparação

As perguntas de parâmetro de comparação devem refletir diferentes maneiras de formular as perguntas comuns que seus usuários fazem. Você pode usá-los para verificar a resposta do Genie a variações na frase da pergunta ou em diferentes formatos de pergunta.

Ao criar uma pergunta de parâmetro de comparação, você pode incluir opcionalmente uma consulta SQL cujo conjunto de resultados é a resposta correta. Durante as execuções de parâmetros de comparação, a precisão é avaliada comparando o conjunto de resultados da consulta SQL com o gerado pelo Genie.

Para adicionar uma pergunta de parâmetro de comparação, execute as seguintes etapas:

1. Clique em na barra lateral esquerda em um espaço Genie.

2. Clique na guia Perguntas. Em seguida, clique em Adicionar parâmetro de comparação.

3. No campo Pergunta, insira uma pergunta de parâmetro de comparação para testar.

4. (Opcional) Insira a instrução SQL que responde com precisão à pergunta inserida.

   Observação

   Esta etapa é recomendada. Somente as perguntas que incluem este exemplo de instrução SQL podem ser avaliadas automaticamente quanto à precisão. Quaisquer perguntas que não incluam uma resposta do SQL requerem revisão manual para serem pontuadas.

5. (Opcional) Clique em Visualizar para executar sua consulta e exibir os resultados.

6. Quando terminar de editar, clique em Adicionar parâmetro de comparação.

7. Para atualizar uma pergunta depois de salvar, clique no ícone de lápis para abrir a caixa de diálogo Atualizar pergunta.

Usar parâmetros de comparação para testar frases de perguntas alternativas

Ao avaliar a precisão do seu espaço Genie, é importante estruturar os testes para refletir cenários realistas. Os usuários podem fazer a mesma pergunta de maneiras diferentes. O Databricks recomenda adicionar várias frases para a mesma pergunta e usar o mesmo SQL de exemplo em seus testes de parâmetro de comparação para avaliar totalmente a precisão. A maioria dos espaços Genie deve incluir de 2 a 4 frases da mesma pergunta.

Executar perguntas de parâmetro de comparação

Os usuários com, pelo menos, permissões CAN EDIT em um espaço Genie podem criar uma execução de parâmetro de comparação a qualquer momento, que será avaliada automaticamente em todas as perguntas de parâmetro de comparação. Para avaliar cada pergunta de parâmetro de comparação, primeiro enviaremos a pergunta ao Genie e, em seguida, compararemos os resultados do Genie com o parâmetro de comparação. Um dos seguintes rótulos é aplicado a cada parâmetro de comparação:

• Boa: as respostas são marcadas com esse rótulo quando o resultado da consulta gerado pelo Genie corresponde aos resultados da resposta do SQL fornecida. Quando uma resposta é marcada como Boa, significa que os valores da linha correspondem exatamente, independentemente da ordem de classificação ou dos nomes das colunas.
• Precisa de revisão: as respostas são marcadas com esse rótulo quando o Genie não pode avaliar a exatidão ou quando os resultados da consulta gerada pelo Genie não correspondem aos resultados da resposta do SQL fornecida. Se houver alterações inesperadas nas dimensões de uma tabela na resposta gerada ou na resposta do SQL fornecida, a pergunta poderá ser marcada para revisão. Todas as perguntas de parâmetro de comparação que não incluem uma Resposta do SQL devem ser revisadas manualmente.
• Ruim: as respostas nunca são rotuladas automaticamente como ruins. Se os resultados da consulta gerada pelo Genie não corresponderem ao conjunto de resultados da Resposta do SQL fornecida, a pergunta será marcada como Precisa de revisão. Ao revisar esses parâmetros de comparação, você pode marcar um resultado como Ruim se achar que os resultados da consulta gerados pelo Genie não respondem à pergunta.

Para executar todas as perguntas de parâmetro de comparação:

1. Clique em Parâmetros de comparação na barra lateral do espaço Genie, perto do lado esquerdo da tela.
2. Clique em Executar parâmetros de comparação para iniciar a execução do teste.

Acesse avaliações de parâmetro de comparação

Você pode acessar todas as suas avaliações de parâmetro de comparação para rastrear a precisão em seu espaço Genie ao longo do tempo. Quando você clica em na barra lateral esquerda em um espaço Genie, uma lista de execuções de avaliação com carimbo de data/hora é exibida na guia Avaliações. Se nenhuma execução de avaliação for encontrada, consulte Adicionar perguntas de parâmetro de comparação ou Executar perguntas de parâmetro de comparação.

A guia Avaliações mostra uma visão geral das avaliações e seu desempenho relatado nas seguintes categorias:

Nome da avaliação: um carimbo de data/hora que indica quando ocorreu uma execução de avaliação. Clique no carimbo de data/hora para ver os detalhes dessa avaliação. Status de execução: indica se a avaliação foi concluída, pausada ou malsucedida. Se uma execução de avaliação incluir perguntas de parâmetro de comparação que não tenham respostas do SQL predefinidas, ela será marcada para revisão nesta coluna. Precisão: uma avaliação numérica da precisão em todas as perguntas de parâmetro de comparação. Para execuções de avaliação que exigem revisão manual, uma medida de precisão aparece somente depois que essas perguntas são revisadas. Criada por: indica o nome do usuário que executou a avaliação.

Revisar avaliações individuais

Você pode revisar avaliações individuais para obter uma visão detalhada de cada resposta. Você pode editar a avaliação de qualquer pergunta e atualizar todos os itens que precisam de revisão manual.

Para revisar avaliações individuais:

1. Clique em Parâmetros de comparação na barra lateral do espaço Genie, perto do lado esquerdo da tela.

2. Clique no carimbo de data/hora de qualquer avaliação na coluna Nome da avaliação para abrir uma exibição detalhada dessa execução de teste.

   

3. Clique em uma pergunta próxima ao lado esquerdo da tela para ver os detalhes associados. Utilize a tela detalhada da avaliação para executar as próximas etapas.

4. Revise e compare a resposta da Saída do modelo com a resposta da Verdade básica.

   Observação

   Os resultados dessas respostas aparecem nos detalhes da avaliação por uma semana. Após uma semana, os resultados não são mais visíveis. A instrução SQL gerada e a instrução SQL de exemplo permanecem.

5. Clique em no rótulo para editar a avaliação.

   Marque cada resultado como Boa ou Ruim para obter uma pontuação precisa para esta avaliação.