Analisar o loop de aprendizado com uma avaliação offline

Saiba como criar uma avaliação offline e interpretar os resultados.

As avaliações offline permitem medir a eficácia do Personalizador em comparação ao comportamento padrão do aplicativo em um período de dados registrados (histórico) e avaliar o desempenho de outras definições de configuração de modelo para seu modelo.

Ao criar uma avaliação offline, a opção Descoberta de otimização executará avaliações offline em diversos valores de política de aprendizado para encontrar um que possa melhorar o desempenho do modelo. Você também pode fornecer políticas adicionais para serem analisadas na avaliação offline.

Leia sobre avaliações offline para saber mais.

Pré-requisitos

• Um recurso configurado do Personalizador
• O recurso do Personalizador deve ter uma quantidade representativa de dados registrados. Em geral, recomendamos pelo menos 50.000 eventos nos logs para obter resultados significativos de avaliação. Como opção, você também pode já ter exportado os arquivos de política de aprendizagem que deseja testar e comparar nesta avaliação.

Executar uma avaliação offline

1. No portal do Azure, localize o recurso do Personalizador.

2. Na portal do Azure, vá para a seção Avaliações e selecione Criar Avaliação.

3. Preencha as opções da janela Criar uma avaliação:

   • Um nome de avaliação.
   • Datas de início e de término – essas são datas que especificam o intervalo de data a ser usado na avaliação. Esses dados precisam estar presentes nos logs, conforme especificado no valor Retenção de Dados.
   • Defina a opção Descoberta de otimização como sim se desejar que o Personalizador tente encontrar políticas de aprendizado mais ideais.
   • Adicione configurações de aprendizado: carregue um arquivo de política de aprendizagem caso deseje avaliar uma política personalizada ou exportada anteriormente.

   

4. Para iniciar a avaliação, selecione Iniciar a avaliação.

Examinar os resultados da avaliação

As avaliações podem levar muito tempo para serem executadas, dependendo da quantidade de dados a serem processados, do número de políticas de aprendizado para comparação e se uma otimização foi solicitada.

1. Depois de concluída, você pode selecionar a avaliação na lista de avaliações e selecionar Comparar a pontuação do aplicativo com outras configurações de aprendizado potenciais. Selecione esse recurso quando desejar ver como sua política de aprendizado atual é executada em comparação com uma nova política.

2. Depois, examine o desempenho das políticas de aprendizado.

   

Você verá várias políticas de aprendizado no gráfico, juntamente com a recompensa média estimada, intervalos de confiança e opções para baixar ou aplicar uma política específica.

• "Online" – atual política do Personalizador
• "Baseline1" – política de linha de base do aplicativo
• "BaselineRand" – uma política para tomar ações aleatoriamente
• "Inter-len#" ou "Hyper#" – políticas criadas pela descoberta de Otimização.

Selecione Aplicar para aplicar a política que melhora o modelo para seus dados.

Próximas etapas

• Saiba como as avaliações offline funcionam.