Relatório de exemplo de tendência de execução de teste manual

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Este artigo mostra como obter o estado de execução de um ou mais Planos de Teste no Power BI. O relatório gerado é semelhante à imagem a seguir e ao gráfico de tendências de resultados do relatório de progresso.

Captura de tela do relatório de tendências da área empilhada de execução do plano de teste do Power BI.

O relatório exibe um gráfico de tendências que resume o número e os estados de resultado dos Planos de Teste executados durante um período de tempo especificado.

  • Aprovado: Número de casos de teste aprovados.
  • Falha: Número de casos de teste falhando.
  • Não aplicável: número de casos de teste
  • Bloqueado: Número de casos de teste impedidos de serem executados.
  • NotExecuted: Número de casos de teste definidos, mas não executados.

Perguntas que o relatório responde

Este relatório ajuda você a acompanhar o progresso da equipe em relação aos testes planejados de seu produto ou serviço, respondendo às seguintes perguntas:

  • Quantos testes foram concluídos?
  • Qual é o status atual dos testes aprovados, reprovados ou bloqueados?
  • Quantos testes estão passando e o que a tendência indica sobre a qualidade do software?
  • Quantos testes estão falhando?
  • Quantos testes estão bloqueados e o que a tendência indica?

Um relatório de tendência de execução de teste íntegro mostra um progresso constante nos planos de teste em execução e aprovação. Idealmente, o relatório mostra um número relativamente plano de casos de teste para um determinado plano. À medida que o ciclo de desenvolvimento avança, o número de casos de teste aprovados deve aumentar e o número de casos de teste em outros estados deve diminuir.

Importante

A integração do Power BI e o acesso ao feed OData do Serviço de Análise estão em disponibilidade geral para Azure DevOps Services e Azure DevOps Server 2020 e versões posteriores. As consultas de exemplo fornecidas neste artigo são válidas somente em Azure DevOps Server 2020 e versões posteriores e dependem da versão prévia v3.0 ou posterior. Incentivamos você a usar essas consultas e nos fornecer comentários.

Pré-requisitos

Observação

Este artigo pressupõe que você leia Visão geral dos relatórios de exemplo usando consultas OData e tenha uma compreensão básica do Power BI.

Para que o relatório gere dados úteis, a equipe deve realizar as seguintes atividades para gerenciar os planos de teste:

  • Defina planos de teste, conjuntos de testes e casos de teste. Especifique seu estado. Para que um conjunto de testes seja executado, ele deve estar no estado Em andamento. Para que um Caso de Teste seja executado, ele deve estar no estado Pronto. Para obter detalhes, consulte Criar planos de teste e conjuntos de testes e Criar casos de teste manuais.

  • Execute testes manuais e verifique os resultados. Marque os resultados de cada etapa de validação no caso de teste como aprovados ou reprovados. Para obter detalhes, consulte Executar testes manuais.

    Observação

    Os testadores devem marcar uma etapa de teste com um status se for uma etapa de teste de validação. O resultado geral de um teste reflete o status de todas as etapas de teste que foram marcadas. Portanto, o teste terá um status de falha se qualquer etapa de teste for marcada como reprovada ou não marcada.

Consultas de exemplo

Você pode usar as consultas a seguir do conjunto de entidades para criar relatórios de tendências de execução de plano de TestPointHistorySnapshot teste diferentes, mas semelhantes.

Observação

Para determinar as propriedades disponíveis para fins de filtro ou relatório, consulte Referência de metadados para Análise de Planos de Teste. Você pode filtrar suas consultas ou retornar propriedades usando qualquer um dos Property valores em um EntityType ou NavigationPropertyBinding Path valores disponíveis com um EntitySet. Cada EntitySet corresponde a um EntityType. Para obter mais informações sobre o tipo de dados de cada valor, examine os metadados fornecidos para o EntityType.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Consulta em Branco de Dados>. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let 
    Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v3.0-preview/TestPointHistorySnapshot?" 
        &"$apply=filter((TestSuite/TestPlanTitle eq '{testPlanTitle}') and (DateSK ge {startDate} and DateSK le {endDate}))" 
        &"/groupby(" 
            &"(DateSK)," 
            &"aggregate(" 
                &"$count as TotalCount," 
                &"cast(ResultOutcome  eq 'Passed', Edm.Int32) with sum as Passed," 
                &"cast(ResultOutcome  eq 'Failed', Edm.Int32) with sum as Failed," 
                &"cast(ResultOutcome eq 'Blocked', Edm.Int32) with sum as Blocked," 
                &"cast(ResultOutcome eq 'NotApplicable', Edm.Int32) with sum as NotApplicable," 
                &"cast(ResultOutcome eq 'None', Edm.Int32) with sum as NotExecuted," 
                &"cast(ResultOutcome ne 'None', Edm.Int32) with sum as Executed 
            ) 
        )", null, [Implementation="2.0"]) 
in 
    Source 

Cadeias de caracteres de substituição e detalhamento de consulta

Substitua as cadeias de caracteres a seguir pelos valores. Não inclua colchetes {} com sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua por {organization}Fabrikam, não {Fabrikam}.

  • {organization} - Nome da sua organização
  • {project} - O nome do seu projeto de equipe ou omita totalmente "/{project}" para uma consulta entre projetos
  • {testPlanTitle} - Título do seu plano de teste. Exemplo: Fabrikam test plan.
  • {startDate} e {endDate} - Intervalo de datas de interesse. Você pode inserir as datas no formato AAAAMMDD. Por exemplo, 20220815 para 15 de agosto de 2022.

Detalhamento da consulta

A tabela a seguir descreve cada parte da consulta.


Parte da consulta

Descrição


filter((TestSuite/TestPlanTitle eq '{testPlanTitle}'))

Retorne dados apenas para o plano de teste selecionado. Você pode adicionar vários planos com uma cláusula como filter((TestSuite/TestPlanTitle eq '{testPlanTitle1}' ou TestSuite/TestPlanTitle eq '{testPlanTitle2}')). Você também pode aplicar quaisquer outros filtros relacionados a conjuntos de testes e configurações de teste aqui.

and (DateSK ge {startDate} and DateSK le {endDate})

Intervalo de datas de interesse. Você pode inserir as datas no YYYYMMDD formato.

/groupby((DateSK)

Agrupe os dados em compartimentos da mesma data. Ele produz um conjunto de valores por dia em um determinado intervalo de datas.

/aggregate($count as TotalCount,

Agregue dados entre os pontos de teste filtrados com contagem como TotalCount.

cast(LastResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,

Ao agregar, os pontos de teste de tipo fundido com o resultado de execução mais recente 'Aprovado' para 1 e somá-los como Passed métrica.

(Opcional) Renomear consulta

Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Basta inserir um novo nome no painel Configurações de Consulta .

Captura de tela das opções de menu de consulta do Power BI, renomear consulta.

Alterar o tipo de dados da coluna

No Editor do Power Query, selecione a TotalCount coluna e todas as outras colunas e, em seguida, selecione Tipo de Dados no menu Transformar e escolha Número Inteiro. Para obter mais informações sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Transformar um tipo de dados de coluna.

(Opcional) Renomear campos de coluna

Você pode renomear campos de coluna. Por exemplo, você pode renomear a coluna NotApplicable para Not Applicable, ou TotalCount para Total Count. Para saber como, consulte Renomear campos de coluna.

Feche a consulta e aplique suas alterações

Depois de concluir todas as transformações de dados, escolha Fechar e Aplicar no menu Página Inicial para salvar a consulta e retornar à guia Relatório no Power BI.

Captura de tela da opção Fechar e Aplicar Editor do Power Query.

Criar o relatório de gráfico de área empilhada

  1. No Power BI, em Visualizações, escolha o relatório Gráfico de área empilhada. Captura de tela das seleções de campos de visualização para o relatório de execução de tendências de execução do plano de teste.

  2. Arraste e solte o DateSK no eixo X.

  3. Arraste e solte Passed, Failed, Blocked, NotApplicable e NotExecuted no eixo Y.

Seu relatório deve ser semelhante à imagem a seguir.

Captura de tela do relatório de tendências de área empilhada de execução do plano de teste de exemplo do Power BI.