Relatório de exemplo de tendência de execução de teste manual
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020
Este artigo mostra como obter o estado de execução de um ou mais Planos de Teste no Power BI. O relatório gerado é semelhante à imagem a seguir e ao gráfico de tendências de resultados do relatório de progresso.
O relatório exibe um gráfico de tendências que resume o número e os estados de resultado dos Planos de Teste executados durante um período de tempo especificado.
- Aprovado: Número de casos de teste aprovados.
- Falha: Número de casos de teste falhando.
- Não aplicável: número de casos de teste
- Bloqueado: Número de casos de teste impedidos de serem executados.
- NotExecuted: Número de casos de teste definidos, mas não executados.
Perguntas que o relatório responde
Este relatório ajuda você a acompanhar o progresso da equipe em relação aos testes planejados de seu produto ou serviço, respondendo às seguintes perguntas:
- Quantos testes foram concluídos?
- Qual é o status atual dos testes aprovados, reprovados ou bloqueados?
- Quantos testes estão passando e o que a tendência indica sobre a qualidade do software?
- Quantos testes estão falhando?
- Quantos testes estão bloqueados e o que a tendência indica?
Um relatório de tendência de execução de teste íntegro mostra um progresso constante nos planos de teste em execução e aprovação. Idealmente, o relatório mostra um número relativamente plano de casos de teste para um determinado plano. À medida que o ciclo de desenvolvimento avança, o número de casos de teste aprovados deve aumentar e o número de casos de teste em outros estados deve diminuir.
Importante
A integração do Power BI e o acesso ao feed OData do Serviço de Análise estão em disponibilidade geral para Azure DevOps Services e Azure DevOps Server 2020 e versões posteriores. As consultas de exemplo fornecidas neste artigo são válidas somente em Azure DevOps Server 2020 e versões posteriores e dependem da versão prévia v3.0 ou posterior. Incentivamos você a usar essas consultas e nos fornecer comentários.
Pré-requisitos
- Acesso: ser membro de um projeto com pelo menos acesso básico.
- Permissões: por padrão, os membros do projeto têm permissão para consultar o Analytics e criar exibições.
- Para obter mais informações sobre outros pré-requisitos relacionados à ativação de serviços e recursos e atividades gerais de rastreamento de dados, consulte Permissões e pré-requisitos para acessar o Analytics.
Observação
Este artigo pressupõe que você leia Visão geral dos relatórios de exemplo usando consultas OData e tenha uma compreensão básica do Power BI.
Para que o relatório gere dados úteis, a equipe deve realizar as seguintes atividades para gerenciar os planos de teste:
Defina planos de teste, conjuntos de testes e casos de teste. Especifique seu estado. Para que um conjunto de testes seja executado, ele deve estar no estado Em andamento. Para que um Caso de Teste seja executado, ele deve estar no estado Pronto. Para obter detalhes, consulte Criar planos de teste e conjuntos de testes e Criar casos de teste manuais.
Execute testes manuais e verifique os resultados. Marque os resultados de cada etapa de validação no caso de teste como aprovados ou reprovados. Para obter detalhes, consulte Executar testes manuais.
Observação
Os testadores devem marcar uma etapa de teste com um status se for uma etapa de teste de validação. O resultado geral de um teste reflete o status de todas as etapas de teste que foram marcadas. Portanto, o teste terá um status de falha se qualquer etapa de teste for marcada como reprovada ou não marcada.
Consultas de exemplo
Você pode usar as consultas a seguir do conjunto de entidades para criar relatórios de tendências de execução de plano de TestPointHistorySnapshot
teste diferentes, mas semelhantes.
Observação
Para determinar as propriedades disponíveis para fins de filtro ou relatório, consulte Referência de metadados para Análise de Planos de Teste. Você pode filtrar suas consultas ou retornar propriedades usando qualquer um dos Property
valores em um EntityType
ou NavigationPropertyBinding Path
valores disponíveis com um EntitySet
. Cada EntitySet
corresponde a um EntityType
. Para obter mais informações sobre o tipo de dados de cada valor, examine os metadados fornecidos para o EntityType
.
Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Consulta em Branco de Dados>. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v3.0-preview/TestPointHistorySnapshot?"
&"$apply=filter((TestSuite/TestPlanTitle eq '{testPlanTitle}') and (DateSK ge {startDate} and DateSK le {endDate}))"
&"/groupby("
&"(DateSK),"
&"aggregate("
&"$count as TotalCount,"
&"cast(ResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,"
&"cast(ResultOutcome eq 'Failed', Edm.Int32) with sum as Failed,"
&"cast(ResultOutcome eq 'Blocked', Edm.Int32) with sum as Blocked,"
&"cast(ResultOutcome eq 'NotApplicable', Edm.Int32) with sum as NotApplicable,"
&"cast(ResultOutcome eq 'None', Edm.Int32) with sum as NotExecuted,"
&"cast(ResultOutcome ne 'None', Edm.Int32) with sum as Executed
)
)", null, [Implementation="2.0"])
in
Source
Cadeias de caracteres de substituição e detalhamento de consulta
Substitua as cadeias de caracteres a seguir pelos valores. Não inclua colchetes {} com sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua por {organization}
Fabrikam
, não {Fabrikam}
.
{organization}
- Nome da sua organização{project}
- O nome do seu projeto de equipe ou omita totalmente "/{project}" para uma consulta entre projetos{testPlanTitle}
- Título do seu plano de teste. Exemplo:Fabrikam test plan
.{startDate}
e{endDate}
- Intervalo de datas de interesse. Você pode inserir as datas no formato AAAAMMDD. Por exemplo,20220815
para 15 de agosto de 2022.
Detalhamento da consulta
A tabela a seguir descreve cada parte da consulta.
Parte da consulta
Descrição
filter((TestSuite/TestPlanTitle eq '{testPlanTitle}'))
Retorne dados apenas para o plano de teste selecionado. Você pode adicionar vários planos com uma cláusula como filter((TestSuite/TestPlanTitle eq '{testPlanTitle1}'
ou TestSuite/TestPlanTitle eq '{testPlanTitle2}'))
. Você também pode aplicar quaisquer outros filtros relacionados a conjuntos de testes e configurações de teste aqui.
and (DateSK ge {startDate} and DateSK le {endDate})
Intervalo de datas de interesse. Você pode inserir as datas no YYYYMMDD
formato.
/groupby((DateSK)
Agrupe os dados em compartimentos da mesma data. Ele produz um conjunto de valores por dia em um determinado intervalo de datas.
/aggregate($count as TotalCount,
Agregue dados entre os pontos de teste filtrados com contagem como TotalCount
.
cast(LastResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,
Ao agregar, os pontos de teste de tipo fundido com o resultado de execução mais recente 'Aprovado' para 1 e somá-los como Passed
métrica.
(Opcional) Renomear consulta
Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Basta inserir um novo nome no painel Configurações de Consulta .
Alterar o tipo de dados da coluna
No Editor do Power Query, selecione a TotalCount
coluna e todas as outras colunas e, em seguida, selecione Tipo de Dados no menu Transformar e escolha Número Inteiro. Para obter mais informações sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Transformar um tipo de dados de coluna.
(Opcional) Renomear campos de coluna
Você pode renomear campos de coluna. Por exemplo, você pode renomear a coluna NotApplicable
para Not Applicable
, ou TotalCount
para Total Count
. Para saber como, consulte Renomear campos de coluna.
Feche a consulta e aplique suas alterações
Depois de concluir todas as transformações de dados, escolha Fechar e Aplicar no menu Página Inicial para salvar a consulta e retornar à guia Relatório no Power BI.
Criar o relatório de gráfico de área empilhada
No Power BI, em Visualizações, escolha o relatório Gráfico de área empilhada.
Arraste e solte o DateSK no eixo X.
Arraste e solte Passed, Failed, Blocked, NotApplicable e NotExecuted no eixo Y.
Seu relatório deve ser semelhante à imagem a seguir.