O que é Azure Test Plans?

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

O Azure Test Plans oferece ferramentas poderosas para impulsionar a qualidade e a colaboração em todo o processo de desenvolvimento. Essa solução de gerenciamento de testes baseada em navegador oferece suporte a testes manuais planejados, testes de aceitação do usuário, testes exploratórios e feedback das partes interessadas.

Como Azure Test Plans funciona?

Por meio de uma combinação de ferramentas baseadas em navegador — planos de teste, relatório de progresso, parâmetros, configurações, execuções e ferramentas de teste— e recursos de integração do DevOps, Azure Test Plans dá suporte aos seguintes objetivos de teste:

• Realize testes manuais e exploratórios:

  • Organize testes manuais planejados: Designe testadores e líderes de teste para organizar testes em planos de teste e conjuntos de testes.
  • Realize testes de aceitação do usuário: Designe testadores de aceitação do usuário para verificar se o valor entregue atende aos requisitos do cliente, reutilizando artefatos de teste criados por equipes de engenharia.
  • Execute testes exploratórios: faça com que desenvolvedores, testadores, equipes de UX, proprietários de produtos e outros explorem os sistemas de software sem usar planos de teste ou conjuntos de testes.
  • Reúna feedback das partes interessadas: envolva as partes interessadas fora da equipe de desenvolvimento, como usuários das divisões de marketing e vendas, para realizar testes.

• Automatize o teste: integre os Planos de Teste do Azure ao Azure Pipelines para dar suporte a testes em CI/CD. Associe planos de teste e casos de teste a pipelines de build ou lançamento. Adicione tarefas de pipeline para capturar e publicar resultados de teste. Revise os resultados do teste por meio de relatórios de progresso integrados e relatórios de teste de pipeline.

• Garanta a rastreabilidade: vincule casos de teste e conjuntos de testes a histórias de usuários, recursos ou requisitos para rastreabilidade de ponta a ponta. Vincule automaticamente testes e defeitos aos requisitos e compilações que estão sendo testados. Adicione e execute testes do quadro ou use o hub de planos de teste para equipes maiores. Acompanhe o teste de requisitos com os resultados do pipeline e o widget Requisitos.

• Acompanhe relatórios e análises: monitore os resultados e o progresso do teste com gráficos de rastreamento configuráveis, widgets específicos de teste para painéis e relatórios integrados, como relatórios de progresso, relatórios de resultados de teste de pipeline e o serviço Analytics.

Principais benefícios

Azure Test Plans fornece às equipes de desenvolvimento de software os seguintes benefícios.

• Teste em qualquer plataforma: com o portal da Web Test Plans, você pode usar qualquer navegador com suporte para acessar todos os recursos de teste manual. Ele permite que você crie e execute testes manuais por meio de uma interface fácil de usar baseada em navegador que os usuários podem acessar de todos os navegadores principais em qualquer plataforma.

• Coleta de dados de diagnóstico avançada: usando o Test Runner baseado na Web e o cliente do Test Runner, você pode coletar dados de diagnóstico avançados durante seus testes manuais. Esses dados incluem capturas de tela, um log de ação de imagem, gravações de tela, cobertura de código, rastreamentos do IntelliTrace e dados de impacto de teste para seus aplicativos em teste. Esses dados são incluídos automaticamente em todos os bugs criados durante o teste, facilitando a reprodução dos problemas pelos desenvolvedores.

• Rastreabilidade de ponta a ponta: o Azure DevOps fornece rastreabilidade de ponta a ponta de seus requisitos, builds, testes e bugs com a vinculação de itens de trabalho a outros objetos. Os usuários podem acompanhar a qualidade de seus requisitos a partir de cartões no quadro. Os bugs criados durante o teste são automaticamente vinculados aos requisitos e compilações que estão sendo testados, o que ajuda você a acompanhar a qualidade dos requisitos ou builds.

• Análise integrada: o serviço de Análise fornece dados que alimentam relatórios internos, widgets configuráveis dashboard e relatórios personalizáveis usando o Power BI. Os dados acompanham o progresso e as tendências do plano de teste para testes manuais e automatizados. A análise de teste fornece visibilidade quase em tempo real dos dados de teste para builds e versões. As equipes podem agir sobre esses dados para melhorar a garantia de teste para ajudar a manter pipelines íntegros.

• Plataforma extensível. Você pode combinar as ferramentas e as tecnologias que já conhece com as ferramentas de desenvolvimento que funcionam melhor para você se integrar e estender o Azure DevOps. Use as APIs REST e o modelo de contribuição disponíveis para a plataforma de teste para criar extensões que forneçam a experiência necessária para o ciclo de vida de gerenciamento de teste.

Cenários com suporte e requisitos de acesso

O acesso aos recursos do portal da Web do Azure DevOps é gerenciado por meio dos níveis de acesso atribuídos aos usuários. Os três níveis de acesso main são planos Stakeholder, Basic e Basic+Test, conforme descrito em Sobre os níveis de acesso. A tabela a seguir indica o nível de acesso necessário para exercer as tarefas associadas com Azure Test Plans. Além dos níveis de acesso, selecione recursos que exigem permissões para execução. Para obter mais informações, consulte Acesso e permissões de teste manual.

Teste manual e exploratório

Para dar suporte a testes manuais e exploratórios, Azure Test Plans usa tipos de item de trabalho específicos de teste para planejar e criar testes. Além disso, ele fornece duas ferramentas de teste para dar suporte à execução de testes. Os planos de teste, parâmetros e hubs de configurações fornecem as ferramentas para criar e gerenciar com eficiência itens de teste, suas configurações e configurações. Os conjuntos de testes podem ser dinâmicos, conjuntos baseados em requisitos e pacotes baseados em consulta, para ajudá-lo a entender a qualidade dos requisitos associados em desenvolvimento ou estáticos para ajudá-lo a cobrir testes de regressão.

Tipos de item de trabalho específicos do teste

Os tipos de item de trabalho — Test Plans, Conjuntos de Testes, Casos de Teste, Etapas Compartilhadas e Parâmetros Compartilhados — dão suporte a vários links explícitos para dar suporte a requisitos de acompanhamento e compartilhamento de etapas de teste e dados em muitos casos de teste. Os casos de teste podem ser atribuídos como manuais ou automatizados. Para obter uma descrição de cada um desses itens de teste, consulte Testar objetos e termos.

No Azure DevOps, a relação entre um resultado de teste, uma execução de teste e um caso de teste pode ser entendida da seguinte maneira:

• Caso de teste: um cenário específico ou conjunto de etapas projetado para validar um determinado recurso ou funcionalidade.
• Execução de teste: uma instância em que um ou mais casos de teste são executados. Cada execução de teste pode incluir vários casos de teste.
• Resultado do teste: o resultado de uma execução de teste. Cada caso de teste em uma execução de teste tem seu próprio resultado de teste, indicando se ele foi aprovado ou reprovado.

Definir planos de teste e conjuntos de testes

Você cria e gerencia planos de teste e conjuntos de testes no hub de planos de teste . Adicione um ou mais conjuntos de testes, estáticos, baseados em requisitos ou baseados em consulta, aos planos de teste. Exporte e compartilhe planos de teste e conjuntos de testes com suas equipes. Para saber como, confira Criar planos de teste e conjuntos de testes e Copiar ou clonar planos de teste, conjuntos de testes e casos de teste.

Criar testes usando casos de teste

Você define casos de teste manuais definindo as etapas de teste e, opcionalmente, os dados de teste a serem referenciados. Os conjuntos de testes consistem em um ou mais casos de teste. Você pode compartilhar casos de teste em conjuntos de testes. A exibição Grade para definir casos de teste dá suporte a operações de cópia, colagem, inserção e exclusão. Atribua rapidamente um ou vários testadores para executar testes. Exibir resultados de teste e referências a um caso de teste em conjuntos de testes. Para saber como, confira Criar casos de teste.

Em cada caso de teste, você especifica um conjunto de etapas de teste com os resultados esperados. Opcionalmente, você pode adicionar etapas compartilhadas ou parâmetros compartilhados. Para rastreabilidade, vincule casos de teste às histórias, recursos ou bugs do usuário que eles testam.

Gerenciar parâmetros compartilhados

Use o hub Parâmetros para definir e gerenciar parâmetros compartilhados entre casos de teste. Os parâmetros compartilhados dão suporte para testes manuais repetidos várias vezes com dados de teste diferentes. Por exemplo, se os usuários puderem adicionar quantidades diferentes de um produto a um carrinho de compras, você desejará verificar se uma quantidade de 200 funciona e uma quantidade de 1.

Gerenciar configurações e variáveis de teste

Com o hub Configurações, as equipes podem definir, revisar e gerenciar configurações de teste e variáveis referenciadas por planos de teste. As configurações de teste dão suporte para testar seus aplicativos em diferentes sistemas operacionais, navegadores da Web e versões. Assim como acontece com parâmetros compartilhados, as configurações de teste podem ser compartilhadas em vários planos de teste.

Testar ferramentas de execução e teste

Com as ferramentas a seguir, desenvolvedores, testadores e stakeholders podem iniciar testes e capturar dados avançados à medida que executam testes e registram automaticamente defeitos de código vinculados aos testes. Teste seu aplicativo executando testes em aplicativos Web ou desktop.

• Test Runner: uma ferramenta baseada em navegador para testar aplicativos Web e uma versão do cliente da área de trabalho para testar aplicativos da área de trabalho que você inicia no hub de planos de teste para executar testes manuais. O Test Runner dá suporte à coleta de dados avançada ao executar testes, como log de ação de imagem, gravação de vídeo, cobertura de código etc. Ele também permite que os usuários criem bugs e marquem o status de testes.
• Extensão de teste e comentários: uma extensão gratuita para oferecer suporte a testes exploratórios que você acessa nos navegadores Chrome, Microsoft Edge ou Firefox. A extensão captura interações com o aplicativo sendo explorado por meio de imagens ou vídeo e inserindo comentários verbais ou escritos por tipo. As informações são capturadas no tipo de item de trabalho Resposta de Feedback para ajudar a acompanhar os dados de resposta.

Capacidade de execução de teste

Você pode executar as tarefas a seguir usando as ferramentas indicadas.

Executar testes

No hub Planos de teste , guia Executar , os membros da equipe podem iniciar a execução de teste para um ou mais casos de teste definidos para um conjunto de testes. As opções incluem a execução do Test Runner para um aplicativo Web ou desktop. Opcionalmente, os membros da equipe podem selecionar Executar com opções para escolher outros clientes com suporte para teste manual ou selecionar um build para teste automatizado. Para obter mais informações, consulte Executar testes manuais.

Test Runner

O Test Runner executa testes para seus aplicativos Web e desktop. Marque as etapas de teste e os resultados de teste como aprovados ou reprovados e colete dados de diagnóstico, como informações do sistema, logs de ação de imagem, gravações de tela e capturas de tela ao testar. Os bugs arquivados durante os testes incluem automaticamente todos os dados de diagnóstico capturados para ajudar os desenvolvedores a reproduzir os problemas. Para obter mais informações, consulte Executar testes para aplicativos Web e Executar testes para aplicativos da área de trabalho.

Teste de aceitação do usuário

O teste de aceitação do usuário (UAT) ajuda a garantir que as equipes entreguem o valor solicitado pelos clientes. Você pode criar planos e pacotes de teste UAT, convidar vários testadores para executar esses testes e monitorar o progresso e os resultados do teste usando gráficos leves. Para saber como, confira Teste de aceitação do usuário.

Testes exploratórios com a extensão Teste e Feedback

A extensão Teste e Comentários é uma extensão simples baseada em navegador que você pode usar para testar aplicativos Web a qualquer hora e em qualquer lugar, e é simples o suficiente para todos na equipe usarem. Isso ajuda a melhorar a produtividade, permitindo que você gaste mais tempo encontrando problemas e menos tempo arquivando-os.

Comentários dos participantes

Você deve buscar feedback das partes interessadas fora da equipe de desenvolvimento, como equipes de marketing e vendas, o que é vital para o desenvolvimento de software de boa qualidade. Os desenvolvedores podem solicitar comentários sobre suas histórias e recursos de usuário. As partes interessadas podem responder a solicitações de feedback usando a extensão Test & Feedback baseada em navegador - não apenas para classificar e enviar comentários, mas também capturando dados de diagnóstico avançados e arquivando bugs e tarefas diretamente. Confira mais em Solicitar comentários dos stakeholders e Fornecer comentários dos stakeholders.

Teste automatizado

O teste automatizado é facilitado executando testes no Azure Pipelines. A análise de teste fornece visibilidade quase em tempo real dos dados de teste para builds e versões. Ele ajuda a melhorar a eficiência do pipeline identificando problemas repetitivos de qualidade de alto impacto.

Azure Test Plans dá suporte a testes automatizados das seguintes maneiras:

• Associar planos de teste ou casos de teste a pipelines de build ou lançamento

• Especifique tarefas de habilitação de teste em uma definição de pipeline. O Azure Pipelines fornece várias tarefas, incluindo as tarefas a seguir que dão suporte a uma experiência abrangente de análise e relatórios de teste.

  • Tarefa Publicar Resultados do Teste: use para publicar resultados de teste no Azure Pipelines.
  • Tarefa de teste do Visual Studio: use para executar testes funcionais e de unidade (Selenium, Appium, teste de interface do usuário codificado e muito mais) usando o Executor de Teste do Visual Studio.
  • Tarefa da CLI do .NET Core: use para criar, testar, empacotar ou publicar um aplicativo dotnet.

  Para obter mais tarefas, consulte a tarefa Publicar resultados do teste

• Forneça relatórios internos e widgets dashboard configuráveis para exibir resultados de testes de pipeline.

• Colete os resultados do teste e os dados de teste associados no serviço de Análise.

Rastreabilidade

Azure Test Plans dá suporte à vinculação de bugs e requisitos para casos de teste e conjuntos de testes. Além disso, o portal da Web a seguir, as ferramentas relacionadas ao teste dão suporte à rastreabilidade:

• Exibir itens vinculados a um caso de teste: exiba os planos de teste, os conjuntos de testes, os requisitos e os bugs aos quais um caso de teste se vincula.
• Adicionar e executar testes do quadro: um recurso do Azure Boards que dá suporte à definição de casos de teste das histórias de usuário, recursos ou bugs do quadro. Além disso, você pode iniciar o Test Runner ou a extensão Test & Feedback para executar testes ou executar testes exploratórios.
• Widget de qualidade de requisitos: widget configurável usado para acompanhar a qualidade continuamente de um pipeline de build ou lançamento. O widget mostra o mapeamento entre um requisito e os resultados de teste mais recentes executados em relação a esse requisito. Ele fornece insights sobre a rastreabilidade de requisitos. Por exemplo, os requisitos não atendem à qualidade, aos requisitos não testados e assim por diante.

Exibir itens vinculados a um caso de teste

No hub De planos de teste, você pode exibir e abrir os conjuntos de testes, os requisitos e os bugs vinculados a um caso de teste. A guia Conjuntos de Testes também indica os planos de teste e os projetos que fazem referência ao caso de teste. A guia Requisitos lista itens de trabalho vinculados ao caso de teste que pertencem à categoria de requisitos. Além disso, você pode criar uma consulta de links diretos que lista itens que vinculam a casos de teste por meio do tipo de link Testes/Testados. Para obter mais informações, consulte Criar casos de teste e Usar links diretos para exibir dependências.

Adicionar e executar testes a partir da placa

Nos quadros Azure Boards, você pode adicionar testes de uma história de usuário ou recurso, vinculando automaticamente o caso de teste à história de usuário ou recurso. Você pode visualizar, executar e interagir com casos de teste diretamente do quadro e monitorar progressivamente o status diretamente do cartão. Saiba mais em Adicionar, executar e atualizar testes embutidos.

Widget de qualidade de requisitos

O widget de qualidade Requisitos exibe uma lista de todos os requisitos no escopo, juntamente com a Taxa de Aprovação para os testes e a contagem de testes com falha . A seleção de uma contagem de testes com falha abre a guia Testes para o build ou a versão selecionado. O widget também ajuda a rastrear os requisitos sem nenhum teste associado. Para obter mais informações, consulte Rastreabilidade de requisitos.

Relatórios e análise

Para dar suporte a relatórios e análises, Azure Test Plans dá suporte a gráficos de rastreamento de teste, um hub de execuções de teste, vários relatórios de teste de pipeline internos, widgets dashboard e dados de teste armazenados no serviço de Análise.

• Gráficos de teste configuráveis: você pode obter informações sobre a atividade de criação e execução do plano de teste criando gráficos de rastreamento de teste.
• Relatório de progresso: acompanhe o progresso de um ou planos de teste ou conjuntos de testes.
• Execuções de teste: examine os resultados das execuções de teste manuais e automatizadas.
• Widgets de painel: widgets configuráveis que exibem resultados de teste com base em builds ou versões selecionadas. Os widgets incluem o widget Deployment status e o widget Tendência de Resultados de Teste (Avançado).
• Análise de Teste: obtenha insights detalhados de relatórios de pipeline internos ou crie relatórios personalizados consultando o serviço de Análise.

Gráficos de teste configuráveis

Configure rapidamente gráficos leves para acompanhar os resultados manuais de teste usando os tipos de gráfico de sua escolha e fixe os gráficos em seu dashboard para analisar facilmente esses resultados. Escolha uma política de retenção para controlar por quanto tempo os resultados do teste manual são mantidos. Veja mais em Rastrear status de teste.

Relatórios de progresso

Com o hub de relatório Progresso , as equipes podem acompanhar o progresso de mais de um plano de teste ou pacote de testes. Este relatório ajuda a responder às seguintes perguntas:

• Quantos testes foram concluídos?
• Quantos testes foram aprovados, reprovados ou bloqueados?
• É provável que o teste seja concluído a tempo?
• Qual é a taxa diária de execução?
• Quais áreas de teste precisam de atenção?

Execuções de teste

O hub Execuções exibe os resultados das execuções de teste, que incluem todas as execuções de teste, manuais e automatizadas.

Escolha qualquer execução específica para exibir um resumo da execução do teste.

Status da Implantação

O widget configurável do widget deployment status mostra uma exibição combinada do status de implantação e da taxa de aprovação de teste em vários ambientes para um conjunto recente de builds. Configure o widget especificando um pipeline de build, um branch e pipelines de lançamento vinculados. Para exibir o resumo do teste em vários ambientes em uma versão, o widget fornece uma exibição de matriz de cada ambiente e taxa de aprovação de teste correspondente.

Passe o mouse sobre qualquer resumo de build e você pode exibir mais detalhes, especificamente o número de testes passados e com falha.

Tendência de resultados do teste (Avançado)

O widget Tendência de Resultados de Teste (Avançado) fornece visibilidade quase em tempo real dos dados de teste para vários builds e versões. O widget mostra uma tendência dos resultados do teste para pipelines selecionados. Você pode usá-lo para acompanhar a contagem diária de teste, taxa de aprovação e duração do teste. Acompanhar a qualidade do teste ao longo do tempo e melhorar a garantia de teste é fundamental para manter um pipeline de DevOps íntegro. O widget dá suporte ao acompanhamento de métricas avançadas para um ou mais pipelines de build ou pipelines de lançamento. O widget também permite a filtragem de resultados de teste por resultado, métricas de empilhamento e muito mais. Para obter mais informações, consulte Configurar o widget Tendência de Resultados de Teste (Avançado).

Análise de Teste

Os testes internos e widgets com suporte para teste derivam seus dados do serviço de Análise. O serviço de Análise é a plataforma de relatórios para o Azure DevOps e dá suporte à guia Análise e Testes e aos relatórios de detalhamento disponíveis no hub de Pipelines . O relatório de detalhamento de falha de teste fornece um resumo dos testes aprovados e reprovados. Para obter mais informações, consulte Análise de teste.

Além disso, você pode criar relatórios personalizados consultando o serviço de Análise. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

Próximas etapas

Artigos relacionados

• Navegar Test Plans
• Copiar ou clonar planos de teste, conjuntos de testes e casos de teste
• Associar testes automatizados a casos de teste
• Sobre a solicitação e o fornecimento de comentários
• Visão geral da integração entre serviços e colaboração
• Sobre testes de pipeline

Mais recursos

• Teste de unidade
• Noções básicas de teste de unidade
• Testes de unidade de Funções Duráveis
• O que é Teste de Carga do Azure?