Testar configurações diferentes

  • Artigo

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Seus usuários provavelmente instalarão ou executarão seu aplicativo em uma ampla variedade de configurações, como diferentes sistemas operacionais, navegadores da Web e outras variações. Você desejará executar pelo menos alguns de seus testes em estágios que tenham essas configurações diferentes.

Use seus planos de teste para decidir quais testes você deseja executar em quais configurações. Você precisa garantir que, ao executar seus testes, tenha configurado seus estágios para as configurações necessárias.

Você pode desenhar uma matriz esquemática das combinações que deseja testar:

Matriz de teste de configurações do navegador e do sistema operacional

Então você pode:

Pré-requisitos

  • Você precisa se conectar a um projeto. Se ainda não tiver um projeto, crie um.
  • Você deve ser adicionado a um projeto. Para ser adicionado, confira Adicionar usuários a um projeto ou uma equipe.
  • Para exibir ou adicionar configurações de teste, você deve ter acesso Básico ou superior.
  • Para adicionar configurações de teste, você deve ter a permissão Gerenciar configurações de teste no nível do projeto definida como Permitir. Por padrão, essa permissão é concedida aos membros dos grupos Colaboradores e Administradores do Projeto.

Para obter mais informações, consulte Acesso e permissões de teste manual.

Trabalhar com a ferramenta de linha de comando TCM

Para usar a ferramenta de linha de comando TCM, você deve ter os seguintes itens em vigor:

  • Visual Studio 2017 Professional ou versão anterior instalado. Você acessa o TCM no prompt de comando e nos seguintes diretórios:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Para executar um comando TCM, especifique os /collection parâmetros /login e /teamproject conforme necessário.

    Parâmetro Descrição
    /coleção:CollectionURL Obrigatória. Especifica o URI da coleção de projetos de equipe. O formato do URI é o seguinte:
    - Para Azure DevOps Services: http://dev.azure.com/OrganizationName
    - Para Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Se nenhum diretório virtual for usado, o formato do URI será o seguinte:http://ServerName:Port/CollectionName.
    /teamproject:project Obrigatória. O nome do projeto que contém os objetos de teste para os quais você deseja clonar ou importar testes automatizados.
    /login:username,[password] Opcional. Especifica o nome e a senha de um usuário válido do Azure DevOps e quem tem permissões para executar o comando. Use essa opção se suas credenciais do Windows não tiverem as permissões apropriadas, se você estiver usando a autenticação básica ou se não estiver conectado a um domínio.

  • Você deve ser um membro válido de um ou mais projetos que deseja acessar e ter as permissões necessárias com base nos comandos executados. Para obter mais informações, consulte Acesso e permissões de teste manual.

  • Você deve ter os mesmos níveis de acesso necessários para incluir planos de teste e conjuntos de testes para clonar ou importar objetos de teste.

Exibir configurações e variáveis

Muitas vezes, você deseja ver as configurações que já estão disponíveis para executar seus testes.

Você pode exibir uma lista de configurações de teste e variáveis de configuração na página Configurações .

Enquanto estiver em seu projeto, selecione Configurações de Planos>de Teste na área de navegação à esquerda. Aqui você verá todas as configurações e variáveis de teste atualmente disponíveis para seus planos de teste.

Captura de tela do Editor de Consultas, Planos de teste de consulta.

Selecione uma configuração ou variável para ver mais informações sobre ela na janela à direita.

Criar configurações e variáveis

Uma configuração de teste é uma combinação de valores de variáveis de configuração. Suas variáveis de configuração podem ser, por exemplo, sistema operacional, navegador, tipo de CPU, banco de dados. Uma configuração pode ser "Windows 8 + CPU de 32 bits" ou "Windows 10 + CPU de 64 bits".

Crie as variáveis de configuração primeiro. Em seguida, combine vários valores de variáveis para criar uma configuração.

  1. Abra a página Configurações no portal da Web Test Plans , selecione o + ícone e selecione Nova variável de configuração.

    A captura de tela mostra a opção Nova variável de configuração no menu Novo.

  2. Digite um nome para a variável, como Navegador, e uma descrição. Selecione Adicionar novo valor e, em seguida, adicione um valor. Adicione quantos valores desejar à variável de configuração e salve-a.

    A captura de tela mostra a adição de valores a uma nova variável de configuração.

  3. Repita as etapas para criar quaisquer outras variáveis de configuração necessárias. Por exemplo, crie uma variável de configuração chamada Sistema operacional com os nomes de cada sistema operacional no qual você deseja testar.

    A captura de tela mostra a configuração dos valores de uma variável de configuração de sistemas operacionais.

  4. Selecione o + ícone e selecione Nova configuração de teste.

    A captura de tela mostra a opção Nova configuração de teste no menu Novo.

  5. Digite um nome para a configuração de teste e adicione as variáveis de configuração que você criou. Escolha um valor para cada variável para essa configuração.

    A captura de tela mostra a adição de variáveis à nova configuração de teste.

    Certifique-se de que Designar a novos planos de teste esteja marcado para tornar essa configuração o padrão para todos os novos planos de teste que você criar.

  6. Salve sua nova configuração de teste.

Uma configuração de teste é uma combinação de valores de variáveis de configuração. Suas variáveis de configuração podem ser, por exemplo, sistema operacional, navegador, tipo de CPU, banco de dados. Uma configuração pode ser "Windows 8 + CPU de 32 bits" ou "Windows 10 + CPU de 64 bits".

Você deve criar as variáveis de configuração primeiro. Em seguida, combine vários valores de variáveis para criar uma configuração.

  1. Abra a página Configurações no portal da Web Test Plans , escolha o novo ícone e selecione Nova variável de configuração.

    Adicionando uma nova variável de configuração

  2. Digite um nome para a variável, como Navegador, e digite um valor. Adicione quantos valores desejar à variável de configuração e salve-a.

    Configurando os valores para uma nova variável de configuração

  3. Repita as etapas para criar quaisquer outras variáveis de configuração necessárias. Por exemplo, crie uma variável de configuração chamada Sistema operacional com os nomes de cada sistema operacional no qual você deseja testar.

    Definindo os valores para uma variável de configuração de sistemas operacionais

  4. Escolha o novo ícone e selecione Nova configuração de teste.

    Adicionando uma nova configuração de teste

  5. Digite um nome para a configuração de teste e adicione as variáveis de configuração que você criou. Escolha um valor para cada variável para essa configuração.

    Adicionando variáveis à nova configuração de teste

    Certifique-se de que a opção Designar a novos planos de teste esteja marcada para tornar essa a configuração padrão para todos os novos planos de teste que você criar.

  6. Salve sua nova configuração de teste.

Atribuir configurações a planos e suítes de teste

Você pode designar configurações a um conjunto de testes ou a um caso de teste individual. As configurações atribuídas a uma suíte de testes se aplicam a todos os testes ou suítes dentro dela.

  1. Para atribuir uma configuração a um conjunto de testes, na página Planos de teste, selecione um plano. Na área Conjuntos de Testes, selecione um conjunto de testes e selecione Mais opções ou clique com o botão direito do mouse para abrir o menu de contexto e, em seguida, selecione Atribuir configuração.

    A captura de tela mostra a opção do menu Atribuir configuração.

    Se você adicionar várias configurações a um conjunto de testes, os casos de teste serão repetidos com cada uma das configurações atribuídas.

    A captura de tela mostra várias atribuições de configuração a um conjunto de testes.

  2. Se necessário, substitua a configuração padrão designada a um caso de teste e designe a configuração necessária. Selecione um ou mais casos de teste, abra o menu de contexto e selecione Designar configuração.

    A captura de tela mostra a atribuição de uma configuração atribuída a um caso de teste.

  3. Procure e selecione as configurações a serem designadas aos casos de teste.

    A captura de tela mostra as configurações de configuração para um caso de teste.

É possível designar configurações a um plano de teste, um conjunto de testes ou um caso de teste individual. As configurações designadas a um plano de teste ou conjunto de testes se aplicam a todos os testes ou conjuntos dentro dele.

  1. Para atribuir uma configuração a um plano de teste, na página Planos de teste, abra o menu de atalho do plano e escolha Atribuir configuração ao plano de teste.

    Designando uma configuração a um plano de teste

  2. Para atribuir uma configuração a uma suíte de testes, abra o menu de atalho da suíte e escolha Atribuir configuração à suíte de testes.

    Atribuindo uma configuração a um conjunto de testes

    Se você incluir várias configurações em um plano ou conjunto de testes, os casos de teste serão repetidos no plano ou conjunto com cada uma das configurações designadas.

    Atribuição de várias configurações a um conjunto de testes

  3. Se necessário, substitua a configuração padrão designada a um caso de teste e designe a configuração necessária. Selecione um ou mais casos de teste, abra o menu de atalho e escolha Designar configurações.

    Substituindo a configuração padrão designada a um caso de teste

  4. Procure e selecione as configurações a serem atribuídas a esses casos de teste.

    Configurando as configurações necessárias para um caso de teste

Executar testes com cada configuração

Configure uma plataforma de teste para uma configuração específica, como testar o aplicativo usando o Google Chrome no Windows 10.

  1. Selecione e execute um teste que tenha essa configuração atribuída.

    A captura de tela mostra um teste com uma configuração específica e a opção Executar para aplicativo Web selecionada.

    À medida que você executa o teste, um lembrete da configuração aparece na barra de status.

    A captura de tela mostra a configuração desse teste na barra de status.

  1. Configure uma plataforma de teste para uma configuração específica, como testar o aplicativo usando o Google Chrome no Windows 10.

  2. Selecione e execute um teste que tenha essa configuração atribuída.

    Executando o teste com a configuração atribuída

    À medida que você executa o teste, um lembrete da configuração necessária é mostrado na barra de status da janela do Test Runner.

    A configuração necessária aparece na janela Test Runner

Acompanhe os resultados do teste para cada configuração

  1. Abra a página Gráficos do seu conjunto de testes, selecione Novo e selecione Novo gráfico de resultados de teste.

    A captura de tela mostra a opção de menu Novo gráfico de resultados de teste.

  2. Escolha um tipo de gráfico, como um gráfico de pizza ou gráfico de barras, selecione Agrupar por>Configuração e escolha OK.

    A captura de tela mostra a escolha de uma opção de configuração para agrupar por na caixa de diálogo configurar gráfico.

    É criado um gráfico que pode ajudá-lo a acompanhar seus testes com base nas configurações. Você pode fixar esse gráfico em seu painel.

    A captura de tela mostra um gráfico de barras com valores para Não executado, Aprovado e Falha.

Se você tiver um caso de teste que aparece em várias suítes de teste, poderá definir as diferentes configurações para cada suíte. O mesmo caso de teste pode ter diferentes definições de configuração em diferentes suítes de teste e planos de teste.

  1. Abra a página Gráficos do seu plano de teste ou conjunto de testes, escolha Novo e selecione Novo gráfico de resultados de teste.

    Criando um novo gráfico de resultados de teste

  2. Escolha o tipo de gráfico necessário, selecione Configuração na lista Agrupar por e escolha OK.

    Escolhendo o tipo de gráfico que você precisa

    É criado um gráfico que pode ajudá-lo a acompanhar seus testes com base nas configurações. Você pode fixar esse gráfico em seu painel.

    O gráfico de resultados do teste de configuração

Se você tiver um caso de teste que aparece em vários planos de teste e suítes de teste, poderá configurar as diferentes configurações para cada um deles. O mesmo caso de teste pode ter diferentes definições de configuração em diferentes suítes de teste e planos de teste.