Como: Configurar e executar agendada testes depois de criar e implantar seu aplicativo

Você pode usar Visual Studio Lab Management para verificar a qualidade das compilações para seu aplicativo. Você pode usar um modelo de laboratório específico para uma definição de compilação para criar seu aplicativo, implantar o aplicativo em um ambiente virtual e executar testes automatizados para compilação. Esse processo permite que você se certifique-se de que os testes são executados em um ambiente limpo usando-se em um estado conhecido para o seu ambiente virtual. Se houver falha no teste, você reduz a probabilidade de que isso é causado por um ambiente incorretamente configurado ou corrompido, porque você pode usar o mesmo que limpa toda vez.

Você pode executar os testes, selecionando uma suíte de testes do seu plano de teste. Por exemplo, você pode criar um conjunto de teste chamado criar testes de fumaça. Você pode associar os testes automatizados que teste a funcionalidade básica do seu aplicativo com casos de teste e, em seguida, adicionem esses casos de teste a sua suíte. Por exemplo, os testes podem ser testes codificados da interface do usuário que operações básicas de teste em seu aplicativo.

Sempre que o fluxo de trabalho de compilação é concluído para a definição de compilação, os resultados do teste serão salvas. Você pode usar esses resultados para exibir o quão estável sua compilação é e usar essas informações para decidir se isso é a compilação que a equipe de teste agora deve começar a usar. Além disso, você pode verificar diariamente freqüência esses testes passaram para suas compilações.

Use os procedimentos a seguir para criar o fluxo de trabalho para criar, implantar e testar seu aplicativo, investigue quaisquer problemas e o modo de exibição ou analisar os resultados da compilação:

• Verificar os pré-requisitos

• Crie a sua definição de compilação e inicia sua compilação

• Conectar-se ao ambiente a partir de seus resultados de compilação

• Exibir e analisar os resultados do teste para sua compilação.

Web e outros aplicativos complexos podem exigir etapas adicionais para implantá-los quando você usa Visual Studio 2010. Por exemplo, se você usar Visual Studio 2010 para implantar um aplicativo da Web para um servidor IIS, as etapas adicionais descritas nesta página Web da Microsoft.

Observação

Você só pode usar o modelo de laboratório para obter uma definição de compilação com disparadores de compilação sem interrupção, agendada ou Manual. Disparadores de compilação sem interrupção não são recomendados porque uma falha no teste ainda permite que a próxima compilação sem interrupção iniciar ou interromper o sistema de compilação inteira. Não há suporte para o check-in Gated e disparadores de integração contínua.

Pré-requisitos

Antes de configurar o seu fluxo de trabalho de compilação para criar, implantar e testar seu aplicativo, use esta lista para verificar se você concluiu as seguintes tarefas:

Tarefas de pré-requisito

1. Configurar Lab Management incluindo um controlador de compilação e um controlador de teste: Configurando Lab Management pela primeira vez.

2. Criar máquinas virtuais para o seu ambiente e adicione os agentes essas máquinas virtuais. Em seguida, armazene as máquinas virtuais em seu compartilhamento de biblioteca: Como: Criar e máquinas virtuais de armazenamento e os modelos prontos para Lab Management.

3. Importe máquinas virtuais ou modelos para o seu projeto de equipe do SCVMM: Como: Importar uma máquina Virtual ou um modelo do SCVMM.

4. Criar um ambiente que usa essas máquinas virtuais nas funções necessárias e selecione Executar testes e usar um fluxo de trabalho para esse ambiente e iniciar o seu ambiente: Como: Criar um ambiente de máquinas virtuais ou modelos.

   Observação
   Você deve instalar e configurar qualquer software que é necessária para cada máquina virtual para a função que foi selecionado para. Selecionar uma função para uma máquina virtual não instale o software.

5. Para executar testes como parte de seus testes agendados que interagem com a área de trabalho, tais como testes codificados da interface do usuário, você deve seguir estas etapas:

   1. Configure o seu agente de teste para executar como um processo interativo em vez de um serviço: Como: Configurar o seu agente de teste para executar os testes que interagem com a área de trabalho.

      Agora você verá o processo do agente de teste em execução na área de notificação com um status de online.

   2. Se a definição de compilação do seu fluxo de trabalho será revertido para um instantâneo específico, a máquina virtual não pode ser bloqueada ao tentar executar os testes. Você deve se conectar à máquina por usando uma conexão baseada em host ou uma sessão de console antes de usar o seu fluxo de trabalho de instantâneo. Para obter mais informações, consulte Como: Conectar-se a um ambiente Virtual.

6. (Recomendado) Um instantâneo do seu ambiente para usar como um estado limpo para seu fluxo de trabalho: Como: Salvar o estado atual de seu ambiente. Antes de levar esse snapshot, siga estas etapas:

   1. Certifique-se de que as máquinas virtuais em seu ambiente tem as últimas atualizações para seus sistemas operacionais.

   2. Execute o comando gpupdate /force de qualquer máquina virtual no ambiente, que é conectado a um domínio para certificar-se de que quaisquer alterações nas diretivas de usuário foram atualizadas. Se você não executar este comando, seus scripts de implantação podem não funcionar corretamente ou os testes podem não funcionar corretamente. Certifique-se de que seus projetos de código e a projetos de teste para seu aplicativo são verificados no controle de origem: Colocando arquivos sob controle de versão.

   3. Verifique o estado para o ambiente é "executando" e que o estado do fluxo de trabalho e capacidades de teste é "Pronto".

      Observação
      Se as máquinas virtuais nesse instantâneo fazem parte de um domínio e o snapshot é usado por mais tempo do que o período de expiração de senha para o controlador de domínio, as máquinas virtuais não poderá ingressar no domínio. Para obter mais informações, consulte Como: Salvar o estado atual de seu ambiente.

7. Crie uma definição de compilação para seu aplicativo que você pode usar para criar seu aplicativo ou para selecionar uma compilação específica, quando você cria o fluxo de trabalho de compilação usando o modelo de laboratório: Criar uma definição de compilação básico.

8. Associar a um caso de teste de testes automatizados e adicione o caso de teste para uma suíte de testes em seu plano de teste para o projeto de equipe. Para obter mais informações, consulte os seguintes tópicos da Ajuda:

   1. Como: Associar um teste automatizado de um caso de teste

   2. Como: Adicionar um caso de teste para uma suíte de testes

   3. Como: Criar um plano de teste.

9. Crie configurações de teste para executar os testes automatizados que usam as funções no ambiente virtual que você criou: Criar configurações de teste para testes automatizados, como parte de um plano de teste.

Criar sua compilação, implantar e testar o fluxo de trabalho usando o modelo de laboratório para a definição de compilação

Para criar sua compilação, implantar e testar o fluxo de trabalho, você deve seguir estas etapas:

Criar uma definição de compilação básico

Primeiro, você deve criar uma definição de compilação para o código no aplicativo que você deseja implantar. Se você planeja criar seu aplicativo sempre, desative testes nessa definição, porque você irá executar os testes de seu fluxo de trabalho usando o modelo de laboratório.

Para criar uma definição de compilação para seu aplicativo.

1. Sobre o Build menu, clique em Nova definição de compilação.

2. No Geral tab, o nome de definição de compilação , especifique um nome e na Descrição caixa Adicionar uma descrição apropriada.

3. Siga as etapas conforme descrito no tópico Criar uma definição de compilação básico.

Criar a definição de compilação do seu fluxo de trabalho.

Em seguida você deve criar outra definição de compilação para sua compilação, implantar e testar o fluxo de trabalho, como mostrado na ilustração a seguir:

Você deve selecionar o arquivo de LabDefaultTemplate para criar o seu fluxo de trabalho, selecionando para mostrar os detalhes para o modelo de processo de compilação, conforme mostrado na ilustração a seguir:

Para criar uma definição de compilação para seu fluxo de trabalho.

1. Sobre o Build menu, clique em Nova definição de compilação.

2. No Geral tab, o nome de definição de compilação , especifique um nome e na Descrição caixa Adicionar uma descrição apropriada.

3. Escolha as configurações na disparador e espaço de trabalho, Construir padrões, e Política de retenção guias conforme descrito no tópico Criar uma definição de compilação básico.

   Observação
   Você não tem que digitar um caminho de soltar de compilação Construir padrões guia para este fluxo de trabalho de compilação, porque você não criar a saída de compilação quando você usa o modelo de laboratório. Clear Minhas saídas de cópia de compilações e nenhuma pasta suspensa é necessária.

4. Ser capaz de selecionar o modelo de laboratório para a definição de compilação no processo guia em Construir o modelo de processo, clique em Mostrar detalhes.

   Aparecerá uma lista drop-down.

5. Selecione um modelo. Este é o arquivo de processo de compilação que define o fluxo de trabalho.

6. Para criar um fluxo de trabalho para a sua definição de compilação implantar seu aplicativo para um ambiente virtual, selecione LabDefaultTemplate.xaml na lista drop-down para criar o arquivo do processo.

Adicione os detalhes do fluxo de trabalho

Agora você pode adicionar os detalhes para o processo de fluxo de trabalho, como mostrado na ilustração a seguir.

O Assistente de parâmetros de fluxo de trabalho do laboratório apresenta as informações que você deve fornecer.

Você agora pode enfileirar esta compilação para executar o seu fluxo de trabalho e exibir o andamento do seu fluxo de trabalho de compilação.

Para adicionar os detalhes de seu fluxo de trabalho.

1. Para inserir os dados do fluxo de trabalho em parâmetros de processo de compilação, clique em as configurações do processo de laboratório e, em seguida, clique em reticências (…).

   Isso abre o Assistente de parâmetros de fluxo de trabalho de laboratório em que você inserir as informações do fluxo de trabalho.

2. Sobre o ambiente , selecione o ambiente virtual ao qual você deseja implantar seu aplicativo.

   Observação

   Esse ambiente deve estar ativo. Se você estiver usando um ambiente que é armazenado na biblioteca, você deve implantar o ambiente para torná-la ativa. Recomendamos também que esse ambiente criado especificamente para seu fluxo de trabalho e não deve ser usado por outros usuários. Isso evitará problemas em que o ambiente está sendo usado e o fluxo de trabalho de compilação reverte o ambiente de um instantâneo específico ou scripts de implantação são executados no ambiente quando outro usuário executa um teste.

3. (Recomendado) Se você deseja ter a definição de compilação do laboratório para reverter o ambiente para um estado conhecido, selecione Reverter para um instantâneo específico do ambiente e clique nas reticências (…) para selecionar um instantâneo específico.

   O Selecione instantâneo do ambiente caixa de diálogo é exibida. Selecione o instantâneo e clique em OK.

   Importante
   É recomendável que você reverter para um snapshot para certificar-se de que você execute consistentemente os testes sempre que você constrói a partir de um estado conhecido para o seu ambiente. Isso reduz a incerteza determinar a causa das falhas de teste. Por exemplo, outro usuário poderia alterou o ambiente atual, adicionando o software que pode fazer com que os testes de falha.

4. Clique em Next.

5. Se você quiser usar essa definição de fluxo de trabalho para criar seu aplicativo sempre que você esta definição de fluxo de trabalho na fila, siga estas etapas:

   1. Selecione usar um Team Foundation builde selecione a definição que você criou anteriormente.

   2. Selecione uma nova compilação de fila.

6. Se desejar que essa definição de fluxo de trabalho para usar uma compilação e não recriar seu aplicativo, faça o seguinte:

   1. Selecione usar um Team Foundation builde selecione a definição que você criou anteriormente.

   2. Selecione Selecionar uma compilação. Em seguida, selecione uma compilação da lista drop-down. Compilações existentes criadas pela definição de compilação que você selecionou são exibidas na lista.

   3. Selecione uma configuração de compilação de configuração de compilação Select.

      Observação
      As configurações de compilação são especificadas quando você cria sua definição de compilação para seu aplicativo. Se houver mais de uma configuração de compilação, você pode selecionar uma na lista.

7. Se você desejar definir o local de uma compilação, selecione uso de uma compilação de um local especificado e especifique o caminho UNC da compilação existente.

8. Clique em Next.

9. Para implantar o aplicativo como parte do fluxo de trabalho, a partir de Deploy guia selecione Deploy a compilação.

10. Para adicionar os scripts ou os comandos necessários para implantar seu aplicativo, clique em Add. Selecione a máquina virtual que você deseja adicionar o script ou comando.

    Agora você pode adicionar scripts ou comandos para cada máquina virtual em seu ambiente. Por exemplo, se você tiver um cliente Windows como parte do seu aplicativo, você pode ter um script que copia o arquivo executável para o local em que seu teste de interface do usuário codificado usará para iniciar os testes em sua máquina virtual. Se você tiver um servidor Web precisará executar o script ou comando para implantar essa parte do seu aplicativo.

    As variáveis a seguir estão disponíveis para uso com seus scripts:

    • $(BuildLocation): Este é o local da compilação. Se você especificou para usar a compilação de um local compartilhado, essa variável representa o caminho. Para as outras opções, este é o caminho completo para a compilação com base na configuração que você selecionou para criar e o local de destino de compilação na definição da compilação. Se você criar seu aplicativo como parte do fluxo de trabalho, você pode usar isso para acessar os arquivos mais recentes que foram criados por aquela compilação.

    • $(InternalComputerName_ < nome da VM >): Isso é usado para obter o nome do computador para uma máquina virtual que faz parte de um ambiente virtual. Você pode saber o nome de máquina virtual, mas não o nome do computador. Se você tiver um script de implantação para configurar um servidor Web que requer o nome do computador, você pode passar isso como um argumento para o script. Por exemplo, se o nome da máquina virtual para o servidor Web foi VM1 e o nome do computador foi MyWebServer, você digitaria $(InternalComputerName_VM1) como argumento para o seu script e isso seria passar o valor MyWebServer para o seu script.

    • $(ComputerName_ < nome da VM >): Este é o nome de domínio totalmente qualificado da máquina virtual. Isso pode ser usado para acessar o computador mesmo de fora do ambiente virtual. Você talvez queira passar isso como um argumento para configurar um servidor Web. Por exemplo, se o nome de máquina virtual para o servidor Web foi VM1, digite $(ComputerName_VM1) como argumento para o script para passar o nome de domínio totalmente qualificado da máquina virtual.

    Se você estiver usando o isolamento da rede para seu ambiente, o valor de $(InternalComputerName_ < nome da VM >) será o mesmo para a instância de uma máquina virtual em cada cópia desse ambiente, mas o $(ComputerName_ < nome da VM >) é diferente. Por exemplo, o nome do computador para uma máquina virtual pode ser MyWebServer em cada cópia do ambiente, mas o nome de domínio totalmente qualificado seriam exclusivo: VM_ < identificador exclusivo >. domain_name. com.

    Importante
    Se você quiser adicionar um comando que é executado em um prompt do windows, como, por exemplo, mkdir ou executando um arquivo de lote, você deve começar o comando usando cmd /c. Por exemplo, cmd /c $(BuildLocation)\copyexe $(BuildLocation) onde copyexe é um copyexe.bat de arquivo em lotes que copia um arquivo executável para um diretório local na máquina virtual.

    Se o script ou comando requer um diretório de trabalho específico, você pode digitar o diretório no diretório de trabalho.

    Observação

    Verifique se o que você pode executar os testes baseados no local dos arquivos depois de implantar seu aplicativo. Por exemplo, se o seu teste codificado de interface do usuário inicia um aplicativo de cliente do Windows, se o executável está no diretório correto para os testes a serem executados. Também convém verificar se os nomes das máquinas em seu ambiente estão corretos para seu aplicativo. Por exemplo, talvez você precise verificar se a máquina virtual para a função de servidor Web está configurada para acessar uma instância do servidor de banco de dados na máquina virtual para a função de servidor de banco de dados.

11. (Recomendado) Um instantâneo do seu ambiente depois da aplicação foi implantado, mas antes de executar quaisquer testes, você deve fazer o seguinte:

    1. Selecione após a compilação de implantar um instantâneo do ambiente.

       Importante
       Se você executar a definição de compilação como parte do processo de fluxo de trabalho noturno, cada máquina virtual no ambiente em breve terá vários snapshots associados a ele. Isso diminui o desempenho da máquina virtual. Além disso, há um limite de 50 instantâneos que podem ser armazenadas para cada ambiente virtual. Portanto, você deve excluir os instantâneos antigos regularmente.

    2. Em Digite o nome do instantâneo, digite um nome para esse instantâneo.

    Observação
    Você pode usar esse instantâneo para conectar-se ao ambiente e reexecutar um teste, se você deseja investigar um problema. Ou então, outro membro da equipe poderia fazer isso. Com freqüência, ele pode ser útil ter esse snapshot reexecutar um teste em um sistema limpo com o aplicativo instalado para determinar o que ocorreu ou até mesmo para verificar se o aplicativo foi instalado corretamente.

12. Clique em Next.

13. Para executar os testes automatizados após implantar seu aplicativo, você deve seguir estas etapas:

    1. Selecione executar esses testes no ambiente de.

    2. Em Selecione o plano de teste, selecione o plano de teste que você deseja usar. Os resultados do teste serão salvas como parte desse plano de teste.

    3. Em Selecione conjuntos de teste clique em reticências (…) e no suítes de testes de Select diálogo, marque as suítes de teste que você deseja executar.

       Observação
       Por padrão, a suíte de testes de raiz está selecionada. Se não desejar executar testes na suíte de testes, você deve limpar este campo.

    4. Em Selecione a configuração de teste, selecione a configuração que você pretende usar para executar os testes.

       Observação
       Os resultados do teste para cada caso de teste em cada conjunto de testes selecionados serão salvas como um par de cada caso de teste, o conjunto e a configuração de teste que você selecionou. Para obter mais informações sobre configurações de teste, consulte A definição de sua matriz de teste usando as configurações de teste.

    5. Em Selecione as configurações de teste automatizado, selecione as configurações de teste que você criou anteriormente para corresponder às funções em seu ambiente virtual na etapa 9 do processo geral para este tópico. Para obter mais informações sobre configurações de teste, consulte Criar configurações de teste para testes automatizados, como parte de um plano de teste.

14. Clique em Finish.

15. Clique em Salvar para salvar a definição de compilação.

    A definição de compilação criado aparecerá na constrói a pasta na Team Explorer.

A definição de compilação do seu fluxo de trabalho da fila

Você agora pode enfileirar esta compilação para executar o seu fluxo de trabalho e exibir o andamento do seu fluxo de trabalho de compilação.

A fila a definição de compilação do seu fluxo de trabalho.

1. Para iniciar a definição de compilação para criar, implantar e testar seu aplicativo, clique com o botão direito na definição da compilação do laboratório na pasta Builds e clique em Criação de nova fila.

   O Criar a fila caixa de diálogo é exibida.

2. Verifique as informações do fluxo de trabalho de compilação e, em seguida, clique em fila.

   O Build Explorer é exibida.

3. Para ver o modo de exibição de resumo de construir conforme o andamento da compilação, clique duas vezes em sua compilação.

   Você pode ver o status conforme o andamento da compilação.

4. (Opcional) Se você desejar exibir o ambiente conforme o andamento da compilação, abra Microsoft Test Manager, localize o Center do laboratório, clique em laboratórioe clique em seu ambiente na lista. Você pode exibir o andamento da compilação refletido na imagem para seu ambiente e os detalhes do ambiente acima dessa imagem, da seguinte maneira:

   • O instantâneo é restaurado, se você tiver selecionado essa opção.

   • O instantâneo de pós-implantação é feito se você tiver selecionado essa opção.

   • O status dos recursos (uma seta verde é exibida quando um recurso está pronto).

   • Os testes a medida que são executados, se os testes de interagem com a interface do usuário.

   Se o seu fluxo de trabalho de compilação é concluído com êxito, você verá uma marca de seleção verde. Se houver erros, você pode clicar em Exibir Log para ver os detalhes.

Conectar-se ao ambiente a partir de seus resultados de compilação

Você talvez queira se conectar ao seu ambiente para investigar um problema se um teste falhar durante o processo de fluxo de trabalho de compilação. Você pode conectar um snapshot de implantação post, se você tiver selecionado essa opção em seu fluxo de trabalho de compilação, ou para o ambiente no estado atual, conforme mostrado na ilustração a seguir.

Para conectar-se ao ambiente de seus resultados de compilação

1. Do constrói pasta na Team Explorer, clique com o botão direito na sua definição de fluxo de trabalho de compilação e aponte para Cria de modo de exibição.

   O Build Explorer é exibida.

2. Para exibir sua compilação concluída, clique na Completed guia.

3. Clique duas vezes a compilação que você deseja exibir.

   O modo de exibição de resumo de compilação é exibido.

4. Clique no link próximo a snapshot do ambiente de exibição < nome da compilação e número >.

   O conectar-se ao ambiente caixa de diálogo é exibida.

5. Se você deseja se conectar ao instantâneo que foi tirado após a implantação do aplicativo, clique em Connect to o snapshot nesse ambiente.

   Observação
   Conectando-se a esse snapshot, quaisquer alterações que foram feitas após esse instantâneo pós-implantação serão descartadas. Se você deseja manter as alterações, conecte-se ao ambiente no estado atual e um instantâneo primeiro, antes de voltar o instantâneo pós-implantação. Para obter informações sobre como tirar um instantâneo, consulte Como: Salvar o estado atual de seu ambiente.

6. Se você deseja se conectar ao ambiente no estado atual após quaisquer testes têm a execução do seu fluxo de trabalho, clique em conectar-se ao ambiente no estado atual.

7. Clique em Connect.

   O Visualizador do ambiente Microsoft é exibido e você está conectado ao ambiente. Agora, você pode investigar quaisquer problemas.

Exibir e analisar os resultados do teste para seu fluxo de trabalho de compilação

Você pode exibir os resumo do fluxo de trabalho de compilação resumo de resultados de teste. No entanto, você também pode exibir e analisar os resultados do teste usando Microsoft Test Manager porque os resultados são armazenados como parte do seu plano de teste. Isso é mostrado na ilustração a seguir. Para obter mais informações sobre o relatório de resultados de teste para um plano de teste, consulte Relatar o andamento do teste de planos de teste.

Para exibir e analisar os resultados do teste do Gerenciador de teste da Microsoft

1. Abra Microsoft Test Manager.

   Observação
   Para exibir o Microsoft Test Manager janela, clique em Iniciare em seguida, clique em Todos os programas. Aponte para Microsoft 2010 de Visual Studio e, em seguida, clique em Gerenciador de teste do Microsoft.

2. Para exibir os resultados do teste, clique na seta para baixo no alternador de grupo central e, em seguida, clique em Testing Center.

3. Na barra de menus do grupo de centro, clique em teste e selecione um dos conjuntos de teste da hierarquia do suite de teste que você usou em seu fluxo de trabalho de compilação.

   Você pode ver os resultados para os testes para a configuração que você selecionou no seu fluxo de trabalho de compilação.

4. Se você deseja analisar a execução de teste completo, clique em Analisar execuções de teste.

   O Analisar execuções de teste atividade é exibida. Ele mostra as execuções de teste para o plano de teste.

   Observação
   O título de execução refletirão o nome de sua definição de compilação. A ID de execução é exibida na página de compilação de resumo para sua compilação para ajudá-lo a identificar a execução.

5. Clique duas vezes em uma execução de teste para abri-lo e exibir os detalhes. Os detalhes de execução de teste são exibidos.

6. (Opcional) Para atualizar o título de seu teste sejam mais significativos, digite o novo nome na título.

7. (Opcional) Se o teste falhar, você pode atualizar o motivo da falha. Clique em resolução e selecione o motivo da falha na lista.

8. (Opcional) Para adicionar comentários para o resultado do teste, clique na comentários ícone. Digite seus comentários e, em seguida, clique em Salvar comentários.

9. (Opcional) Para exibir os detalhes do teste individual, clique duas vezes no teste.

   O resultado do teste é exibido. Ele mostra os detalhes do execução de teste, os anexos para os dados coletados para este resultado de teste, e o teste resulta de histórico para esse teste. Você pode fechar este modo de exibição para retornar para a execução de teste.

   Observação
   Se você determinar que há um bug, você pode criar um bug neste modo de exibição.

10. Para salvar as alterações para a execução de teste, clique em Salvar na barra de ferramentas.

Consulte também

Outros recursos

Testando o uso de ambientes virtuais

Troubleshooting Running Tests on Your Virtual Environment