Créer des paramètres de test pour les tests automatisés dans le cadre du plan de test

Les paramètres de test utilisent des adaptateurs de données de diagnostic qui spécifient différents types de données à collecter ou comment affecter l'ordinateur de test lorsque vous exécutez des tests manuels et/ou des tests automatisés. Par exemple, un adaptateur de données de diagnostic peut créer un enregistrement des actions, un journal des actions, un enregistrement vidéo ou collecter des informations système. En outre, les adaptateurs de données de diagnostic peuvent être utilisés pour simuler des goulots d'étranglement potentiels sur l'ordinateur de test ou pour réduire la mémoire système disponible. Par exemple, vous pouvez émuler un réseau lent pour imposer un goulot d'étranglement sur le système.

Les paramètres de test définissent les éléments suivants :

• le type de tests que vous exécutez (manuel ou automatisé) ;

• l'ensemble des rôles qui sont requis pour l'application testée ;

• le rôle à utiliser pour exécuter vos tests ;

• les adaptateurs de données de diagnostic à utiliser pour chaque rôle.

Pour exécuter ces tests dans le cadre de votre plan de test, vous pouvez associer les tests automatisés à un cas de test.

Vous pouvez associer le test automatisé à votre cas de test à l'aide de Visual Studio. Vous ne pouvez pas créer cette association avec Gestionnaire de tests Microsoft. Vous devez d'abord ouvrir le cas de test à l'aide de Visual Studio, comme indiqué dans l'illustration suivante. Pour plus d'informations sur l'exécution de tests automatisés depuis un plan de test, consultez Comment : exécuter des tests automatisés à partir d'un plan de test à l'aide du Gestionnaire de tests Microsoft

Vous pouvez ensuite associer la méthode de test à votre cas de test comme indiqué dans l'illustration suivante.

Vous pouvez également utiliser un outil en ligne de commande pour créer des cas de test à partir d'un assembly de tests automatisés. Pour plus d'informations, consultez Comment : créer des cas de test à partir d'un assembly de tests automatisés avec tcm.exe.

Si vous voulez exécuter des tests automatisés dans le cadre d'un plan de test, vous devez sélectionner un ensemble de rôles pour vos paramètres de test et utiliser un environnement contenant cet ensemble de rôles dans votre plan de test. Lorsque vous créez un environnement, vous pouvez ajouter tous les rôles dont vous avez besoin. Pour plus d'informations sur les rôles et les environnements, consultez Configuration d'ordinateurs de test pour exécuter des tests ou collecter des données.

Utilisez la procédure suivante pour définir des paramètres de test pour des tests automatisés dans le cadre de votre plan de test et sélectionner un environnement correspondant.

Création de paramètres de test pour des tests automatisés dans le cadre d'un plan de test

Pour créer des paramètres de test pour des tests automatisés dans le cadre d'un plan de test

1. Ouvrez Gestionnaire de tests Microsoft.

   Notes

   Pour afficher la fenêtre Gestionnaire de tests Microsoft, cliquez sur Démarrer, puis sur Tous les programmes. Pointez sur Microsoft Visual Studio 2010, puis cliquez sur Microsoft Test Manager 2010.

2. Cliquez sur la flèche bas du sélecteur de groupe centre, puis sur Centre de tests.

3. Dans la barre de menus du groupe centre, cliquez sur Plan, puis sur Propriétés.

   Les propriétés du plan de test sélectionné s'affichent.

4. Cliquez sur la flèche de déroulement en regard de Paramètres de test sous Exécutions automatisées, puis sur Nouveau.

   La page Nouveaux paramètres de test s'affiche avec la page Général sélectionnée.

   Notes

   Vous pouvez également créer des paramètres de test dans Centre lab en cliquant sur Paramètres de test dans la barre de menus du groupe centre, puis sur Nouveau.

5. Sous Nom, tapez le nom des paramètres de test.

6. (Facultatif) Sous Description, tapez une description pour le paramètre de test afin que les autres membres de l'équipe sachent à quoi il sert.

7. Sous Quel type de tests voulez-vous exécuter ?, sélectionnez Automatisé, puis cliquez sur Suivant.

   La page Nouveaux paramètres de test s'affiche avec la page Rôles sélectionnée.

   Notes

   Si vous exécutez des tests automatisés, vous ne pouvez pas sélectionner l'ensemble de rôles appelé Local pour une exécution locale car vous devez exécuter les tests automatisés à l'aide d'un environnement.

   Pour plus d'informations sur l'exécution d'un test manuel, consultez Créer des paramètres de test pour les tests manuels.

   

8. Sélectionnez un ensemble de rôles dans la liste qui affiche les éléments Ensembles de rôles et Environnements correspondants. Vérifiez qu'un environnement au moins correspond à votre ensemble de rôles. S'il n'existe aucun environnement correspondant, vous pouvez en créer un ou modifier un environnement existant. Pour plus d'informations, consultez Configuration d'ordinateurs de test pour exécuter des tests ou collecter des données.

   Avertissement

   Vous ne pouvez pas ajouter de rôle à partir du Gestionnaire des paramètres de test. Si aucun rôle ne correspond aux éléments dont vous avez besoin pour votre application, vous devez créer un environnement incluant les rôles requis. Lorsque vous créez un environnement, vous pouvez ajouter des rôles.

9. Dans la liste déroulante figurant sous Sélectionnez le rôle à utiliser pour exécuter vos tests automatisés, sélectionnez le rôle que vous voulez utiliser pour exécuter vos tests. Cliquez ensuite sur Suivant.

   La page Nouveaux paramètres de test s'affiche avec la page Données et diagnostics sélectionnée.

   

10. Pour sélectionner les données et diagnostics que vous voulez collecter pour chaque rôle, choisissez le rôle. Pour chaque rôle, sélectionnez les adaptateurs de données de diagnostic selon les besoins liés aux tests de votre plan de test. Pour configurer chaque adaptateur de données de diagnostic sélectionné pour chaque rôle, cliquez sur Configurer.

    Pour plus d'informations sur chaque adaptateur de données de diagnostic et sur la façon de le configurer, consultez la rubrique associée qui est présentée dans le tableau ci-dessous.

    Notes

    Le tableau présente uniquement les adaptateurs qui peuvent être utilisés avec les tests automatisés. Pour plus d'informations sur les adaptateurs de données de diagnostic, consultez Configuration d'ordinateurs et collecte d'informations de diagnostic à l'aide de paramètres de test.

    Adaptateurs de données de diagnostic pour les tests automatisés

    Adaptateur de données de diagnostic	Rubrique associée
    Proxy client ASP.NET pour IntelliTrace et l'impact de test : ce proxy vous permet de collecter des informations sur les appels HTTP d'un client à un serveur Web pour les adaptateurs de données de diagnostic d'impact de test et IntelliTrace.	Aucune configuration n'est requise pour collecter ces informations.
    Journal des événements : vous pouvez configurer un paramètre de test pour inclure la collecte des journaux des événements, qui sera intégrée aux résultats des tests.	Comment : configurer la collection des journaux des événements à l'aide de paramètres de test
    IntelliTrace : vous pouvez configurer l'adaptateur de données de diagnostic pour IntelliTrace afin de collecter des informations de trace de diagnostic spécifiques pour aider à isoler des bogues qui sont difficiles à reproduire. Vous créez ainsi un fichier IntelliTrace comportant l'extension .iTrace et contenant ces informations. Lorsqu'un test échoue, vous pouvez créer un bogue. Le fichier IntelliTrace enregistré avec les résultats des tests est automatiquement lié à ce bogue. Les données collectées dans le fichier IntelliTrace augmentent l'efficacité du débogage en réduisant le temps nécessaire à la reproduction et au diagnostic d'une erreur dans le code. À partir de ce fichier IntelliTrace, la session locale peut être simulée sur un autre ordinateur, ce qui réduit les possibilités de bogues non reproductibles. Pour plus d'informations, consultez Débogage avec IntelliTrace.	Comment : collecter des données IntelliTrace pour aider au débogage des problèmes difficiles
    Émulation de réseau : vous pouvez spécifier que vous voulez appliquer une charge réseau artificielle à votre test à l'aide d'un paramètre de test. L'émulation de réseau affecte les communications établies vers et depuis l'ordinateur en émulant une vitesse de connexion réseau particulière (par exemple, une connexion d'accès à distance). Remarque L'émulation de réseau ne peut pas être utilisée pour augmenter la vitesse de connexion réseau.	Comment : configurer l'émulation réseau à l'aide de paramètres de test
    Informations système : un paramètre de test peut être configuré pour inclure les informations système relatives à l'ordinateur sur lequel le test est exécuté. Les informations système sont spécifiées dans les résultats des tests à l'aide d'un paramètre de test.	Aucune configuration n'est requise pour collecter ces informations.
    Impact de test : vous pouvez collecter des informations sur les méthodes de votre code d'application utilisées lors de l'exécution d'un cas de test. Associées aux modifications apportées au code d'application par les développeurs, ces informations peuvent servir à déterminer les tests impactés par ces modifications.	Comment : collecter des données pour vérifier quels tests doivent être exécutés après les modifications de code
    Enregistreur vidéo : vous pouvez créer un enregistrement vidéo de votre session ouverte lorsque vous exécutez un test automatisé. Cet enregistrement permet d'afficher les actions utilisateur associées à un test codé de l'interface utilisateur. La vidéo peut aider d'autres membres de l'équipe à isoler les problèmes liés aux applications qui sont difficiles à reproduire.	Comment : enregistrer une vidéo de votre bureau pendant que vous exécutez des tests à l'aide de paramètres de test

11. Cliquez sur Suivant.

    La page Nouveaux paramètres de test s'affiche avec la page Avancée sélectionnée. Si nécessaire, vous pouvez configurer des paramètres avancés pour vos tests automatisés.

12. Pour spécifier le répertoire d'exécution de vos tests et ajouter des fichiers ou répertoires pour exécuter vos tests, cliquez sur Déploiement.

    1. Pour ajouter un fichier au répertoire utilisé pour l'exécution de vos tests, cliquez sur Ajouter un fichier, puis sélectionnez le fichier à ajouter.

    2. Pour ajouter un répertoire au répertoire utilisé pour l'exécution de vos tests, cliquez sur Ajouter un répertoire, puis sélectionnez le répertoire à ajouter.

    Notes

    Pour plus d'informations sur le déploiement de fichiers et de répertoires pour des tests individuels à l'aide de propriétés et de l'attribut DeploymentItem, consultez Comment : configurer le déploiement d'un test.

13. Pour exécuter des scripts avant et après vos tests, cliquez sur Scripts.

    1. Entrez l'emplacement du fichier de script dans Script d'installation à exécuter avant le démarrage de la série de tests ou cliquez sur Parcourir pour trouver le script d'installation.

    2. Entrez l'emplacement du fichier de script dans Script de nettoyage à exécuter une fois la série de tests terminée ou cliquez sur Parcourir pour trouver le script d'installation.

14. Pour exécuter vos tests avec un autre hôte, cliquez sur Hôtes.

    1. Pour exécuter vos tests unitaires dans le même processus qu'un site ASP.NET, sélectionnez ASP.NET dans Type d'hôte. Cliquez ensuite sur Configurer. Pour plus d'informations sur la configuration de l'hôte, consultez Tests unitaires pour les services Web ASP.NET.

    2. Sélectionnez Exécuter les tests dans un processus 32 bits ou 64 bits si vous souhaitez que votre test s'exécute dans un processus 32 bits ou 64 bits.

       Conseil

       Pour une flexibilité maximale, vous devez compiler vos projets de test avec la configuration Any CPU. Vous pouvez ensuite les exécuter sur des agents 32 et 64 bits. La compilation de projets de test avec la configuration 64 bits ne présente aucun avantage particulier.

    3. Sous Pour un test non susceptible d'être exécuté sur l'hôte spécifié, sélectionnez Exécuter dans l'hôte par défaut ou Ne pas exécuter.

15. (Facultatif) Pour limiter la période d'exécution de chaque série de tests et des tests individuels, cliquez sur Délais d'attente.

    1. Pour abandonner l'exécution d'une série de tests lorsqu'une limite de temps est dépassée, sélectionnez Abandonner une série de tests si la durée totale dépasse, puis tapez une valeur pour cette limite.

    2. Pour faire échouer un test spécifique si une limite de temps est dépassée, sélectionnez Marquer un test comme ayant échoué si sa durée d'exécution dépasse, puis tapez une valeur pour cette limite.

16. Pour appliquer les ptions du complément des tests unitaires et des tests de performances de site Web, cliquez sur Compléments (facultatif).

17. Si vous devez spécifier des emplacements d'assembly que vos tests unitaires doivent charger, cliquez sur Configurer associé à l'option Test unitaire (facultatif).

    La boîte de dialogue Configurer le complément - Test unitaire s'affiche.

    1. Pour Dossier racine des assemblys à charger, cliquez sur Parcourir pour localiser le dossier et remplir la zone de texte.

       Le dossier racine spécifié peut contenir des variables d'environnement. Il représente le répertoire qui sera utilisé comme ApplicationBase du domaine d'application AppDomain dans lequel les tests sont exécutés. Tous les assemblys de ce répertoire pourront être chargés par vos tests unitaires. Dans un environnement de production, il est conseillé de spécifier le répertoire dans lequel les assemblys du code testé sont installés. Dans un environnement de développement, il est conseillé de spécifier le répertoire dans lequel les assemblys du code testé sont générés. Cela permet de garantir que toutes les références aux binaires de produit peuvent être chargées et résolues pendant la découverte et l'exécution des tests, sans qu'il soit nécessaire de copier les binaires de produit avec les tests.

       Si aucune valeur n'est définie à cet endroit, la valeur de l'ApplicationBase de AppDomain dans lequel les tests sont exécutés est le répertoire contenant les tests.

    2. Activez ou désactivez la case à cocher Utilisez le contexte de chargement pour les assemblys dans le répertoire de test.

       Par défaut, la plupart des assemblys sont chargés dans le « Contexte de chargement » correct. La case Utilisez le contexte de chargement pour les assemblys dans le répertoire de test doit généralement rester activée. Vous pouvez toutefois la désactiver dans certaines conditions. Si votre répertoire de test comporte un grand nombre d'assemblys, si vous avez spécifié un emplacement dans Dossier racine des assemblys à charger et si vos tests ne dépendent pas du chargement dans le contexte de chargement, vous pouvez constater une augmentation des performances si vous n'utilisez pas le contexte de chargement pour charger ces assemblys de test. Si vos tests dépendent du chargement dans un contexte autre que le contexte de chargement (non classique).

       Pour plus d'informations, consultez Meilleures pratiques pour le chargement d'assembly.

    3. Sous Dossiers à utiliser lors de l'exécution des tests, cliquez sur Ajouter un dossier.

       La boîte de dialogue Rechercher un dossier s'affiche.

    4. Localisez le dossier à utiliser, puis cliquez sur OK.

       Le paramètre Dossiers à utiliser lors de l'exécution des tests est celui que vous utiliserez probablement le plus fréquemment. Vous pouvez spécifier plusieurs chemins d'accès aux dossiers à partir desquels les assemblys doivent être résolus pendant la découverte et l'exécution des tests. Chacun des chemins d'accès spécifiés dans cette section peut contenir des variables d'environnement. Deux options sont associées à chacun des chemins d'accès spécifiés ici :

       Première option   Activez la case à cocher Utiliser le contexte de chargement pour spécifier que le répertoire doit utiliser le contexte de chargement lors de la résolution d'assemblys du répertoire (si le contexte de chargement n'est pas obligatoire pour que les tests s'exécutent correctement, vous pouvez constater une amélioration des performances si vous désactivez cette case à cocher).

       Deuxième option   Activez la case à cocher Inclure les sous-dossiers pour spécifier l'utilisation d'un sous-dossier à inclure lors de la résolution d'assemblys du répertoire.

    5. Sous Dossiers supplémentaires à utiliser lors de la découverte de tests, cliquez sur Ajouter un dossier.

       La boîte de dialogue Rechercher un dossier s'affiche.

    6. Localisez le dossier à utiliser, puis cliquez sur OK.

       L'option Dossiers supplémentaires à utiliser lors de la découverte de tests est utile lorsque vous exécutez à distance les tests sous Team Build ou que vous procédez à une exécution automatisée dans Microsoft Test Manager. Les chemins d'accès fournis ici seront utilisés pour la résolution d'assembly, mais uniquement pendant la découverte de test. Ces chemins d'accès peuvent contenir des variables d'environnement. Lorsque les tests sont planifiés pour être exécutés à distance à partir d'un emplacement de build et que toutes les dépendances de l'assembly de test ne sont pas dans le même répertoire, ces chemins d'accès peuvent être utilisés pour s'assurer que MSTest ou le contrôleur de test peut trouver un nombre suffisant d'assemblys dépendants pour découvrir les tests et planifier leur exécution sur des ordinateurs distants.

       Pour les exécutions planifiées dans Gestionnaire de tests Microsoft, un jeton supplémentaire "%BuildDrop%" peut être utilisé pour faire référence de manière générique à l'emplacement cible de build. Ainsi, il n'est pas nécessaire de créer ou de mettre à jour les paramètres de test chaque fois qu'une nouvelle build est testée. Malheureusement, ce jeton n'est pas directement pris en charge via Team Build (toutefois, si l'emplacement cible de build est défini dans une variable d'environnement nommée BuildDrop de la définition de build, le résultat sera le même).

       Pour plus d'informations, consultez Vérification du code à l'aide de tests unitaires.

    7. Cliquez sur Enregistrer.

    8. Cliquez sur Fermer.

18. (Facultatif) Pour configurer des propriétés qui contrôlent le mode d'exécution des tests de performances de site Web dans le paramètre de test, cliquez sur l'option Configurer associée à l'option Test Web.

    La boîte de dialogue Configurer le complément - Test Web s'affiche.

    1. Sélectionnez Nombre d'exécutions fixé ou Une exécution par ligne de source de données.

    2. Utilisez la liste déroulante Type de navigateur pour sélectionner le navigateur Web à utiliser avec votre test de performances de site Web. Par exemple, Internet Explorer 8.0.

       Pour plus d'informations sur les tests des performances de sites Web, consultez Test de performances et de la contrainte d'une application.

       Notes

       Le test de performances de site Web nécessite Visual Studio 2010 Ultimate.

    3. Cliquez sur Enregistrer.

    4. Cliquez sur Fermer.

19. Pour afficher le résumé de vos paramètres de test, cliquez sur Suivant.

20. Pour enregistrer les paramètres de test, cliquez sur Enregistrer et fermer.

21. Un environnement de test correspondant est automatiquement sélectionné dans Environnement de test. Si plusieurs environnements de test correspondent à l'ensemble de rôles indiqué dans vos paramètres de test, vous pouvez sélectionner un autre environnement correspondant.

22. Vous pouvez appliquer les modifications apportées au plan de test en cliquant sur Enregistrer dans la barre d'outils.

    Notes

    Si vous êtes amené à modifier vos paramètres de test, cliquez sur Ouvrir en regard de la flèche de déroulement Paramètres de test ; vous pouvez également ouvrir le Centre lab, puis cliquer sur Paramètres de test dans la barre de menus du groupe centre et sur Ouvrir. Pour plus d'informations, consultez Comment : modifier un paramètre de test existant pour un plan de test.

Voir aussi

Concepts

Configuration d'ordinateurs et collecte d'informations de diagnostic à l'aide de paramètres de test

Configuration d'ordinateurs de test pour exécuter des tests ou collecter des données

Autres ressources

Créer des paramètres de test pour les tests manuels

Créer des paramètres de test pour exécuter des tests automatisés à partir de Visual Studio