Ausführen manueller Tests

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Führen Sie Ihre manuellen Tests aus, und notieren Sie die Testergebnisse für jeden Testschritt mithilfe von Microsoft Test Runner. Sie können Tests sowohl für Webanwendungen als auch für Desktop-Apps ausführen.

Mit Test Runner können Sie alle aktiven Tests als Batch oder bestimmte Testfälle ausführen. Ändern Sie Tests, während sie ausgeführt werden. Sie können Tests für einen bestimmten Build ausführen.

Sammeln Sie beim Testen Informationen wie einen Screenshot oder Ihre Testaktionen. Wenn Beim Testen ein Problem angezeigt wird, verwenden Sie Test Runner, um einen Fehler zu erstellen. Schließen Sie Testschritte, Screenshots und Kommentare in den Fehler ein.

Hinweis

Sie führen Testpunkte und keine Testfälle aus. Wenn Sie einer Testsammlung einen Testfall hinzufügen, werden Testpunkte generiert. Ein Testpunkt stellt eine einzigartige Kombination aus Testfall, Testsuite, Konfiguration und Tester dar.

Beispielsweise generiert ein Testfall mit dem Namen "Testanmeldungsfunktion", der zwei Konfigurationen für die Edge- und Chrome-Browser enthält, zwei Testpunkte. Sie können jeden dieser Testpunkte ausführen. Bei der Ausführung werden Testergebnisse generiert. Über die Testergebnisansicht oder den Ausführungsverlauf können Sie alle Ausführungen eines Testpunkts anzeigen. Die jüngste Ausführung für den Testpunkt wird auf der Registerkarte Ausführen angezeigt.

Unterstützte Clients und Ausführungsoptionen

Zusätzlich zum Ausführen von Tests für einen bestimmten Build unterstützen Ausführungsoptionen verschiedene Testszenarien. Um die Optionen anzuzeigen, wählen Sie auf der Registerkarte "Ausführen " einen Test und dann " Ausführen mit Optionen" aus.

Wählen Sie den Testtyp aus, und der Läufer bietet die folgenden Optionen:

  • Manuelle Tests mithilfe des webbrowserbasierten Runners Sie können einen bestimmten zu testden Build auswählen, wie unter "Ausführen von Tests für einen Build" beschrieben. Wählen Sie "Builds suchen" aus, um das Dialogfeld "Builds suchen" zu öffnen, und suchen Sie nach einem Build, mit dem Sie testen möchten.

  • Manuelle Tests mithilfe des Test Runner-Clients Sie können manuelle Tests für Desktopanwendungen mithilfe des Test Runner-Clients ausführen. Installieren Sie bei Bedarf den Test Runner-Desktopclient.

  • Automatisierte Tests mithilfe der Veröffentlichungsphase Zum Ausführen von Tests mithilfe einer Veröffentlichungsphase wählen Sie einen Build aus. Wählen Sie eine Releasepipeline und -phase aus, um die Artefakte des Builds zu nutzen. Weitere Informationen finden Sie unter Ausführen automatisierter Tests aus Testplänen.

  • Manuelle Tests mithilfe des Microsoft Test Manager 2017-Clients sammelt Daten von einem lokalen Computer. Wählen Sie einen Build aus. Wählen Sie einen oder mehrere Datensammler aus: Aktionsprotokoll, Ereignisprotokoll, Bildschirm- und Sprachrekorder und Systeminformationen.

  • Manuelle Tests mit Microsoft Test Manager 2015 oder einem früheren Client

Das Test Center im Microsoft Test Manager-Client ist eine desktopbasierte manuelle Testlösung. Tester können sie für manuelle Testanforderungen verwenden. Weitere Informationen finden Sie unter Anleitungen zur Verwendung von Microsoft Test Manager. Um Microsoft Test Manager zu erhalten, installieren Sie Visual Studio Enterprise oder Visual Studio Test Professional.

Voraussetzungen

Arbeiten mit dem TCM-Befehlszeilentool

Um das Befehlszeilentool TCM zu verwenden, müssen die folgenden Elemente vorhanden sein:

  • Visual Studio 2017 Professional oder frühere Version installiert. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • Wenn Sie einen TCM-Befehl ausführen möchten, geben Sie die Parameter und /teamproject ggf/login. an/collection.

    Parameter Beschreibung
    /Sammlung:CollectionURL Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
    – Für Azure DevOps Services: http://dev.azure.com/OrganizationName
    - Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, lautet das Format für den URI wie folgt:http://ServerName:Port/CollectionName
    /teamproject:project Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
    /login:username,[password] Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden oder keine Verbindung mit einer Domäne herstellen.
  • Sie müssen ein gültiges Mitglied eines oder mehrerer Projekte sein, auf die Sie zugreifen möchten, und über die erforderlichen Berechtigungen verfügen, basierend auf den ausgeführten Befehlen. Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen".

  • Zum Hinzufügen von Testplänen und Testsammlungen zum Klonen oder Importieren von Testobjekten benötigen Sie dieselben Zugriffsstufen.

Ausführen von Tests für Web-Apps

Führen Sie die folgenden Schritte aus, um Tests für Webanwendungen auszuführen.

  1. Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Testpläne>aus.

  2. Falls noch nicht geschehen, erstellen Sie Ihre manuellen Tests.

  3. Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus .

    Screenshot einer Testsuite, die mit ausgewählter Registerkarte

  4. Wählen Sie einen oder mehrere Tests oder alle Tests aus einer Testsuite aus. Wählen Sie dann "Für Webanwendung ausführen" aus.

    Screenshot zeigt, wie Sie einen bestimmten Test auswählen und ausführen.

    Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.

  5. Starten Sie die App, die Sie testen möchten.

    Screenshot:

    Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden Einfach Test Runner, um aufzuzeichnen, welche Testschritte bestehen oder fehlschlagen, während Sie einen Test manuell ausführen.

    Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Store-App für Windows 8 ausführen, die Sie auf einem Windows 8-Tablet testen.

  6. Markieren Sie jeden Testschritt als bestanden oder fehlgeschlagen, basierend auf den erwarteten Ergebnissen.

    Screenshot: Test Runner wird für einen fehlgeschlagenen Test geöffnet, in dem Sie einen Kommentar eingeben können.

    Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist, oder Diagnosedaten für den Test sammeln. Sie können auch einen Fehler erstellen oder hinzufügen.

  1. Falls noch nicht geschehen, erstellen Sie Ihre manuellen Tests.

  2. Wählen Sie einen Test aus einer Testsuite aus, und führen Sie ihn aus.

    Auswählen und Ausführen eines bestimmten Tests

    Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.

  3. Starten Sie die App, die Sie testen möchten. Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden Einfach Test Runner, um aufzuzeichnen, welche Testschritte bestehen oder fehlschlagen, während Sie einen Test manuell ausführen. Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Windows 8 Store-App ausführen, die Sie auf einem Windows 8-Tablet testen.

    Verwenden von Microsoft Test Runner zum Aufzeichnen ihrer Testergebnisse

  4. Markieren Sie jeden Testschritt als bestanden oder fehlgeschlagen, basierend auf den erwarteten Ergebnissen. Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist, oder Diagnosedaten für den Test sammeln. Sie können auch einen Fehler erstellen oder hinzufügen.

    Markieren von Testschritten

Wichtig

Jeder Testschritt, der das Ergebnis erwartet hat, wird als Überprüfungstestschritt bezeichnet. Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Überprüfungstestschritt handelt. Das Gesamtergebnis für einen Testfall spiegelt den Status aller Testschritte wider, die der Tester markiert hat. Daher weist der Testfall einen Fehlerstatus auf, wenn der Tester einen Testschritt als fehlgeschlagen markiert oder nicht markiert hat.

Erstellen oder Hinzufügen zu einem Fehler

Wenn ein Testschritt fehlschlägt, geben Sie einen Kommentar zum Verhalten ein, und sammeln Sie Diagnosedaten. Sie können einen Fehler erstellen, um das Problem zu erfassen und nachzuverfolgen. Sie können auch einen vorhandenen Fehler mit Informationen zum Fehler aktualisieren.

  1. Wenn ein Schritt fehlschlägt, geben Sie einen Kommentar ein, und wählen Sie "Fehler erstellen" aus.

    Screenshot: Test Runner mit hervorgehobenem Fehler

    Hinweis

    Wenn die Schaltfläche "Fehler erstellen" keine Fehlerarbeitselemente startet, überprüfen Sie, ob die Teams-Einstellungen auf Der Ebene "Bereich" und "Iteration" wie folgt korrekt sind:

    Wechseln Sie zu den Projekteinstellungen und zum Team, überprüfen Sie, ob das richtige Team als Standard festgelegt ist.

    Klicken Sie in diesem Team auf den Hyperlink "Iterationen" und "Bereichspfade" in der Nähe des Teamnamens. Sie gelangen zur Teamkonfigurationsseite.

    Wählen Sie auf der Seite "Teamkonfiguration" die Option "Iterationen", "Standard" und "Backlog"-Iteration mit dem Team ab, für das der Testfall ausgeführt wird.

    Wählen Sie auf der Seite "Teamkonfiguration" die Option "Bereiche" aus, muss der Standardbereich mit dem Team übereinstimmen, für das der Testfall ausgeführt wird.

  2. Geben Sie im Dialogfeld "Neuer Fehler " einen Namen für den Fehler ein.

    Screenshot: Test Runner mit ausgewähltem Fehler erstellen und das Dialogfeld

    Die Schritte und Ihre Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.

  3. Sie können den Fehler zuweisen, Kommentare eingeben oder einen Link zu anderen Problemen herstellen. Wählen Sie " Speichern" und "Schließen" aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.

Während der Testsitzung werden alle Fehler angezeigt, die gemeldet wurden.

Der Screenshot zeigt die Anzahl der fehler, die während des Tests erstellt wurden.

Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie im Dropdownmenü "Fehler erstellen" die Option "Zu vorhandenem Fehler hinzufügen" aus.

Screenshot: Test Runner mit ausgewähltem Fehler

  1. Wählen Sie im Fenster "Test Runner" die Option "Fehler erstellen" aus.

    Senden sie einen Fehler.

    Die Schritte und Ihre Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.

  2. Sie können den Fehler zuweisen, Kommentare eingeben oder einen Link zu anderen Problemen herstellen. Wählen Sie " Speichern" und "Schließen" aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.

Sie können alle Fehler sehen, die Sie während der Testsitzung gemeldet haben.

Protokollierte Fehler

Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie das + Symbol für "Fehler erstellen" und dann "Zu vorhandenem Fehler hinzufügen" aus. Suchen und Aktualisieren eines vorhandenen Fehlers.

Speichern von Ergebnissen, Schließen der Sitzung und Überprüfen von Ergebnissen

Nachdem Sie den Test abgeschlossen haben, speichern Sie Ihre Ergebnisse, schließen Sie die Sitzung, und überprüfen Sie die Testergebnisse.

  1. Wenn Sie alle Ihre Tests ausgeführt haben, wählen Sie " Speichern" und "Schließen" aus. Alle Testergebnisse werden in Azure Test-Plänen gespeichert.

  2. Zeigen Sie den Teststatus für Ihre Testsuite an. Für jeden Test werden die neuesten Ergebnisse angezeigt.

    Screenshot zeigt das Ergebnis der Ausführung von Testfällen, wobei Ergebnisse von

    Screenshot: Anzeigen von Testergebnissen.

    Wenn Sie noch keinen Test ausgeführt haben, ist der Status aktiv. Setzen Sie den Status eines Tests auf "aktiv" zurück, wenn Sie ihn erneut ausführen möchten.

  3. Öffnen Sie eine Testsuite, und wählen Sie den Testfall im Abschnitt "Verwandte Arbeit " aus. Verwenden Sie dann die untergeordneten Links im Abschnitt "Verwandte Arbeit " dieser Arbeitsaufgabe, um die vom Tester abgelegten Fehler anzuzeigen.

    Screenshot des Abschnitts

    Fehler anzeigen

Sie können Tests offline ausführen und dann die Ergebnisse importieren. Weitere Informationen finden Sie in der Offlinetestausführungserweiterung.

Ausführen von Tests für Desktop-Apps

Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mit dem Test Runner-Client aus.

  1. Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Testpläne>aus.

  2. Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus .

    Screenshot einer Testsuite, die mit ausgewählter Registerkarte

  3. Starten Sie Test Runner aus Azure-Testplänen, indem Sie im Dropdownmenü die Option "Für Desktopanwendung ausführen" auswählen.

    Screenshot zeigt den Start des Test Runner-Clients.

  4. Laden Sie bei Bedarf den Test Runner-Desktopclient herunter, und installieren Sie sie.

    Screenshot des Dialogfelds

    Hinweis

    • Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.
    • Azure Test Runner funktioniert möglicherweise nicht, wenn Ihre Organisation eine Richtlinie für bedingten Zugriff über Microsoft Entra verwendet. Weitere Informationen finden Sie unter Allgemeine Entscheidungen für bedingten Zugriff
  5. Wählen Sie "Starten" aus, und starten Sie tests, wie im vorherigen Abschnitt beschrieben. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.

Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mit dem Test Runner-Client aus:

  1. Starten Sie den Testausführungsclient über Azure Testpläne, indem Sie im Menü "Ausführen" die Option "Für Desktopanwendung ausführen" auswählen.

    Starten des Testausführungsclients

  2. Laden Sie den Test Runner-Desktopclient herunter, und installieren Sie ihn, wenn Sie ihn noch nicht eingerichtet haben:

    Herunterladen und Starten von Testrunner

    Hinweis

    Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.

  3. Wählen Sie "Starten" aus, und starten Sie das Testen auf die gleiche Weise wie oben für Web-Apps beschrieben. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.

Alle Tests ausführen

Sie können alle Tests in einer Testsuite gleichzeitig ausführen.

Wählen Sie eine Testsuite aus, und wählen Sie "Für Webanwendung ausführen" oder "Für Desktopanwendung ausführen" aus, um alle aktiven Tests auszuführen.

Screenshot zeigt, wie Alle aktiven Tests in einer Testsuite ausgewählt und ausgeführt werden.

Wählen Sie eine Testsuite aus, und wählen Sie "Ausführen" aus, um alle aktiven Tests auszuführen.

Screenshot zeigt, wie alle aktiven Tests in einer Testsuite ausgeführt werden.

Ausführen von Tests für einen Build

Wählen Sie einen Build aus, mit dem Tests ausgeführt werden sollen.

  1. Wählen Sie in der Dropdownliste "Ausführen mit Optionen" aus.

    Der Screenshot zeigt das Ausführen eines Tests für Webanwendungen mit Optionen.

  2. Wählen Sie im Dialogfeld "Ausführen mit Optionen " den gewünschten Build aus.

    Screenshot des Dialogfelds

  1. Wählen Sie "Ausführen" und dann " Ausführen mit Optionen" aus.

    Screenshot:

  2. Wählen Sie den gewünschten Build aus.

    Screenshot des Dialogfelds

Hinweis

Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.

Sie können einen Build für die folgenden Optionen auswählen:

  • Manuelle Tests mithilfe des Webbrowser-basierten Runners
  • Automatisierte Tests mithilfe der Veröffentlichungsphase
  • Manuelle Tests mit dem Microsoft Test Manager 2017-Client

Die Felder, die das Dialogfeld anbietet, unterscheiden sich je nach der ausgewählten Option. Weitere Informationen finden Sie unter "Unterstützte Clients" und "Ausführungsoptionen".

Alle während der Ausführung abgelegten Fehler werden dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.

Ändern eines Testschritts während einer Testausführung

Beheben Sie Probleme mit den Testschritten, während der Test noch ausgeführt wird. Wählen Sie das Symbol "Testschritt bearbeiten" aus .

Screenshot zeigt, wie Sie das Bearbeitungssymbol zum Bearbeiten von Testschritten auswählen.

Screenshot zeigt, wie Sie das Bearbeitungssymbol auswählen, um Testschritte zu ändern.

Sie können Schritte einfügen, neu anordnen oder löschen. Sie können den Text auch selbst bearbeiten.

Screenshot des Tools zum Bearbeiten von Testschritten beim Ausführen eines Tests.

Screenshot des Tools zum Ändern von Testschritten beim Ausführen eines Tests.

Erfassen von umfangreichen Diagnosedaten

Während Sie Ihre Tests ausführen, können Sie Screenshots hinzufügen, Aktionen als Protokoll erfassen und Video oder Sprache aufzeichnen.

Hinzufügen eines Screenshots

Fügen Sie während der Ausführung eines Tests einen Screenshot zu den Testergebnissen hinzu.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner, um Screenshots der Web-App während des Tests zu erstellen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Der Screenshot zeigt die Schaltfläche zum Aufzeichnen eines Screenshots während eines Tests.

Screenshot der Schaltfläche zum Aufnehmen eines Screenshots.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Erfassen von Aktionen aus einem Test

Erfassen Sie Ihre Aktionen für die Anwendung als Protokoll.

Wenn Sie Google Chrome oder Firefox verwenden, erfassen Sie mit dem Web-Runner Ihre Aktionen in der Web-App während des Tests als Bildprotokolle. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot der Schaltfläche zum Erfassen eines Bildaktionsprotokolls aus der App.

Screenshot der Schaltfläche zum Erfassen eines Bildaktionsprotokolls aus der App.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Erfassen von Bildschirmaufzeichnungen ihrer getesteten App

Erfassen Sie Bildschirmaufzeichnungen meiner App während des Tests.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner zum Erfassen von Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps beim Testen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Der Screenshot zeigt die Schaltfläche zum Aufzeichnen einer Bildschirmaufzeichnung aus der App.

Screenshot der Schaltfläche zum Erfassen einer Bildschirmaufzeichnung aus der App.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Ausführen von Tests mit TCM

Sie können Tests ausführen, die Teil eines Testplans sind, mithilfe des TCM-Befehlszeilentools. Mit diesem Tool können Sie eine Testausführung erstellen und starten und dann alle vorhandenen Testläufe verwalten. Verwenden Sie die hier dokumentierten tcm-Befehle, um diese Aufgaben auszuführen.

Auflisten von Testläufen Zum Erstellen von Testläufen | | | ausführen Ausführen ausführen Ausführen ausführen Abort Testausführungen Löschen von Testläufen | | Exportieren von Testläufen Veröffentlichen von Testläufen |

Testausführungen auflisten

Hier können tcm run /list Sie die in einem Testplan verfügbaren Ausführungen auflisten und deren ID anzeigen. Die ID entspricht der Arbeitsaufgaben-ID, die beim Erstellen der Ausführung definiert wurde.

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]
Parameter Beschreibung
/planid:id Optional. Gibt an, dass nur die testausführungen, die dem angegebenen Testplan zugeordnet sind, in der Liste zurückgegeben werden.
/querytext:query Optional. Gibt die Abfrage an, die zum Auflisten einer Teilmenge von Testläufen verwendet werden soll.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Der folgende Befehl listet die testausführungen auf, die für das Fabrikam Fiber-Projekt definiert sind, das in der Fabrikamprime-Organisation gehostet wird. Die ID und der Titel entsprechen der Arbeitsaufgaben-ID und dem Titel, die für die Testausführung definiert sind. Beispiel: "Testlauf 1000052 " lautet " Testplan für Zyklus 1 (Manuell)".

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

Testläufe erstellen

Dient tcm run /create zum Erstellen einer Testausführung, die dem angegebenen Testplan zugeordnet ist. Zusätzlich zum Testplan definieren Sie auch die Testsuite und die Konfiguration, die Sie mit der entsprechenden ID verwenden möchten. Sie können diese IDs mithilfe der tcm plans /listBefehle tcm suites /listund tcm configs /list Befehle erfassen.

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]

Parameter Beschreibung
/title:title Gibt den Titel an, den Sie für die von Ihnen erstellte Testausführung verwenden möchten.
/planid:id Gibt den Testplan an, in dem Sie die Testausführung erstellen möchten.
/suiteid:id Gibt die Testsammlungen an, die Sie für die Testausführung verwenden möchten.
/configid:id Gibt die Testkonfiguration an, die Sie für Ihre Testsammlungen ausführen möchten.
/querytext:query Optional, wenn Sie angeben suiteid und configid. Gibt die Abfrage an, die zum Auswählen der Tests verwendet werden soll, die Sie ausführen möchten.

Tipp: Sie können den /querytest Parameter verwenden, um mehrere Testsuiten auszuführen. Beispiel: querytext:“SELECT * FROM TestPoint WHERE (ConfigurationId=20 OR ConfigurationId=21) AND (Suiteid=1185 OR Suiteid=1186)”
/settingsname:name Optional. Gibt die Testeinstellungen an, die Sie für diese Testausführung verwenden möchten. Wenn Sie keine Testeinstellungen auswählen, werden die Standardtesteinstellungen im Testplan verwendet.
/owner:owner Optional. Gibt den Besitzer der Testausführung an.
/builddir:directory Optional. Gibt das Buildverzeichnis an, das zum Suchen der Testassemblys für den Test verwendet werden soll. Wenn dies nicht angegeben ist, wird der Buildspeicherort basierend auf dem Build verwendet, der derzeit dem Testplan zugewiesen ist.
/testenvironment:name Optional. Gibt die Testumgebung an, die Sie für diese Testausführung verwenden möchten. Wenn Sie keine Testumgebung auswählen, wird die Standardtestumgebung im Testplan verwendet.
/include Optional. Gibt an, dass alle Für die Testausführung ausgewählten Tests enthalten sind, auch wenn die Tests derzeit nicht auf den Aktiven Zustand festgelegt sind.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Der folgende Befehl erstellt eine Testausführung namens MyTestRun im Testplan mit ID 77. Die Ausführung verwendet die Testsuite mit ID 161 und die Testkonfiguration mit ID 9. Die Ausführung wird für das Fabrikam Fiber-Projekt definiert, das in der Fabrikamprime-Organisation gehostet wird.

In diesem Beispiel wird eine Testausführung mit einer ID von 1000082 erstellt.

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

Ausführen von Testläufen

Verwenden Sie diese Option tcm run /execute , um eine der Ausführungen in Ihrem Testplan zu starten. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde. Sie können eine Liste aller Testausführungs-IDs mit dem Befehl "/list ausführen" anzeigen.

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Beschreibung
/id:id Gibt die ID für die Testausführung an, die Sie ausführen möchten.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Der folgende Befehl startet eine Testausführung für die ID 1000082 für das Fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse werden in Ihrem CLI-Fenster zurückgegeben.

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

Abgebrochene Testläufe

Wird verwendet tcm run /abort , um eine laufende Testausführung abzubrechen. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde.

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Beschreibung
/id:id Gibt die ID für die Testausführung an, die Sie abbrechen möchten.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Mit dem folgenden Befehl wird die Testausführung mit der ID 1000082 für das fabrikam Fiber-Projekt beendet, das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse bestätigen die ID und den Titel der abgebrochenen Ausführung.

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

Testläufe löschen

Dient tcm run /delete zum Löschen einer Testausführung aus Ihrem Testplan. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Testausführung definiert wurde.

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Beschreibung
/id:id Gibt die ID für die Testausführung an, die Sie löschen möchten.
/noprompt Optional. Gibt an, dass der Benutzer nicht aufgefordert wird, das Löschen einer Testausführung zu bestätigen.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Mit dem folgenden Befehl wird die Testausführung mit der ID 1000082 für das fabrikam Fiber-Projekt gelöscht, das in der Fabrikamprime-Organisation gehostet wird. Der Benutzer wird aufgefordert, zu bestätigen, dass er die angegebene Testausführung löschen möchte und das Ergebnis bereitgestellt wird.

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

Exportieren von Testläufen

Dient tcm run /export zum Exportieren einer Testausführung an einen angegebenen Speicherort. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde.

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Beschreibung
/id:id Gibt die Testausführungs-ID an, die Sie exportieren möchten.
/resultsfile:path Gibt einen Speicherort und Dateinamen für die Testausführung an, die Sie exportieren möchten.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Der folgende Befehl gibt an, dass die Testausführung mit der ID 1000082 für das fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird, in c:\temp\ResultsForDeveloper.trx exportiert wird.

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Veröffentlichen von Testläufen

Wird tcm run /publish verwendet, um die Ergebnisse aus einer Visual Studio-Testausführungsergebnissedatei für einen angegebenen Testplan zu veröffentlichen.

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]
Parameter Beschreibung
/suiteid:id Gibt die Testsuite an, die beim Veröffentlichen einer Testausführung verwendet werden soll.
/configid:id Gibt an, welche Testkonfiguration beim Veröffentlichen einer Testausführung verwendet werden soll.
/resultowner:owner Gibt den Besitzer für die Testergebnisse an.
/resultsfile:path Gibt den Speicherort der Testausführung an, die Sie veröffentlichen möchten. Beispiel: "c:\temp\ResultsForDeveloper.trx".
/title:runtitle Optional. Gibt einen Titel an, den Sie für die testausführung verwenden möchten, die Sie veröffentlichen möchten.
/runowner:owner Optional. Gibt den Besitzer der Testausführung an.
/build:buildnumber Optional. Gibt die Buildnummer an, die zum Veröffentlichen einer Testausführung verwendet werden soll. Dieser Parameter muss mit /builddefinition.
/builddefinition:builddefinition Optional. Gibt die Builddefinition an, die zum Veröffentlichen einer Testausführung verwendet werden soll. Dieser Parameter muss mit /build.
/aroma:flavor Optional. Gibt den Buildgeschmack an, z . B. Release. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird.
/platform:platform Optional. Gibt die Buildplattform an, z . B. x86. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird.
/assignfailurestouser:user Optional. Gibt den Benutzer an, dem alle fehlgeschlagenen Tests in der Testausführung zugewiesen sind.
/buildverification Optional. Gibt an, dass dieser Testlauf Buildüberprüfungstests enthält, die die grundlegenden Funktionen Ihres Builds überprüfen.

Beschreibungen von /collectionund /teamproject /login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Mit dem folgenden Befehl wird eine Testausführung für die Testsuite mit ID 161 veröffentlicht und die Testkonfiguration mit ID 9 neu zugewiesen. Dadurch werden die vorhandenen Testpunkte für die Testfälle in der Testsuite aktualisiert, die mit dieser Konfiguration gekoppelt sind, und veröffentlicht die Ergebnisse in der angegebenen TRX-Datei . Und alle fehlgeschlagenen Tests in der Testausführung werden dem angegebenen Benutzer zugewiesen.

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Häufig gestellte Fragen

Im Folgenden finden Sie einige häufig gestellte Fragen.

F: Gewusst wie einen Test erneut ausführen?

A: Wählen Sie einfach einen beliebigen Test und dann "Ausführen" aus.

F: Kann ich alle Tests in einer Testsuite zusammen ausführen?

A: Ja, wählen Sie eine Testsuite und dann "Ausführen" aus. Diese Option führt alle aktiven Tests in der Testsuite aus. Wenn Sie noch keinen Test ausgeführt haben, ist der Status aktiv. Sie können den Status eines Tests auf "aktiv" zurücksetzen, wenn Sie ihn erneut ausführen möchten.

Auswählen und Ausführen aller aktiven Tests in einer Testsuite

F: Kann ich einen Build auswählen, mit dem Tests ausgeführt werden sollen?

A: Ja, Wählen Sie "Ausführen" und dann " Ausführen mit Optionen" aus.

Starten eines Tests mit Optionen

Wählen Sie den gewünschten Build aus der Dropdownliste aus.

Auswählen des Builds, mit dem ein Link in die Ergebnisse aufgenommen werden soll

Alle während der Ausführung abgelegten Fehler werden automatisch dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.

Hinweis

Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.

F: Kann ich meine Testschritte beheben, während ich einen Test ausführt?

A: Ja, wenn Sie azure Testpläne für Azure DevOps haben. Sie können Schritte einfügen, verschieben oder löschen. Oder Sie können den Text selbst bearbeiten. Verwenden Sie das Bearbeitungssymbol neben der Testschrittnummer.

Auswählen des Bearbeitungssymbols zum Bearbeiten von Testschritten

Das Tool zum Bearbeiten der Testschritte wird angezeigt.

Beheben von Testschritten beim Ausführen eines Tests

F: Kann ich beim Ausführen eines Tests einen Screenshot zu den Testergebnissen hinzufügen?

A: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner, um Screenshots der Web-App während des Tests zu erstellen. Für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.

Aufzeichnen eines Screenshots aus der App

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Kann ich meine Aktionen in der App als Protokoll erfassen?

A: Wenn Sie Google Chrome oder Firefox verwenden, erfassen Sie mithilfe des Web-Runners Ihre Aktionen in der Web-App während des Tests als Bildprotokolle. Für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.

Erfassen eines Bildaktionsprotokolls aus der App

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Kann ich Bildschirmaufzeichnungen meiner App erfassen?

A: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner, um Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps während des Tests zu erfassen. Laden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient herunter und verwenden Sie sie.

Aufzeichnen einer Bildschirmaufzeichnung aus der App

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Einige der Anlagen für die Testausführung zeigen nicht die Vorschauoption an?

A: Sie können nur Dateien mit TXT- und Protokollerweiterungen in der Vorschau anzeigen. Klicken Sie auf die Vorschauoption für TXT- oder Log-Erweiterungsdateien, und eine andere Benutzeroberfläche wird mit dem Dropdownfeld mit allen Anlagen für die Testausführung geöffnet. Wenn Sie eine Datei mit einem anderen Erweiterungstyp als txt oder log auswählen, wird die folgende Meldung angezeigt: "Sie können nur Dateien mit TXT- und Protokollerweiterungen in der Vorschau anzeigen, klicken Sie hier, um die Anlage herunterzuladen"

F: Gewusst wie steuern, wie lange meine Testdaten beibehalten werden?

A: Weitere Informationen finden Sie unter "Festlegen von Testaufbewahrungsrichtlinien".

F: Wo kann ich den Test Runner-Client herunterladen?

A: Laden Sie den Test Runner-Desktopclient herunter.

F: Was sind die unterstützten Betriebssysteme für den Test Runner-Client?

A: Der Test Runner-Desktopclient wird derzeit nur auf windows x64-Plattform unterstützt.

F: Ich beobachte Testausführungsfehler bei Verwendung des Azure Test Runner-Desktopclients.

A: Stellen Sie sicher, dass Sie die neueste Version des Test Runner-Desktopclients verwenden. Herunterladen des Test Runner-Desktopclients

F: Funktioniert der Azure Test Runner-Desktopclient auf Geräten mit aktiviertem bedingten Microsoft Entra-Zugriff?

A: Azure Test Runner funktioniert möglicherweise nicht, wenn Ihre Organisation eine Richtlinie für bedingten Zugriff über Microsoft Entra verwendet. Weitere Informationen finden Sie unter Allgemeine Entscheidungen für bedingten Zugriff. Dies ist eine bekannte Einschränkung, und unsere Empfehlung besteht darin, Webrunner in diesem Szenario zu verwenden.

F: Kann ich die Telemetrie für den Test Runner-Client deaktivieren?

A: Nein. Der Test Runner-Desktopclient sammelt keine benutzeridentifizierbaren Daten. Es wird kein Opt-Out-Mechanismus bereitgestellt. Weitere Informationen finden Sie in der Microsoft-Datenschutzrichtlinie.

F: Kann ich Tests offline ausführen und dann die Ergebnisse importieren?

A: Ja, siehe die Offlinetestausführungserweiterung.

Nächster Schritt