Gewusst wie: Konfigurieren und Ausführen von geplanten Tests nach dem Erstellen der Anwendung

Artikel
07/20/2011

Nach Abschluss eines Builds können Sie Tests ausführen, um die Qualität des Builds auszuwerten. Diese Tests werden oft als Buildüberprüfungstests (Build Verification Test, BVT) oder Feuerproben bezeichnet. Die Tests bestehen in der Regel aus einer umfassenden Suite von Tests, mit denen wesentliche Bereiche einer Anwendung in einem bestimmten Build überprüft werden. Ein Build wird als erfolgreich gewertet, wenn alle Tests innerhalb des Buildüberprüfungstests bestanden wurden.

In den Buildüberprüfungstests können Sie einen oder mehrere Typen von automatisierten Tests verwenden. Die folgenden Testtypen können Sie ausführen:

Komponententests
Datenbankkomponententests
Tests der codierten UI
Webleistungstests
Auslastungstests
Generische Tests

Zum Erstellen von BVTs verwenden Sie Visual Studio, Team Foundation-Versionskontrolle und Team Foundation Build. Zunächst weisen Sie in Visual Studio den Tests, die Sie für den BVT verwenden möchten, Testkategorien zu. Danach checken Sie die mit den Testkategorien markierten automatisierten Tests in die Quellcodeverwaltung mit der Team Foundation-Versionskontrolle ein. Dann fügen Sie den Testkategoriefilter in der Builddefinition hinzu. Schließlich stellen Sie in Team Foundation Build einen Build in die Warteschlange, sodass bei erfolgreichem Build die Tests ausgeführt werden.

Tipp

Auf dem Clientcomputer muss Team Explorer installiert sein, und die Visual Studio-Benutzersitzung muss mit einem Team Foundation Server-Computer verbunden sein. Informationen zum Herstellen einer Verbindung mit Team Foundation Server finden Sie unter How to: Connect to a Team Project in Team Foundation Server.

In diesem Thema sind alle Prozeduren beschrieben, die zum Erstellen und Ausführen von Buildüberprüfungstests erforderlich sind:

Erstellen von Testkategorien für den BVT
Einchecken der Buildüberprüfungstests
Erstellen einer Builddefinition
Hinzufügen der Computer oder der Benutzerkonten für Build- und Test-Agents zur Gruppe TeamTestControllerUsers
Einrichten des Agents zum Ausführen von Tests der codierten UI
Ausführen der BVT-Builddefinition

Tipp

Sie können Buildüberprüfungstests mithilfe von Testlisten ausführen, es wird jedoch empfohlen, anstelle der Testlisten der früheren Versionen von Microsoft Visual Studio 2010 nun Testkategorien zu verwenden, ausgenommen beim Erstellen von Eincheckrichtlinien, die eine Testliste erfordern. Weitere Informationen zum Erstellen einer Testliste finden Sie unter Gewusst wie: Erstellen einer Testliste.

Erstellen von Testkategorien für den BVT

Zum Erstellen von Filtern können Sie die logischen Operatoren & (AND), | (OR) und !(NOT) verwenden, um die auszuführenden Tests anhand der den Tests zugewiesenen Kategorien auszuwählen. Sie können mehrere Testkategorien erstellen und in der Builddefinition verwenden, um Flexibilität bei der Auswahl der Tests zu erhalten.

So erstellen Sie Testkategorien für die Testmethoden

Klicken Sie im Menü Test auf Fenster, wählen Sie dann Testansicht aus.

Das Fenster Testansicht wird angezeigt.
Wählen Sie einen Test aus.
Klicken Sie im Eigenschaftenbereich des ausgewählten Tests in der Spalte Testkategorien auf die Auslassungspunkte (…). Das Fenster Testkategorie wird angezeigt.
Geben Sie im Feld Neue Kategorie hinzufügen den Namen der neuen Testkategorie ein.
Klicken Sie auf Hinzufügen.
Klicken Sie auf OK. Die neue Testkategorie wird Ihrem Test zugewiesen und steht für andere Tests im Fenster Testansicht zur Verfügung.
Zum Erstellen weiterer Testkategorien wiederholen Sie Schritte 4 bis 6.

Weitere Informationen zum Zuweisen von Testkategorien durch Hinzufügen eines Attributs zur Testmethode finden Sie unter Gewusst wie: Gruppieren und Ausführen von automatisierten Tests mithilfe von Testkategorien.

Einchecken der Buildüberprüfungstests

In diesem Verfahren werden alle Dateien der Projektmappe eingecheckt. Darin eingeschlossen sind die Testkategorien, die Sie den Testmethoden hinzugefügt haben.

So checken Sie die Buildüberprüfungstests in die Quellcodeverwaltung ein

Stellen Sie eine Verbindung mit einem Team Foundation Server-Computer her. Weitere Informationen finden Sie unter How to: Connect to a Team Project in Team Foundation Server.
Wenn sich die Projektmappe noch nicht in der Quellcodeverwaltung befindet, fügen Sie sie hinzu. Weitere Informationen finden Sie unter Hinzufügen von Dateien zur Versionskontrolle.
Klicken Sie auf Ansicht und dann auf Anstehende Eincheckvorgänge. Das Fenster Anstehende Eincheckvorgänge wird angezeigt.
Checken Sie alle Dateien der Projektmappe ein. Weitere Informationen finden Sie unter Einchecken von ausstehenden Änderungen.

Tipp

Möglicherweise verfügen Sie über einen bestimmten Teamprozess, der die Erstellung und Verwaltung von Buildüberprüfungstests regelt. Der Prozess kann beispielsweise erfordern, dass der Build lokal überprüft wird, bevor dieser Code zusammen mit den Tests eingecheckt wird, die dafür ausgeführt werden sollen.

Nach Abschluss des Eincheckvorgangs wird neben den Dateien im Projektmappen-Explorer ein Vorhängeschlosssymbol angezeigt, um den Status Eingecheckt anzugeben. Weitere Informationen finden Sie unter How to: Identify Version Control Item Status in Solution Explorer.

Die eingecheckten Tests stehen zur Verwendung in einem Build zur Verfügung. Sie können jetzt eine Builddefinition mit den Tests erstellen, die im BVT ausgeführt werden sollen.

Erstellen einer Builddefinition

So erstellen Sie die Builddefinition für den Buildüberprüfungstest

Klicken Sie in Team Explorer auf das Teamprojekt.
Klicken Sie mit der rechten Maustaste auf Builds, und klicken Sie dann auf Neue Builddefinition.

Die Registerkarte Neue Builddefinition wird angezeigt.
Geben Sie die Informationen für die neue Builddefinition ein**.** Weitere Informationen finden Sie unter Erstellen einer einfachen Builddefinition.
Geben Sie im Textfeld Builddefinitionsname den Namen an, der der Builddefinition zugeordnet werden soll.
(Optional) Fügen Sie unter Beschreibung eine passende Beschreibung hinzu.
Klicken Sie auf Arbeitsbereich.

Die Tabelle Arbeitsordner enthält den Quellcodeverwaltungsordner des Teamprojekts, für das Sie die neuen Builddefinitionen erstellen, sowie einen lokalen Ordner für den Build-Agent. Der lokale Ordner im Build-Agent wird in der Spalte Lokaler Ordner aufgelistet. Alle Arbeitsbereichspfade im Build-Agent werden relativ zum angezeigten Standardstammverzeichnis zugeordnet.
Zum Kopieren eines vorhandenen Arbeitsbereichs in die Liste der Arbeitsordner klicken Sie auf Vorhandenen Arbeitsbereich kopieren, um das Dialogfeld Arbeitsbereich für das Kopieren auswählen zu öffnen.

Der ausgewählte Arbeitsbereich wird auf das allgemeine Stammverzeichnis auf dem Build-Agenten, $(SourceDir), ausgerichtet. SourceDir ist eine Umgebungsvariable, die zu $(BuildDir)\Sources erweitert wird.

Sie können auch in Quellcodeverwaltungsordner in eine leere Tabellenzelle und dann auf die Schaltfläche mit den Auslassungspunkten (…) klicken, um zu einem Quellcodeverwaltungsordner zu wechseln, der als Arbeitsordner hinzugefügt werden soll. Der von Ihnen ausgewählte Quellverwaltungsordner wird ebenfalls auf das allgemeine Stammverzeichnis auf dem Build-Agent normalisiert.
Klicken Sie auf Build-Standardwerte.

Im Bereich Build-Standardwerte können Sie, sofern vorhanden, in der Dropdownliste Buildcontroller einen Buildcontroller auswählen. Sie können auf Verwalten klicken, um das Dialogfeld Buildcontroller verwalten zu öffnen.

Geben Sie unter Buildausgabe in den folgenden Ablageordner kopieren den UNC-Pfad ein, z. B. den Speicherort (\\Server\Freigabe). Nach Abschluss des Builds befinden sich die erstellten Binärdateien und Protokolldateien in diesem Ordner. Weitere Informationen zum Einrichten eines Ablageordners finden Sie unter Einrichten von Ablageordnern.

Wenn Sie Tests der codierten UI, Webleistungstests oder Auslastungstests als Teil der Builddefinition ausführen möchten, müssen Sie die Ausgabe von dem Build verwenden, der sich an diesem Speicherort befindet, um die Anwendung zu starten oder installieren. Um die Anwendung nach dem Abschluss des Builds und vor der Ausführung der Tests automatisch zu installieren, können Sie entweder die Lab-Standardvorlage verwenden, die die Anwendung in einer virtuellen Umgebung bereitstellen kann, oder Sie können diese Lab-Standardvorlage ändern, um die Anwendung in einer physikalischen Umgebung bereitzustellen.

Tipp

Bevor Sie diesen Schritt abschließen, müssen Sie einen öffentlichen Ordner erstellen, in dem das TFSService-Konto vollständige Rechte besitzt. Weitere Informationen über Team Foundation-Dienstkonten finden Sie unter Anzeigen von Team Foundation Server-Diensten.
Klicken Sie auf Prozess.
Klicken Sie im Abschnitt Erforderlich auf Zu erstellende Elemente. Klicken Sie dann auf die Auslassungspunkte (…).

Das Dialogfeld Zu erstellende Elemente wird angezeigt.
Klicken Sie auf Hinzufügen. Suchen Sie dann die Projektmappe oder das Projekt, die oder das Sie in der Versionskontrollstruktur erstellen möchten, und klicken Sie dann auf OK.
Klicken Sie im Dialogfeld Zu erstellende Elemente auf OK.
Zum Hinzufügen einer Testkategorie von Tests, die ausgeführt werden sollen, wenn der Build abgeschlossen wurde, öffnen Sie den Abschnitt Basic. Öffnen Sie im Abschnitt Automatisierte Tests die Option Testassembly, und klicken Sie dann auf Kategoriefilter. Geben Sie den erforderlichen Filter ein, um die Testmethoden auf Grundlage der Testkategorie auszuwählen.

Tipp

Der Testkategoriefilter besteht aus einem oder mehreren durch die logischen Operatoren "&", "|", "!" und "&!" getrennten Testkategorienamen. Mit ShoppingCart&SmokeTest werden z. B. alle Tests mit den Testkategorien ShoppingCart und SmokeTest ausgeführt. Sie können auch lediglich alle Tests in einer Kategorie auswählen, indem Sie SmokeTest eingeben. (Die logischen Operatoren "&" und "|" können nicht gemeinsam zum Erstellen eines Testkategoriefilters verwendet werden.)
Wenn Sie das Suchmuster zum Suchen von Testassemblys angeben möchten, klicken Sie auf Dateiangabe für Testassemblys. Geben Sie die Suchzeichenfolge ein. Geben Sie beispielsweise **\*test*.dll ein, wenn alle DLLs das Wort "test" im Namen enthalten.

Tipp

Mit dieser Suchzeichenfolge werden rekursiv die Verzeichnisse nach allen DLLs durchsucht, die mit *test*.dll im Verzeichnis Binärdateien übereinstimmen. Weitere Informationen hierzu finden Sie unter Erstellen und Verwenden von Builddefinitionen.
(Optional) Um eine Testeinstellungsdatei für die Ausführung der Tests auszuwählen, öffnen Sie Automatisierte Tests und Testassembly, und klicken Sie anschließend auf TestSettings-Datei und auf die Auslassungspunkte (…).

Das Dialogfeld Durchsuchen wird angezeigt. Suchen Sie die TEST-Einstellungsdatei mit den gewünschten Testeinstellungen, und klicken Sie dann auf OK.

Wenn für die Testeinstellungsdatei ein Testcontroller und Test-Agents verwendet werden, finden Sie in der folgenden Prozedur entsprechende Informationen: Hinzufügen von Benutzerkonten oder Computern für Build- und Test-Agents zur Gruppe "TeamTestControllerUsers".

Wenn Sie Tests der codierten UI ausführen, richten Sie sich nach der folgenden Prozedur für das Einrichten von Agents auf Grundlage der Testeinstellungsdatei: Einrichten der Agents zum Ausführen von Tests der codierten UI.

Tipp

In den Agent-Einstellungen im Abschnitt Erweitert können Sie einen bestimmten Agent für die Verwendung auswählen. Wenn Sie zum Beispiel Tests der codierten UI ausführen und einen Agent auswählen müssen, der als interaktiver Prozess ausgeführt wird, können Sie diesen hier auswählen.

Weitere Informationen zu Testeinstellungsdateien finden Sie unter Erstellen von Testeinstellungen zum Ausführen von automatisierten Tests in Visual Studio.

Tipp

Zwei Standard-Testeinstellungsdateien sind verfügbar. Mit local.testsettings werden standardmäßig nur Systeminformationen erfasst. Wenn Sie auch IntelliTrace-Daten sowie Testauswirkungsanalysedaten sammeln möchten, mit denen Sie die Tests bestimmen, deren Ausführung aufgrund der Buildänderungen empfohlen wird, müssen Sie die Testeinstellungsdatei TraceAndTestImpact.testsettings auswählen.
(Optional) Zum Ausführen von Auslastungstests als Teil des Buildprozesses müssen Sie ein Ergebnisrepository für den Auslastungstest einrichten und den in den Testeinstellungen angegebenen Testcontroller für die Verwendung dieses Repositorys konfigurieren. Weitere Informationen finden Sie unter Gewusst wie: Auswählen eines Ergebnisrepositorys für Auslastungstests.
Zum Speichern der neuen Builddefinition klicken Sie auf Speichern.

Die neue Builddefinition wird im Team Explorer-Fenster im Ordner Builds angezeigt.

Tipp

Wenn Sie eine Testliste hinzufügen möchten, die beim Abschluss des Builds statt einer Testkategorie ausgeführt werden soll, können Sie entsprechende Befehlszeilenargumente hinzufügen. Weitere Informationen zu Befehlszeilenargumenten finden Sie unter Ausführen von automatisierten Tests über die Befehlszeile.

Hinzufügen der Benutzerkonten oder Computer für Build- und Test-Agents zur Gruppe TeamTestControllerUsers

Wenn für die Testeinstellungsdatei, die Sie der Builddefinition hinzugefügt haben, ein Testcontroller und Test-Agents verwendet werden, müssen Sie der Sicherheitsgruppe "TeamTestControllerUsers" auf dem Testcontrollercomputer die Computer für alle verwendeten Build- oder Test-Agents hinzufügen. Wenn Sie z. B. Tests der codierten UI als Teil des Buildprozesses ausführen möchten, müssen Sie dieser Sicherheitsgruppe diese Computer hinzufügen.

Warnung

Wenn die Build-Agents oder Test-Agents zur Verwendung eines anderen Benutzerkontos und nicht des Netzwerkdienstkontos eingerichtet wurden, müssen Sie sicherstellen, dass dieses Domänenbenutzerkonto stattdessen der Gruppe TeamTestControllerUsers hinzugefügt wird.

So fügen Sie der Gruppe TeamTestControllerUsers Benutzer oder Computer für Build- und Test-Agents hinzu

Klicken Sie auf dem Testcontrollercomputer auf Start, auf Systemsteuerung, Verwaltung und auf Computerverwaltung.

Das Dialogfeld Computerverwaltung wird angezeigt.
Öffnen Sie Lokale Benutzer und Gruppen, und klicken Sie dann auf Gruppen.

Die Gruppen werden angezeigt.
Um die Benutzer oder Computer hinzuzufügen, klicken Sie mit der rechten Maustaste auf TeamTestControllerUsers, und zeigen Sie dann auf Zur Gruppe hinzufügen.

Das Dialogfeld Eigenschaften von TeamTestControllerUsers wird angezeigt.
Untersuchen Sie die Mitgliederliste daraufhin, ob das Domänenbenutzerkonto oder die Computer bereits hinzugefügt wurden. Wenn dies nicht der Fall ist, klicken Sie auf Hinzufügen.

Das Dialogfeld Benutzer, Computer oder Gruppen auswählen wird angezeigt.
Standardmäßig werden nur die Benutzer oder Gruppen angezeigt. Wenn Sie Computer hinzufügen möchten, klicken Sie auf Objekttypen, wählen Sie Computer aus, und klicken Sie dann auf OK.
Zum Hinzufügen eines Computers geben Sie dessen Namen unter Geben Sie die zu verwendenden Objektnamen ein ein, und klicken Sie dann auf OK.

Warnung

Sie müssen beide Computer, auf denen der Build-Agent ausgeführt wird, sowie den Computer für den Test-Agent hinzufügen.
Zum Hinzufügen eines Domänenbenutzerkontos überprüfen die Richtigkeit des Speicherorts, geben Sie den Namen des Benutzerkontos unter Geben Sie die zu verwendenden Objektnamen ein ein, und klicken Sie dann auf OK

Wichtig

Wiederholen Sie diesen Schritt für jedes erforderliche Benutzerkonto.
Klicken Sie auf OK, um die Änderungen zu übernehmen.

Einrichten der Agents zum Ausführen von Tests der codierten UI

Wenn Sie nach dem Build der Anwendung Tests der codierten UI als Teil der geplanten Tests ausführen möchten, müssen Sie einen der folgenden Schritte ausführen:

Verwenden Sie eine Testeinstellungsdatei, in der ein Testcontroller und die Rollen für die Anwendung angegeben werden, um die Tests auszuführen. Erstellen Sie diese Testeinstellungen mithilfe von Microsoft Visual Studio 2010. Für alle der Rolle zugewiesenen Test-Agents, die die Tests in den Testeinstellungen ausführen, müssen Sie die Schritte in dieser Prozedur ausführen, um den Test-Agent für die Ausführung als Prozess statt als Dienst einzurichten. Weitere Informationen zu Test-Agent-Controllern und Agents finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten und Installing and Configuring Visual Studio Agents and Test and Build Controllers.
Verwenden Sie eine Testeinstellungsdatei, in der kein Testcontroller angegeben wird. In diesem Fall müssen Sie den Build-Agent-Dienst so einrichten, dass eine Interaktion mit dem Desktop möglich ist. Wählen Sie die Eigenschaft für den Dienst aus, um dem Dienst die Interaktion mit dem Desktop zu ermöglichen. Dadurch wird dem Build-Agent die Ausführung des Tests der codierten UI ermöglicht.

Warnung

Wenn Sie einen Test der codierten UI ausführen, mit denen ein Browser gestartet wird, wird dieser Browser unter dem Dienstkonto für den Builddienst gestartet. Dieses Dienstkonto muss mit dem Benutzerkonto des aktiven Benutzers auf diesem Computer identisch sein. Wenn es sich nicht um das gleiche Benutzerkonto handelt, wird der Browser nicht gestartet.

So richten Sie die Test-Agents zum Ausführen von Tests der codierten UI ein

Führen Sie zum Einrichten der Test-Agents für das Ausführen von Tests der codierten UI die folgenden Schritte in diesem Thema aus: How to: Set Up Your Test Agent to Run Tests that Interact with the Desktop.

So führen Sie den Buildüberprüfungstest mithilfe eines Teambuilds aus

Klicken Sie in Team Explorer auf das Teamprojekt.
Klicken Sie mit der rechten Maustaste auf Builds, und klicken Sie dann auf Neuen Build in Warteschlange.
(Optional) Ändern Sie den Speicherort und das Verzeichnis des Builds.
Klicken Sie auf Warteschlange.

Der Build wird gestartet, und das Dialogfeld Build Explorer wird angezeigt.
Wenn der Build abgeschlossen ist, klicken Sie auf Abgeschlossen, um die Details anzuzeigen.
Zum Anzeigen der Details für den Build doppelklicken Sie in der Liste auf den Build.

Eine neue Registerkarte wird mit den Buildinformationen angezeigt. Sie können den Status des Testlaufs anzeigen.
Wenn Sie die Details der Testergebnisse anzeigen möchten, klicken Sie dann auf den Pfeil, um den Test zu öffnen, und klicken Sie dann auf Testergebnisse anzeigen.
Wählen Sie einen Ordner aus, um die Testergebnisse lokal zu speichern.

Die Testergebnisse werden nun im Fenster Testergebnisse angezeigt.

Weitere Informationen finden Sie unter Erstellen der Anwendung.