ビルド システムを使用したテストの操作

更新 : 2011 年 5 月

テストを実行し、テストにおけるコード変更の影響を分析するビルド処理を定義できます。 たとえば、ビルド処理を定義して、定期的にスケジュールされたチームのビルド確認テスト (BVT) の実行に使用することができます。

このトピックの内容

• ビルド処理でテストの実行を準備する

• DefaultTemplate.xaml に基づいてビルドのテストを操作する

  • 必要なアクセス許可

  • 自動テストを実行する

  • テストを一時的に無効にする

  • テスト影響分析を有効にする

• カスタム ビルド処理のテストを操作する

• 参照項目

ビルド処理でテストの実行を準備する

テストを準備する: ビルド処理から実行するテストに、ユーザー インターフェイスが表示されないことを確認します。 一般に、UI が表示されるテストはビルド システムでの実行に適していません。 ビルド システムを使用して、UI が表示されるテストを実行する必要がある場合、コンピューターで対話的に実行されるビルド定義を実行する必要があります。 詳細については、「ビルド コンピューターの構成」を参照してください。

ビルド コンピューターを準備する: 一部の種類のテストは、特殊な構成のビルド コンピューターでビルド エージェントによってのみ実行できます。 ビルド処理を使用してテストを実行しようとする前に、使用する予定のビルド コンピューターで実行できることを確認してください。 詳細については、「ビルド エージェントを使用してテストを実行する」を参照してください。

DefaultTemplate.xaml に基づいてビルドのテストを操作する

ビルドを設計して、1 つ以上の自動テスト実行を実行し、テストにおけるコード変更の影響を分析できます。

必要なアクセス許可

これらの手順を実行するには、[ビルド定義の編集] アクセス許可が [許可] に設定されている必要があります。 詳細については、「Team Foundation Server のアクセス許可」を参照してください。

自動テストを実行する

1 つまたは複数の自動テストの実行を開始するようにビルドを設計できます。 設定したテストの実行ごとに、次の設定を指定できます。

• 実行するテスト

• テストの実行に使用する設定

• テストが失敗した場合にビルドを失敗とするかどうか

ビルドが自動テストを実行するように構成するには

1. ビルド定義の [プロセス] タブで、[基本] ノードを展開します。

2. [自動テスト] ボックスを選択し、このボックスの省略記号ボタン ([...]) をクリックします。

   [自動テスト] ダイアログ ボックスが表示されます。

3. 次のいずれかの操作を実行します。

   • テストの実行を追加するには、[追加] をクリックします。

   • 既存のテストの実行を変更するには、そのテストの実行をクリックし、[編集] をクリックします。

   [テストの追加/編集] ダイアログ ボックスが表示されます。

4. テストの実行に使用する方法をクリックします。

   • テスト アセンブリ ファイルの指定 (推奨)

     ビルド エージェントの作業ディレクトリの binaries サブディレクトリで *test*.dll と一致するすべての .dll ファイルが再帰的に検索されるようにする場合は、既定値 (**\*test*.dll) のままにします。 または、ニーズに合わせてファイル指定を変更します。

     (省略可能) [テスト設定ファイル] を指定して、テストの実行方法を設定します。 詳細については、「Visual Studio から自動テストを実行するためのテストの設定の作成」を参照してください。

   • テスト メタデータ ファイル (.vsmdi)

     このオプションをクリックした場合は、[参照] をクリックし、使用するテスト メタデータ ファイルを探して指定します。 次に、[この VSMDI ファイルのすべてのテストを実行する] チェック ボックスをオンのままにするか、このチェック ボックスをオフにしてから [実行するテスト リスト] ボックスの一覧で 1 つ以上のテストを選択できます。

     詳細については、「テスト リストの定義によるテストのグループ化」を参照してください。

5. [基準/引数] タブをクリックします。

6. (省略可能) 実行するテストをカテゴリでフィルター処理します。

   詳細については、このトピックの「テスト カテゴリを指定する」を参照してください。

7. (省略可能) 実行するテストを優先度でフィルター処理します。

   ヒント

   テストに優先度を割り当てた場合、このパラメーターを使用して徹底したテストと高速ビルドの間のバランスを取ることができます。

   [テストの最小優先度] を [テストの最大優先度] 以下の正の整数と最小値がないことを表す -1 のどちらかに設定します。

   [テストの最大優先度] を [テストの最小優先度] 以上の正の整数と最大値がないことを表す -1 のいずれかに設定します。

8. このテストの実行に含まれるテストのいずれかが失敗した場合にビルドを失敗とする場合は、[テスト失敗時にビルドを失敗させる] チェック ボックスをオンにします。 このチェック ボックスをオフのままにし、いずれかのテストが失敗すると、完了したビルドは [一部成功] に分類されます。

9. [OK] をクリックします。

テスト カテゴリを指定する

テスト カテゴリを使用して、テストの実行中に実行するテストをフィルター処理できます。

テストを分類する

Test Professional を使用して、テストにカテゴリを割り当てることができます。 たとえば、CI というテスト カテゴリを作成し、継続的な統合ビルドでそのカテゴリを指定できます。 また、bvt というビルド確認テスト カテゴリを作成し、夜間ビルドなどのスケジュール ビルドでそのカテゴリを指定できます。

詳細については、「テスト カテゴリの定義によるテストのグループ化」を参照してください。

テストの実行のテスト カテゴリを指定する

テスト カテゴリは、次の方法で指定できます。

• 前述したように、テストの実行の作成時に指定する。

• 既存のテストの実行を変更することによって指定する (既存のテストの実行を変更するには、[基本] ノード、[自動テスト] ノードを順に展開し、変更するテストの実行を展開して、[カテゴリ フィルター] ボックス内をクリックします。

テスト カテゴリは、次のいずれかの形式で指定できます。

• テストを対象または対象外とする 1 つのテスト カテゴリを指定する。 たとえば、bvt というテスト カテゴリを作成したとします。 このパラメーターを bvt に設定すると、このカテゴリのテストだけが実行され、!bvt に設定すると、このカテゴリのテストを除くすべてのテストが実行されます。

• && (AND 演算子) と ! (NOT 演算子) を使用して複数のテスト カテゴリを指定する。 たとえば、quick&&gui&&!deep と指定すると、quick カテゴリと gui カテゴリの両方に含まれ、deep カテゴリに含まれないテストだけを実行できます。

• | (OR 演算子) と ! (NOT 演算子) を使用して複数のテスト カテゴリを指定する。 たとえば、quick|gui|!deep と指定すると、quick カテゴリに含まれるテスト、gui カテゴリに含まれるテスト、および deep カテゴリに含まれないすべてのテストを実行できます。

複数のテストの実行を設定する

テストの実行は、チームのビルドおよびテスト プロセスの要件を満たすために必要な数だけ設定できます。 たとえば、1 つのビルドで複数のテストの実行を設定する必要がある状況の例を次にいくつか示します。

• 次の 2 つのテスト セットがある。

  • 合格することが必要な優先度の最も高いコア テストのセット。 [テストの最小優先度] および [テストの最大優先度] が 1 であるテストの実行を追加します。 [テスト失敗時にビルドを失敗させる] チェック ボックスをオンにします。

  • 実行した方がよいが、合格しなくてもビルドの使用可能性に影響しない、重要度の低いテストのセット。 [テストの最小優先度] が 2、[テストの最大優先度] が 3 であるテストの実行を追加します。 [テスト失敗時にビルドを失敗させる] チェック ボックスをオフのままにします。

• 同じテスト セットを異なるテスト設定で実行する。

• ビルドするアセンブリのメイン セットをコード カバレッジの対象とするが、 外部ソースからの別のアセンブリ セットもあり、それらはコード カバレッジを必要としない。 このようなプロセスを実行するには、2 つのテスト設定ファイル セットを使用するように設定された 2 つのテストの実行を使用します。

テストを一時的に無効にする

テストの実行を削除せずにテストを一時的に無効にする必要がある場合は、[詳細設定] ノードを展開し、[テストの無効化] を True に設定します。 テストを再び有効にする場合は、値を False に戻します。

テスト影響分析を有効にする

テスト担当者や開発者は、完了したビルドに含まれるコード変更がテストに与える影響を把握することが必要となる場合があります。 テスト影響分析を有効にすると、コードの変更がテストに与える影響の分析が行われ、その結果が完了したビルドのビルド レポートに報告されます。

テスト影響分析を有効にするには

1. テスト設定ファイルでテスト影響分析を設定します。

   詳細については、「方法: コードの変更後に実行するテストをチェックするためのデータを収集する」を参照してください。

2. テスト設定ファイルを使用するように設定されたテストの実行を作成します。

   詳細については、このトピックの「自動テストを実行する」を参照してください。

3. [詳細設定] ノードを展開し、[テストの影響の分析] が True に設定され、[テストの無効化] が False に設定されていることを確認します。

カスタム ビルド処理のテストを操作する

テストを実行し、カスタム ビルド処理のテストにおけるコード変更の影響を分析できます。 詳細については、「テストを実行する (MSTest アクティビティ)」を参照してください。

参照項目

「既定のテンプレートを使用してビルドを定義する」では、DefaultTemplate.xaml に基づくビルド定義を作成する方法について詳細に説明されています。

「方法: アプリケーションのビルド後にスケジュールされているテストを構成および実行する」では、ビルド システムからテストを実行する方法について詳細に説明されています。

参照

その他の技術情報

ビルド処理の定義

履歴の変更