リフト チャートを使用した精度テスト (基本的なデータ マイニング チュートリアル)

データ マイニング デザイナーの [マイニング精度チャート] タブでは、各モデルの予測精度を計算し、その結果をモデル間で直接比較できます。この比較方法をリフト チャートといいます。通常、マイニング モデルの予測精度は、リフトまたは分類の精度によって測定します。このチュートリアルでは、リフト チャートのみを使用します。リフト チャートおよびその他の精度チャートの詳細については、「モデルの精度をグラフ化するためのツール (Analysis Services - データ マイニング)」を参照してください。

このトピックでは次の作業を行います。

  • 入力データの選択

  • モデル、予測可能列、および値の選択

入力データの選択

マイニング モデルの精度をテストするには、まず、テストに使用するデータ ソースを選択する必要があります。テスト データに対するモデルの予測精度をテストし、その後で外部データに対してモデルを使用します。

データ セットを選択するには

  1. Business Intelligence Development Studio のデータ マイニング デザイナーの [マイニング精度チャート] タブに切り替えて、[入力の選択] タブをクリックします。

  2. [精度チャートに使用するデータセットの選択] グループ ボックスで [マイニング構造のテスト ケースを使用する] を選択し、マイニング構造の作成時に確保しておいたテスト データを使用してモデルをテストします。

    その他のオプションの詳細については、「マイニング モデルの精度の測定 (Analysis Services - データ マイニング)」を参照してください。

モデル、予測可能列、および値の選択

次に、リフト チャートに表示するモデル、各モデルの比較に使用する予測可能列、および予測する値を選択します。

注意

[予測可能列名] ボックスの一覧に表示されるマイニング モデル列は、使用法が Predict または Predict Only に設定されていて、コンテンツの種類が Discrete または Discretized である列だけです。

モデルのリフトを表示するには

  1. データ マイニング デザイナーの [入力の選択] タブにある [リフト チャートに表示する予測可能なマイニング モデル列の選択] で、[予測列と値の同期] チェック ボックスをオンにします。

  2. [予測可能列名] 列で、各モデルについて [Bike Buyer] が選択されていることを確認します。

  3. [表示] 列で、各モデルのチェック ボックスをオンにします。

    既定では、マイニング構造内のすべてのモデルが選択されます。モデルを除外することもできますが、このチュートリアルではすべてのモデルを選択したままにしておきます。

  4. [予測値] 列で [1] を選択します。同じ予測可能列を持つモデルのそれぞれに対して、同じ値が自動的に設定されます。

  5. [リフト チャート] タブをクリックして、リフト チャートを表示します。

    このタブをクリックすると、サーバーとデータベースに対し、指定のマイニング構造および指定の入力テーブルまたはテスト データの予測クエリが実行されます。結果がグラフとして表示されます。

    [予測値] に値を入力すると、リフト チャートによってランダム推測モデルと理想モデルが表示されます。作成したマイニング モデルは、この 2 極、つまりランダムな推測と、完璧な予測の間に位置します。ランダムな推測に対する改善は、すべてリフトと見なされます。

  6. 凡例を使用して、理想モデルとランダム推測モデルを表す色付きの線を配置します。

    TM_Decision_Tree モデルが最もリフトが大きく、Clustering モデルや Naive Bayes モデルより高精度であることがわかります。

このレッスンで作成したものに類似したリフト チャートの詳細については、「リフト チャート (Analysis Services - データ マイニング)」を参照してください。