リフト チャート (Analysis Services - データ マイニング)

次に示すチャートは、「基本的なデータ マイニング チュートリアル」で作成する Targeted Mailing モデルのリフト チャートです。このチャートの対象の属性は [Bike Buyer] で、対象の値は 1 です。これは、自転車を購入したか、購入する可能性がある顧客を意味します。したがって、このリフト チャートは、このモデルによって自転車を購入する可能性がある顧客をより効率的に識別できることを示します。

チャートには、基本モデルに加えて、特定の顧客を対象とするようフィルタ選択された関連モデルも含まれます。1 つのリフト チャートに複数のモデルを追加することができます。ただし、すべてのモデルに同じ予測可能な属性が必要です。このフィルタは、トレーニングと評価の両方に使用するケースを、30 歳未満の顧客に制限します。その結果、モデルの評価に使用されるケースの数は、基本モデルとフィルタ選択されたモデルとで異なります。予測結果やその他の統計情報を解釈する際は、この点に留意する必要があります。

チャートの X 軸は、予測を比較するために使用されるテスト データセットの割合を示します。チャートの Y 軸は、予測される値の割合を示します。

ここで青で示されている斜めの直線は、すべてのチャートに表示されます。これはランダムな推測の結果を表しており、リフトを評価するためのベースラインとなります。これに加えて、リフト チャートに追加するモデルごとに 2 本の線が表示されます。1 本は、常に完璧な予測を行うモデルを作成できた場合のトレーニング データセットに対する理想的な結果を表し、もう 1 本はモデルに対する実際のリフト (結果の改善) を表します。

この例では、フィルタ選択されたモデルの理想線が濃い青で、実際のリフトの線が黄色で示されています。チャートでは、理想線の最高点が約 40% を指しています。つまり、完璧なモデルを使用したとすれば、母集団の 40% にダイレクトメールを送信するだけで、ターゲットとする顧客の 100% に到達できることになります。母集団の 40% をターゲットとするフィルタ選択されたモデルの実際のリフトは、60 ～ 70% です。つまり、母集団の顧客の 40% にダイレクトメールを送信すると、ターゲットとする顧客の 60 ～ 70% に到達できます。

[マイニング凡例] には、曲線上の任意のポイントにおける実際の値が含まれます。測定される場所は、灰色の縦棒をクリックして移動することにより変更できます。チャートの灰色の線は 30% まで移動されています。フィルタ選択されたモデルとフィルタ選択されていないモデルの両方が、このポイントにおいて最も効果的であると思われるためです。このポイントを過ぎると、リフトの量が小さくなります。

[マイニング凡例] には、チャートの解釈に役立つスコアと統計も含まれます。これらの結果は、灰色の線におけるモデルの精度を表します。このシナリオでは、この線がテストケース全体の 30% を含むよう位置しています。

これらの結果から、すべてのケースの 30% を測定すると、対象になる母集団のうち 47.40% の自転車の購買行動を汎用モデル (メーリング対象全員) で予測できることがわかります。つまり、データベース内の顧客の 30% だけに対象を絞ってダイレクトメールを送信した場合、対象となる顧客の半数弱に到達できます。フィルタ選択されたモデルを使用した場合、対象とする顧客の約 51% に到達できます。

[予測確率] の値は、"購入する可能性がある" ケースに顧客を含めるために必要なしきい値を表します。ケースごとに、モデルによって各予測の精度が推定され、その値が保存されます。この値を使用して、顧客をフィルタ選択したり対象としたりできます。たとえば、購入する可能性のある顧客を基本モデルから識別するには、予測確率が 61% 以上のケースを取得するクエリを使用します。フィルタ選択されたモデルで対象とする顧客を取得するには、すべての条件 (年齢、PredictProbability 値が 46% 以上) を満たすケースを取得するクエリを作成します。

モデルを比較すると、おもしろいことがわかります。フィルタ選択されたモデルのほうが多くの潜在顧客を取得できるように思われますが、予測確率のスコアが 46% の顧客を対象とした場合、自転車を購入しない人にダイレクトメールを送信する確率も 53% あります。したがって、どのモデルがより適しているかを判断する場合、フィルタ選択されたモデルでは精度を高く、対象サイズを小さくして、基本モデルとの間のバランスを取る必要があります。

[スコア] の値は、正規化された母集団におけるモデルの効果を計算することで、モデルどうしの比較に役立ちます。スコアが高いほど良いため、この場合、予測確率は低くても、30 歳未満の顧客を対象とすると最も効果的であると結論できます。

予測可能な列の状態を指定しない場合、次の図に示された種類のチャートが作成されます。このチャートは、予測可能な属性のすべての状態に対してモデルがどのように実行されるかを表します。たとえば、このチャートから、自転車を購入する可能性がある顧客と、自転車を購入する可能性が低い顧客の両方を、モデルでどの程度まで予測できるかがわかります。

X 軸は予測可能な列を指定するチャートの場合と同じですが、Y 軸は今度は適正な予測の割合を示しています。よって、ここでは理想線が斜めの線です。50% のデータで、50% のケースをモデルが適正に予測し、これが予想され得る最大値であることを表しています。

チャート内をクリックすると灰色の縦棒を移動でき、[マイニング凡例] には、ケース全体の割合と、適正に予測されたケースの割合が表示されます。たとえば、灰色のスライダ バーを 50% の印に合わせると、[マイニング凡例] に次の精度スコアが表示されます。これらの数値は、「基本的なデータ マイニング チュートリアル」で作成した TM_Decision Tree モデルに基づいています。

この表から、50% の母集団で、40% のケースを、作成したモデルが適正に予測することがわかります。このモデルの精度には問題がないと考えられます。ただし、このモデルは、予測可能な属性のすべての値を予測します。このため、顧客の 90% が自転車を購入しないという、このモデルによる予測が正しい場合もあります。

注
予測可能な属性のすべての不連続値の予測精度は、1 行に表示されます。予測可能な属性の個別の値に対する予測精度行を表示するには、その値に対するリフト チャートを別途作成する必要があります。

トップに戻る

「基本的なデータ マイニング チュートリアル」には、Targeted Mailing モデルのリフト チャートの作成方法に関するチュートリアルが含まれています。詳細については、「リフト チャートを使用した精度テスト (基本的なデータ マイニング チュートリアル)」を参照してください。

すべてのチャートの種類に当てはまる詳しい手順については、「マイニング モデルの精度チャートを作成する方法」を参照してください。