予測スコアリング モデルの精度とパフォーマンスを表示する
予測スコアリング モデルの精度を知ることで、そのモデルがすぐに使えるものか、より高い精度を得るために微調整が必要なものかを判断することができます。 また、ビジネスの成果を向上させるモデルを採用するよう、リーダーシップ チームと営業担当者を説得するのにも役立ちます。
この記事で説明する指標は、商談スコアリングとリード スコアリングの両方に適用されます。
ライセンスとロールの要件
| 要件タイプ | 以下が必要です |
|---|---|
| ライセンス | Dynamics 365 Sales Premium または Dynamics 365 Sales Enterprise 詳細情報: Dynamics 365 Sales の価格 |
| セキュリティ ロール | システム管理者 詳細: 営業向けに事前定義されたセキュリティ ロール |
正確性に影響する要因
予測スコアリングモデルは、営業案件やリードが販売につながる可能性を計算します。 モデルの精度は、次の要因によって異なります。
- モデルを学習させるために利用できるデータの質と量
- 選択したビジネス プロセスのフローとフィルター
- ステージごとのモデリングを使用する場合、選択したステージと属性
モデルは、トレーニング データセットに含まれるクローズした営業案件、またはリードの 80% を使用して学習されます。 残りの 20% をテスト データセット として使用して検証されます。これは最新のレコードで構成されています。 モデルの精度は、検証済みのテストデータセットを用いて、真陽性、偽陽性などのパラメータに基づいて計算されます。
精度とパフォーマンスの指標を表示する
営業ハブ アプリの左下隅で 領域の変更 に移動し、Sales Insights の設定 を選択します。
予測モデル 配下のサイトマップで、営業案件スコアリング または リードスコアリング を選択します。
モデルの選択リストで、モデルを選択します。
パフォーマンス タブを選択します。
パフォーマンス タブで、次のメトリックを設定します。 パフォーマンス タブにメトリクスが表示されない場合、営業案件スコアリング モデルを編集して再トレーニングします。
モデルのパフォーマンス: 次のパラメーターに基づいて、モデルを公開する準備ができているかどうかを指定します。
正確性: モデルが正しい予測を行う頻度を正または負として示します。 この指標は、データセット のバランスが取れていて、偽陽性と偽陰性のコストが同じである場合に最も役立ちます。 この精度スコアは、次の式を使用して計算されます。
精度 = (TP + TN) / (営業案件の総数/獲得されたリード) *100
リコール:実際の良好な結果と比較して、モデルが良好な結果を正しく予測した頻度を示します。 再現スコアが低いということは、モデルが予測する真陽性の数が少ないことを意味します。 このリコール スコアは、次の式を使用して計算されます。
リコール = TP / (TP + FN) * 100
変換率: 過去のデータごとに、認定または獲得された営業案件またはリードの割合、または営業案件またはリードが変換される可能性。 モデルはこの値を用いて、属性が予測スコアにどのような影響を与えるかを決定します。 この変換率は、次の式を使用して計算されます。
変換率 = (TP + FN) / (営業案件の総数/スコアされたリード) *100
混乱マトリクス: モデルが履歴データに対してテストされたときに、モデルが結果をどの程度予測できるかを示します。 このマトリックスには、真陽性、真陰性、偽陽性、および偽陰性の数が表示されます。
メトリック 予測 実績 真陽性 (TP) イエス イエス 真陰性 (TN) 番号 番号 疑陽性 (FP) イエス 番号 疑陰性 (FN) 番号 イエス カーブ下の面積: モデルの曲線下面積 (AUC) スコアを表示します。 AUC スコアは、モデルが、ランダムに選択されたポジティブなインスタンス (営業案件またはリードの成約) を、ランダムに選択されたネガティブなインスタンス (営業案件またはリードの失注) よりも高くランク付けする確率を決定します。 AUC が高いモデルは、真陽性と真陰性の予測に優れています。
F1 スコア: モデルの精度スコアと再現率スコアに基づいて計算された F1 スコアを表示します。 F1 スコアは、データが不均衡な場合でも、モデルの品質を決定します。
しきい値: 見込み客または営業案件が適格/成約と見なされるしきい値を定義します。 たとえば、しきい値が 45 の場合、スコアが 45 を超える営業案件は成立と予測されます。 しきい値は、F1 スコアを最適化するように選択されます。
例: モデルのパフォーマンス メトリック
1,000 件の営業案件のサンプル データセット の予測の結果を見てみましょう:
| 日付 | 営業案件の数 |
|---|---|
| 肯定的 | 650 |
| 誤検知 | 200 |
| 否定的 | 100 |
| 検知漏れ | 50 |
このモデルでは、850 (TP＋FP) の営業案件が獲得できると予測されたが、実際に獲得できたのは650 (TP) の営業案件のみであった。 同様に、モデルは 150 (TN＋FN) の営業案件が失われると予測したが、実際に失われたのは 100 (TN) だけでした。
次のテーブルは、そのデータの指標を示したものです。
| メトリック | スコア |
|---|---|
| 精度 | (650 + 100) / 1,000 = 75% |
| 取り消し | 650 / (650 + 50) = 92% |
| 変換率 | (650 + 50) / 1,000 = 70% |
モデルのパフォーマンスを向上させる
モデルを公開する準備ができていなかったり、パフォーマンスが良くなかったりする場合は、次のステップを試してスコアを向上させてください。
- 使用する属性の見直し。
- 属性のインサイトを表示して、モデル全体への影響を把握します。
- 空値の割合が高く、偽陽性や偽陰性の原因となっている可能性がある属性については、空値を無視します。
- インテリジェント フィールドを含めて、リード スコアリング モデルがスコアを改善する要因と損なう要因を区別できるようにします。
- 営業案件スコアリング モデルでステージごとのモデリングを使用して、各ビジネス プロセス ステージに適用する属性を選択します。
- フィルター条件、トレーニング データの期間、またはその他のモデル構成を調整します。 たとえば、学習データの期間として 2 年間を選んだ場合、その間にテスト レコードや不正なレコードが多ければ、データの質が良い半年や 1 年などの短い期間を選びます。
アプリのオプションが見つかりませんか?
次の 3 つの可能性があります:
- 必要なライセンスまたは役割がありません。 このページの上部にあるライセンスとロールの要件のセクションを確認してください。
- 管理者がこの機能を有効にしていない場合。
- 組織がカスタム アプリを使用している場合。 正確な手順について管理者に確認してください。 この記事で説明する手順は、すぐに使用できる営業ハブ アプリと Sales Professional アプリのみに該当します。