モデルを理解してテストする

  • 5 分

機械学習モデルの作成が済みました。 それをテストし、どのように動作するかを見てみましょう。

モデル パフォーマンス

モデルをテストすると、Custom Vision に 3 つのメトリックが表示されます。 メトリックは、モデルのパフォーマンスを理解するのに役立つインジケーターです。 インジケーターは、モデルがどれほど事実に即しているか、または正確であるかを示すものでは "ありません"。 インジケーターが示しているのは、ユーザーが提供したデータでのモデルのパフォーマンスのみです。 既知のデータでのモデルのパフォーマンスから、新しいデータでのモデルのパフォーマンスがどのようになるかがわかります。

モデル全体と各クラスについて、次のメトリックが提供されます。

メトリック 説明
precision モデルによってタグが予測される場合、このメトリックにより、正しいタグが予測された可能性が示されます。
recall モデルによって正しく予測される必要があるタグのうち、モデルで正しく予測されたタグの割合が、このメトリックで示されます。
average precision さまざまなしきい値で精度と再現率を計算することにより、モデルのパフォーマンスが測定されます。

Custom Vision のモデルをテストすると、反復テストの結果でこれらの各メトリックの値が示されます。

一般的な間違い

モデルをテストする前に、初めての機械学習モデルの構築を始めるときに注意すべき "初心者によくある間違い" をいくつか検討しておきましょう。

不均衡なデータの使用

モデルをデプロイするときに、この警告が表示されることがあります。

Unbalanced data detected. The distribution of images per tag should be uniform to ensure model performance.

この警告は、データの各クラスのサンプル数が同じではないことを示します。 このシナリオには複数のオプションがありますが、不均衡なデータを解決する一般的な方法は、Synthetic Minority Over-sampling Technique (SMOTE) を使用することです。 SMOTE を使用すると、既存のトレーニング プールからトレーニング例が複製されます。

注意

このモデルでは、特にデータセットの一部をアップロードした場合、この警告が表示されないことがあります。 Red-tailed Hawk (Dark morph) モデルのデータ サブセットには、100 枚を超える写真がある他のモデルに比べ、60 枚未満の写真しか含まれていません。 不均衡なデータを使うことは、どのような機械学習モデルにおいても注意すべきことです。

モデルの過剰適合

十分なデータがない場合、またはデータが十分に多様でない場合、モデルが過剰適合になる可能性があります。 モデルが過剰適合になると、モデルは提供されたデータセットを十分認識しますが、そのデータのパターンに過剰適合されます。 この場合、モデルはそのトレーニング データに対しては適切に機能しますが、未知の新しいデータに対しては十分に機能しません。 このため、常に新しいデータを使用してモデルをテストします。

トレーニング データを使用したテスト

過剰適合の場合と同様に、モデルのトレーニングに使用したのと同じデータを使用してモデルをテストした場合、モデルは適切に動作するように見えます。 しかし、運用環境にモデルをデプロイすると、ほとんどの場合、パフォーマンスが低下する可能性があります。

不適切なデータの使用

もう 1 つのよくある間違いは、不適切なデータを使用したモデルのトレーニングです。 データによっては、実際にモデルの精度が低下する可能性があります。 たとえば、"ノイズが多い" データを使用すると、モデルの精度が低下することがあります。 ノイズの多いデータでは、データセットで役に立たない情報が多すぎるため、モデルに混乱が発生します。 データ量が多いほどよい結果になるのは、モデルで使用できる適切なデータの場合だけです。 モデルの精度を向上させるには、データのクリーンアップや特徴の削除が必要になる場合があります。

モデルをテストする

Custom Vision によって提供されるメトリックによると、このモデルのパフォーマンスは満足できるレベルです。 モデルをテストして、未知のデータに対するパフォーマンスを確認しましょう。 インターネット検索で見つかった鳥の画像を使用します。

  1. モデルで認識できるようにトレーニングした種のいずれかと一致する鳥の画像を、Web ブラウザーで検索します。 画像の URL をコピーします。

  2. Custom Vision ポータルで、Bird Classification プロジェクトを選択します。

  3. 上部のメニュー バーで、[Quick Test](クイック テスト) を選択します。

  4. [Quick Test](クイック テスト) で、[画像の URL] に URL を貼り付けて Enter キーを押し、モデルの精度をテストします。 予測がウィンドウに表示されます。

Custom Vision により、画像が分析されてモデルの精度がテストされ、結果が表示されます。

Screenshot that shows prediction results after a quick test on an image in the Custom Vision project.

次の手順では、モデルをデプロイします。 モデルをデプロイした後は、作成するエンドポイントを使用してさらに多くのテストを行うことができます。