テキスト分類モデルの評価と詳細を表示する

  • [アーティクル]

モデルのトレーニングが完了したら、モデルのパフォーマンスを表示し、テスト セットのドキュメントに対して予測されたクラスを確認できます。

注意

[トレーニング データからテスト セットを自動的に分割する] オプションを使用すると、テスト セットがデータからランダムに選択されるため、新しいモデルをトレーニングするたびにモデル評価の結果が異なる可能性があります。 モデルをトレーニングするたびに同じテスト セットで評価が計算されるようにするには、トレーニング ジョブを開始するときに [トレーニング データとテスト データの手動分割を使用する] オプションを使用し、データにラベル付けするときにテスト ドキュメントを定義します。

前提条件

モデルの評価を表示する前に、次のものが必要です。

詳細については、「プロジェクト開発ライフサイクル」を参照してください。

モデルの詳細

  1. Language Studio でプロジェクトのページに移動します。

  2. 画面の左側にあるメニューから [モデルのパフォーマンス] を選びます。

  3. このページでは、正常にトレーニングされたモデル、各モデルの F1 スコア、およびモデルの有効期限のみを表示できます。 モデル名を選択すると、そのパフォーマンスに関する詳細を確認できます。

Note

テスト セットでラベル付けも予測もされていないクラスは、結果の一部として表示されません。

  • このタブでは、F1 スコア、精度、リコール、トレーニング ジョブの日付と時刻、トレーニング時間の合計、このトレーニング ジョブに含まれるトレーニングおよびテスト ドキュメントの数など、モデルの詳細を表示できます。

    モデル評価の概要ページを示す。

  • また、モデルを改善する方法に関するガイダンスも表示されます。 [詳細の表示] をクリックすると、サイド パネルが開き、モデルを改善する方法に関するガイダンスが表示されます。 この例では、これらのクラスのトレーニング セットに十分なデータがありません。 また、2 つのクラスが相互に混同されるトレーニング セットでは、クラスの種類が明確に区別されていません。 混同されたクラスをクリックすると、[データのラベル付け] ページに移動し、より多くのデータに正しいクラスのラベルを付けられます。

    モデル評価のガイダンス ページを示すスクリーンショット。

    モデルのパフォーマンスの概念におけるモデル ガイダンスと混同行列の詳細について説明します。

モデル データの読み込みまたはエクスポート

モデル データを読み込むには:

  1. モデル評価ページで任意のモデルを選択します。

  2. [モデル データの読み込み] ボタンを選択します。

  3. 表示されるウィンドウで、キャプチャする必要がある未保存の変更がないことを確認し、[データの読み込み] を選択します。

  4. モデル データのプロジェクトへの読み込みが完了するまで待ちます。 完了すると、[Schema design] (スキーマ デザイン) ページにリダイレクトされます。

モデル データをエクスポートするには:

  1. モデル評価ページで任意のモデルを選択します。

  2. [モデル データのエクスポート] ボタンを選択します。 モデルの JSON スナップショットがローカルにダウンロードされるまで待ちます。

モデルを削除する

Language Studio 内からモデルを削除するには:

  1. 左側のメニューから [モデルのパフォーマンス] を選びます。

  2. 削除するモデル名を選び、上部のメニューから [削除] を選択します。

  3. 表示されたウィンドウで [OK] を選択してモデルを削除します。

次のステップ

モデルのパフォーマンスを確認する際に、使用される評価メトリックについて説明します。 モデルのパフォーマンスを向上させる必要があるかどうかを確認したら、モデルの改善を始められます。