オーケストレーション ワークフロー モデルの詳細を確認する

  • [アーティクル]

モデルのトレーニングが完了したら、モデルの詳細を見て、それのテスト セットに対するパフォーマンスを確認できます。 モデルのパフォーマンスを観察することを、評価と呼びます。 テスト セットは、トレーニング プロセスでモデルに導入されなかったデータで構成されます。

注意

[トレーニング データからテスト セットを自動的に分割する] オプションを使用すると、テスト セットが発話からランダムに選択されるため、新しいモデルをトレーニングするたびにモデル評価の結果が異なる可能性があります。 モデルをトレーニングするたびに同じテスト セットで評価が計算されるようにするには、トレーニング ジョブを開始するときに [トレーニング データとテスト データの手動分割を使用する] オプションを使用し、発話を追加するときにテスト セットを定義してください。

前提条件

モデルの評価を確認する前に、次のものが必要です。

詳細については、「プロジェクト開発ライフサイクル」を参照してください。

モデルの詳細

[view model details](モデルの詳細の表示) ページでは、すべてのモデル、現在のトレーニング状態、最後にトレーニングされた日付を見ることができます。

  1. Language Studio でプロジェクトのページに移動します。

  2. 画面の左側にあるメニューから [モデルのパフォーマンス] を選びます。

  3. このページでは、正常にトレーニングされたモデル、各モデルの F1 スコア、およびモデルの有効期限のみを表示できます。 モデル名を選択すると、そのパフォーマンスに関する詳細を確認できます。

  4. [概要] の下にモデルレベルの評価メトリックと意図レベルの評価メトリックがあります。 詳細については、評価メトリックに関するページを参照してください。

    Language Studio のモデル パフォーマンス メトリックのスクリーンショット

  5. モデルの混同行列は、[テスト セットの混同行列] にあります。 意図の混同行列があります。

    注意

    モデルに含まれる意図がここに表示されない場合は、テスト セットに使用されたどの発話にもそれが含まれなかったためです。

モデル データの読み込みまたはエクスポート

モデル データを読み込むには:

  1. モデル評価ページで任意のモデルを選択します。

  2. [モデル データの読み込み] ボタンを選択します。

  3. 表示されるウィンドウで、キャプチャする必要がある未保存の変更がないことを確認し、[データの読み込み] を選択します。

  4. モデル データのプロジェクトへの読み込みが完了するまで待ちます。 完了すると、[Schema design] (スキーマ デザイン) ページにリダイレクトされます。

モデル データをエクスポートするには:

  1. モデル評価ページで任意のモデルを選択します。

  2. [モデル データのエクスポート] ボタンを選択します。 モデルの JSON スナップショットがローカルにダウンロードされるまで待ちます。

モデルを削除する

Language Studio 内からモデルを削除するには:

  1. 左側のメニューから [モデルのパフォーマンス] を選びます。

  2. 削除するモデル名を選び、上部のメニューから [削除] を選択します。

  3. 表示されたウィンドウで [OK] を選択してモデルを削除します。

次のステップ

  • モデルのパフォーマンスを確認する際に、使用されている評価メトリックについて学ぶことができます。
  • モデルのパフォーマンスに満足している場合は、モデルをデプロイできます。