Conversational Analysis Authoring - Get Model Evaluation Summary

リファレンス

サービス:: Azure AI Services

API バージョン:: 2023-04-01

トレーニング済みモデルの評価の概要を取得します。概要には、F 値、適合率、再現率など、モデルの高レベルのパフォーマンス測定が含まれます。

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI パラメーター

名前	/	必須	型	説明
Endpoint	path	True	string	サポートされている Cognitive Services エンドポイント (例: https://.api.cognitiveservices.azure.com).
projectName	path	True	string	使用するプロジェクトの名前。
trainedModelLabel	path	True	string	トレーニング済みのモデルラベル。
api-version	query	True	string	クライアント API バージョン。

応答

名前	型	説明
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	すべての評価結果の一覧。
Other Status Codes	ErrorResponse	エラー応答。

セキュリティ

AADToken

これらは Azure Active Directory OAuth2 フローです。 Azure ロールベースのアクセス制御と組み合わせて使用すると、Azure Maps REST API へのアクセスを制御できます。 Azure ロールベースのアクセス制御は、1 つ以上のAzure Mapsリソースアカウントまたはサブリソースへのアクセスを指定するために使用されます。 REST API をAzure Mapsするための 1 つ以上のアクセス許可で構成される組み込みロールまたはカスタムロールを使用して、ユーザー、グループ、またはサービスプリンシパルにアクセス権を付与できます。

シナリオを実装するには、認証の概念を表示することをお勧めします。要約すると、このセキュリティ定義は、特定の API とスコープに対するアクセス制御が可能なオブジェクトを使用してアプリケーションをモデル化するためのソリューションを提供します。

メモ

このセキュリティ定義では、ヘッダーを使用して、x-ms-client-idアプリケーションがアクセスを要求しているリソースAzure Maps示す必要があります。これは、 Maps 管理 API から取得できます。

は Authorization URL 、Azure パブリッククラウドインスタンスに固有です。ソブリンクラウドには、一意の承認 URL と Azure Active Directory 構成があります。 * Azure ロールベースのアクセス制御は、Azure portal、PowerShell、CLI、Azure SDK、または REST API を介して Azure 管理プレーンから構成されます。 * Azure Maps Web SDK を使用すると、複数のユースケースに対してアプリケーションを構成ベースで設定できます。

現在、Azure Active Directory v1.0 または v2.0 では、職場、学校、ゲストはサポートされていますが、個人用アカウントはサポートされていません。

型: oauth2
フロー: implicit
Authorization URL (承認 URL): https://login.microsoftonline.com/common/oauth2/authorize

スコープ

名前	説明
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

言語サービスリソースのサブスクリプションキー。

型: apiKey
/: header

例

Successful Get Model Evaluation Summary

要求のサンプル

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

応答のサンプル

状態コード:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定義

名前	説明
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	プロジェクトのエンティティの評価結果の概要を表します。
ConversationalAnalysisAuthoringEntityEvaluationSummary	エンティティの評価結果を表します。
ConversationalAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
ConversationalAnalysisAuthoringEvaluationSummary	評価結果の概要を表します。
ConversationalAnalysisAuthoringIntentEvaluationSummary	意図の評価の概要。
ConversationalAnalysisAuthoringIntentsEvaluationSummary	プロジェクトの意図の評価の概要を表します。
Error	error オブジェクト。
ErrorCode	人間が判読できるエラーコード。
ErrorResponse	エラー応答。
EvaluationKind	評価の種類を表します。既定では、評価の種類は percentage に設定されています。
InnerErrorCode	人間が判読できるエラーコード。
InnerErrorModel	エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

プロジェクトのエンティティの評価結果の概要を表します。

名前	型	説明
confusionMatrix	object	2 つのエンティティ間の混同行列を表します (2 つのエンティティは同じにすることができます)。マトリックスは、ラベル付けされたエンティティと予測されたエンティティの間にあります。
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	エンティティの評価の概要を表します。
macroF1	number	マクロ F1 を表します
macroPrecision	number	マクロの有効桁数を表します
macroRecall	number	マクロの呼び戻しを表します
microF1	number	マイクロ F1 を表します
microPrecision	number	マイクロ精度を表します
microRecall	number	マイクロリコールを表します

ConversationalAnalysisAuthoringEntityEvaluationSummary

エンティティの評価結果を表します。

名前	型	説明
f1	number	モデルの精度を表します
falseNegativeCount	integer	偽陰性の数を表します
falsePositiveCount	integer	誤検知の数を表します
precision	number	モデルの呼び戻しを表します
recall	number	モデル F1 スコアを表します
trueNegativeCount	integer	真負の数を表します
truePositiveCount	integer	真陽性の数を表します

ConversationalAnalysisAuthoringEvaluationOptions

評価の実行に使用されるオプションを表します。

名前	型	説明
kind	EvaluationKind	評価の種類を表します。既定では、評価の種類は percentage に設定されています。
testingSplitPercentage	integer	テストデータセットの分割率を表します。評価の種類がパーセントの場合にのみ必要です。
trainingSplitPercentage	integer	トレーニングデータセットの分割率を表します。評価の種類がパーセントの場合にのみ必要です。

ConversationalAnalysisAuthoringEvaluationSummary

評価結果の概要を表します。

名前	型	説明
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	エンティティの評価に関連するデータを格納します。
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	評価の実行中に使用されたオプション。
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	意図の評価に関連するデータを格納します。

ConversationalAnalysisAuthoringIntentEvaluationSummary

意図の評価の概要。

名前	型	説明
f1	number	モデルの精度を表します
falseNegativeCount	integer	偽陰性の数を表します
falsePositiveCount	integer	誤検知の数を表します
precision	number	モデルの呼び戻しを表します
recall	number	モデル F1 スコアを表します
trueNegativeCount	integer	真負の数を表します
truePositiveCount	integer	真陽性の数を表します

ConversationalAnalysisAuthoringIntentsEvaluationSummary

プロジェクトの意図の評価の概要を表します。

名前	型	説明
confusionMatrix	object	2 つの意図間の混同行列を表します (2 つの意図は同じにすることができます)。マトリックスは、ラベル付けされた意図と予測された意図の間にあります。
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	意図の評価の概要を表します。
macroF1	number	マクロ F1 を表します
macroPrecision	number	マクロの有効桁数を表します
macroRecall	number	マクロの呼び戻しを表します
microF1	number	マイクロ F1 を表します
microPrecision	number	マイクロ精度を表します
microRecall	number	マイクロリコールを表します

Error

error オブジェクト。

名前	型	説明
code	ErrorCode	サーバー定義のエラーコードのセットの 1 つ。
details	Error[]	この報告されたエラーの原因となった特定のエラーに関する詳細の配列。
innererror	InnerErrorModel	エラーに関する現在のオブジェクトよりも具体的な情報を含むオブジェクト。
message	string	エラーの人間が判読できる表現。
target	string	エラーのターゲット。

ErrorCode

人間が判読できるエラーコード。

名前	型	説明
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

エラー応答。

名前	型	説明
error	Error	error オブジェクト。

EvaluationKind

評価の種類を表します。既定では、評価の種類は percentage に設定されています。

名前	型	説明
manual	string	データ内のすべての例について、選択したデータセットに従ってデータを分割します。
percentage	string	ユーザー定義の割合に従って、データをトレーニングセットとテストセットに分割します。

InnerErrorCode