Text Analysis Authoring - Get Model Evaluation Summary

  • Referenz
Dienst:
Azure AI Services
API-Version:
2023-04-01

Ruft die Auswertungszusammenfassung eines trainierten Modells ab. Die Zusammenfassung enthält Leistungsmessungen auf hoher Ebene des Modells, z. B. F1, Precision, Rückruf usw.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-Parameter

Name In Erforderlich Typ Beschreibung
Endpoint
 path True

string

url

Unterstützter Cognitive Services-Endpunkt (z. B. https://.api.cognitiveservices.azure.com).
projectName
 path True

string

Der Name des zu verwendenden Projekts.
trainedModelLabel
 path True

string

Das trainierte Modelletikett.
api-version
 query True

string

Die API-Version, die für diesen Vorgang verwendet werden soll.

Antworten

Name Typ Beschreibung
200 OK TextAnalysisAuthoringEvaluationSummary:

Die Anforderung ist erfolgreich.
Other Status Codes

ErrorResponse

Unerwartete Fehlerantwort.

Sicherheit

Ocp-Apim-Subscription-Key

Typ: apiKey
In: header

OAuth2Auth

Typ: oauth2
Ablauf: accessCode
Autorisierungs-URL: https://login.microsoftonline.com/common/oauth2/authorize
Token-URL: https://login.microsoftonline.com/common/oauth2/token

Bereiche

Name Beschreibung
https://cognitiveservices.azure.com/.default

Beispiele

SuccessfulGetModelEvaluationSummary

Beispielanforderung

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Beispiel für eine Antwort

Statuscode:
200 
{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definitionen

Name Beschreibung
Error

Das Fehlerobjekt.
ErrorCode

Lesbarer Fehlercode.
ErrorResponse

Fehlerantwort.
EvaluationKind
EvaluationOptions

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
InnerErrorCode

Lesbarer Fehlercode.
InnerErrorModel

Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Multibezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringEntityEvaluationSummary

Stellt die Auswertungszusammenfassung für eine Entität dar.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Stellt die Auswertungszusammenfassung einer Klasse in einem Mehrbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein Mehrbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Stellt die Auswertungszusammenfassung für eine Klasse in einem Einzelbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.

Error

Das Fehlerobjekt.

Name Typ Beschreibung
code

ErrorCode

Eine serverdefinierte Gruppe von Fehlercodes.
details

Error[]

Ein Array von Details zu bestimmten Fehlern, die zu diesem gemeldeten Fehler geführt haben.
innererror

InnerErrorModel

Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message

string

Eine lesbare Darstellung des Fehlers.
target

string

Das Ziel des Fehlers.

ErrorCode

Lesbarer Fehlercode.

Name Typ Beschreibung
AzureCognitiveSearchIndexLimitReached

string

AzureCognitiveSearchIndexNotFound

string

AzureCognitiveSearchNotFound

string

AzureCognitiveSearchThrottling

string

Conflict

string

Forbidden

string

InternalServerError

string

InvalidArgument

string

InvalidRequest

string

NotFound

string

OperationNotFound

string

ProjectNotFound

string

QuotaExceeded

string

ServiceUnavailable

string

Timeout

string

TooManyRequests

string

Unauthorized

string

Warning

string

ErrorResponse

Fehlerantwort.

Name Typ Beschreibung
error

Error

Das Fehlerobjekt.

EvaluationKind

Name Typ Beschreibung
manual

string

Teilen Sie die Daten nach dem ausgewählten Dataset für jedes Beispiel in den Daten.
percentage

string

Teilen Sie die Daten in Schulungs- und Testsätze gemäß benutzerdefinierten Prozentsätzen auf.

EvaluationOptions

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.

Name Typ Beschreibung
kind

EvaluationKind

Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozent festgelegt.
testingSplitPercentage

integer

Stellt den geteilten Prozentsatz des Testdatensatzes dar. Wird nur benötigt, wenn der Auswertungstyp prozentual ist.
trainingSplitPercentage

integer

Stellt den geteilten Prozentsatz des Schulungsdatensatzes dar. Wird nur benötigt, wenn der Auswertungstyp prozentual ist.

InnerErrorCode

Lesbarer Fehlercode.

Name Typ Beschreibung
AzureCognitiveSearchNotFound

string

AzureCognitiveSearchThrottling

string

EmptyRequest

string

ExtractionFailure

string

InvalidCountryHint

string

InvalidDocument

string

InvalidDocumentBatch

string

InvalidParameterValue

string

InvalidRequest

string

InvalidRequestBodyFormat

string

KnowledgeBaseNotFound

string

MissingInputDocuments

string

ModelVersionIncorrect

string

UnsupportedLanguageCode

string

InnerErrorModel

Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name Typ Beschreibung
code

InnerErrorCode

Eine serverdefinierte Gruppe von Fehlercodes.
details

object

Fehlerdetails.
innererror

InnerErrorModel

Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message

string

Fehlermeldung.
target

string

Fehlerziel.

ProjectKind

Name Typ Beschreibung
CustomEntityRecognition

string

Um ein Extraktionsmodell zu erstellen, um Ihre Domänenkategorien mithilfe Ihrer eigenen Daten zu identifizieren.
CustomMultiLabelClassification

string

Zum Erstellen eines Klassifizierungsmodells zum Klassifizieren von Text mithilfe ihrer eigenen Daten. Jede Datei kann über eine oder mehrere Bezeichnungen verfügen. Beispielsweise wird Datei 1 als A, B und C klassifiziert und Datei 2 als B und C klassifiziert.
CustomSingleLabelClassification

string

Zum Erstellen eines Klassifizierungsmodells zum Klassifizieren von Text mithilfe ihrer eigenen Daten. Jede Datei hat nur eine Bezeichnung. Die Datei 1 wird beispielsweise als A klassifiziert, und Datei 2 wird als B klassifiziert.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.

Name Typ Beschreibung
customEntityRecognitionEvaluation

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Enthält die Daten im Zusammenhang mit der Extraktionsauswertung.
evaluationOptions

EvaluationOptions

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind string:

CustomEntityRecognition

Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Multibezeichnungsklassifizierungsprojekt dar.

Name Typ Beschreibung
customMultiLabelClassificationEvaluation

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Enthält die Daten im Zusammenhang mit der Bewertung der Klassifizierung mit mehreren Bezeichnungen.
evaluationOptions

EvaluationOptions

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind string:

CustomMultiLabelClassification

Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.

Name Typ Beschreibung
customSingleLabelClassificationEvaluation

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Enthält die Daten im Zusammenhang mit der Bewertung der Klassifizierung einzelner Bezeichnungen.
evaluationOptions

EvaluationOptions

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind string:

CustomSingleLabelClassification

Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringEntityEvaluationSummary

Stellt die Auswertungszusammenfassung für eine Entität dar.

Name Typ Beschreibung
f1

number

Stellt die Modellgenauigkeit dar.
falseNegativeCount

integer

Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount

integer

Stellt die Anzahl falsch positiver Ergebnisse dar.
precision

number

Stellt den Rückruf des Modells dar.
recall

number

Stellt die F1-Modellbewertung dar.
trueNegativeCount

integer

Stellt die Anzahl der wahr negativen Werte dar.
truePositiveCount

integer

Stellt die Anzahl wahr positiver Ergebnisse dar.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.

Name Typ Beschreibung
confusionMatrix

object

Stellt die Verwirrungsmatrix zwischen zwei Entitäten dar (die beiden Entitäten können identisch sein). Die Matrix liegt zwischen der Entität, die beschriftet wurde, und der Entität, die vorhergesagt wurde.
entities

<string,  TextAnalysisAuthoringEntityEvaluationSummary>

Stellt die Entitätenauswertung dar.
macroF1

number

Stellt das Makro F1 dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
macroPrecision

number

Stellt die Makrogenauigkeit dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
macroRecall

number

Stellt den Makrorückruf dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microF1

number

Stellt das Mikro-F1 dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microPrecision

number

Stellt die Mikrogenauigkeit dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microRecall

number

Stellt den Mikrorückruf dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Stellt die Auswertungszusammenfassung einer Klasse in einem Mehrbezeichnungsklassifizierungsprojekt dar.

Name Typ Beschreibung
f1

number

Stellt die Modellgenauigkeit dar.
falseNegativeCount

integer

Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount

integer

Stellt die Anzahl falsch positiver Ergebnisse dar.
precision

number

Stellt den Rückruf des Modells dar.
recall

number

Stellt die F1-Modellbewertung dar.
trueNegativeCount

integer

Stellt die Anzahl der wahr negativen Werte dar.
truePositiveCount

integer

Stellt die Anzahl wahr positiver Ergebnisse dar.

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein Mehrbezeichnungsklassifizierungsprojekt dar.

Name Typ Beschreibung
classes

<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>

Stellt die Klassenauswertung dar.
macroF1

number

Stellt das Makro F1 dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
macroPrecision

number

Stellt die Makrogenauigkeit dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
macroRecall

number

Stellt den Makrorückruf dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microF1

number

Stellt das Mikro-F1 dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microPrecision

number

Stellt die Mikrogenauigkeit dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microRecall

number

Stellt den Mikrorückruf dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Stellt die Auswertungszusammenfassung für eine Klasse in einem Einzelbezeichnungsklassifizierungsprojekt dar.

Name Typ Beschreibung
f1

number

Stellt die Modellgenauigkeit dar.
falseNegativeCount

integer

Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount

integer

Stellt die Anzahl falsch positiver Ergebnisse dar.
precision

number

Stellt den Rückruf des Modells dar.
recall

number

Stellt die F1-Modellbewertung dar.
trueNegativeCount

integer

Stellt die Anzahl der wahr negativen Werte dar.
truePositiveCount

integer

Stellt die Anzahl wahr positiver Ergebnisse dar.

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.

Name Typ Beschreibung
classes

<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>

Stellt die Klassenauswertung dar.
confusionMatrix

object

Stellt die Verwirrungsmatrix zwischen zwei Klassen dar (die beiden Klassen können identisch sein). Die Matrix liegt zwischen der Klasse, die beschriftet wurde, und der Klasse, die vorhergesagt wurde.
macroF1

number

Stellt das Makro F1 dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
macroPrecision

number

Stellt die Makrogenauigkeit dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
macroRecall

number

Stellt den Makrorückruf dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microF1

number

Stellt das Mikro-F1 dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microPrecision

number

Stellt die Mikrogenauigkeit dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.
microRecall

number

Stellt den Mikrorückruf dar. Der erwartete Wert ist ein Gleitkomma zwischen 0 und einschließlich 1.