Conversational Analysis Authoring - Get Model Evaluation Summary

Referência

Serviço:: Azure AI Services

Versão da API:: 2023-04-01

Obtém o resumo de avaliação de um modelo treinado. O resumo inclui medidas de desempenho de alto nível do modelo, por exemplo, F1, Precisão, Recall etc.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parâmetros de URI

Nome	Em	Obrigatório	Tipo	Description
Endpoint	path	True	string	Ponto de extremidade dos Serviços Cognitivos com suporte (por exemplo, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	O nome do projeto a ser usado.
trainedModelLabel	path	True	string	O rótulo de modelo treinado.
api-version	query	True	string	Versão de API do cliente.

Respostas

Nome	Tipo	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Lista de todos os resultados da avaliação.
Other Status Codes	ErrorResponse	Resposta de erro.

Segurança

AADToken

Esses são os Fluxos OAuth2 do Azure Active Directory . Quando emparelhado com o controle de acesso baseado em função do Azure, ele pode ser usado para controlar o acesso às APIs REST Azure Mapas. Os controles de acesso baseados em função do Azure são usados para designar o acesso a uma ou mais Azure Mapas conta de recurso ou sub-recursos. Qualquer usuário, grupo ou entidade de serviço pode receber acesso por meio de uma função interna ou uma função personalizada composta por uma ou mais permissões para Azure Mapas APIs REST.

Para implementar cenários, recomendamos exibir conceitos de autenticação. Em resumo, essa definição de segurança fornece uma solução para modelar aplicativos por meio de objetos capazes de acessar o controle em APIs e escopos específicos.

Observações

Essa definição de segurança requer o uso do x-ms-client-id cabeçalho para indicar a qual Azure Mapas recurso ao qual o aplicativo está solicitando acesso. Isso pode ser adquirido da API de gerenciamento de Mapas.

O Authorization URL é específico para a instância de nuvem pública do Azure. As nuvens soberanas têm URLs de autorização exclusivas e configurações do Azure Active Directory. * O controle de acesso baseado em função do Azure é configurado no plano de gerenciamento do Azure por meio de portal do Azure, PowerShell, CLI, SDKs do Azure ou APIs REST. * O uso do SDK da Web Azure Mapas permite a configuração baseada em configuração de um aplicativo para vários casos de uso.

Atualmente, o Azure Active Directory v1.0 ou v2.0 dá suporte a Trabalho, Escola e Convidados, mas não dá suporte a contas pessoais.

Tipo: oauth2
Flow: implicit
URL de Autorização: https://login.microsoftonline.com/common/oauth2/authorize

Escopos

Nome	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Uma chave de assinatura para um recurso de serviço de linguagem.

Tipo: apiKey
Em: header

Exemplos

Successful Get Model Evaluation Summary

Solicitação de exemplo

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

Resposta de exemplo

Código de status:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definições

Nome	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Representa o resumo do resultado da avaliação para as entidades do projeto.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Representa o resultado da avaliação de uma entidade.
ConversationalAnalysisAuthoringEvaluationOptions	Representa as opções usadas na execução da avaliação.
ConversationalAnalysisAuthoringEvaluationSummary	Representa o resumo do resultado da avaliação.
ConversationalAnalysisAuthoringIntentEvaluationSummary	O resumo da avaliação de uma intenção.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Representa o resumo de avaliação para as intenções do projeto.
Error	O objeto de erro.
ErrorCode	Código de erro legível por humanos.
ErrorResponse	Resposta de erro.
EvaluationKind	Representa o tipo de avaliação. Por padrão, o tipo de avaliação é definido como percentual.
InnerErrorCode	Código de erro legível por humanos.
InnerErrorModel	Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da API do Microsoft One – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Representa o resumo do resultado da avaliação para as entidades do projeto.

Nome	Tipo	Description
confusionMatrix	object	Representa a matriz de confusão entre duas entidades (as duas entidades podem ser as mesmas). A matriz é entre a entidade que foi rotulada e a entidade que foi prevista.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Representa o resumo da avaliação de entidades.
macroF1	number	Representa a macro F1
macroPrecision	number	Representa a precisão da macro
macroRecall	number	Representa o recall de macro
microF1	number	Representa a micro F1
microPrecision	number	Representa a micro precisão
microRecall	number	Representa o micro recall

ConversationalAnalysisAuthoringEntityEvaluationSummary

Representa o resultado da avaliação de uma entidade.

Nome	Tipo	Description
f1	number	Representa a precisão do modelo
falseNegativeCount	integer	Representa a contagem de falso negativo
falsePositiveCount	integer	Representa a contagem de falsos positivos
precision	number	Representa o recall do modelo
recall	number	Representa a pontuação F1 do modelo
trueNegativeCount	integer	Representa a contagem de verdadeiros negativos
truePositiveCount	integer	Representa a contagem de verdadeiro positivo

ConversationalAnalysisAuthoringEvaluationOptions

Representa as opções usadas na execução da avaliação.

Nome	Tipo	Description
kind	EvaluationKind	Representa o tipo de avaliação. Por padrão, o tipo de avaliação é definido como percentual.
testingSplitPercentage	integer	Representa o percentual de divisão do conjunto de dados de teste. Necessário somente caso o tipo de avaliação seja percentual.
trainingSplitPercentage	integer	Representa o percentual de divisão do conjunto de dados de treinamento. Necessário somente caso o tipo de avaliação seja percentual.

ConversationalAnalysisAuthoringEvaluationSummary

Representa o resumo do resultado da avaliação.

Nome	Tipo	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Contém os dados relacionados à avaliação de entidades.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	As opções que foram usadas durante a execução da avaliação.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Contém os dados relacionados à avaliação de intenções.

ConversationalAnalysisAuthoringIntentEvaluationSummary

O resumo da avaliação de uma intenção.

Nome	Tipo	Description
f1	number	Representa a precisão do modelo
falseNegativeCount	integer	Representa a contagem de falso negativo
falsePositiveCount	integer	Representa a contagem de falsos positivos
precision	number	Representa o recall do modelo
recall	number	Representa a pontuação F1 do modelo
trueNegativeCount	integer	Representa a contagem de verdadeiros negativos
truePositiveCount	integer	Representa a contagem de verdadeiro positivo

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Representa o resumo de avaliação para as intenções do projeto.

Nome	Tipo	Description
confusionMatrix	object	Representa a matriz de confusão entre duas intenções (as duas intenções podem ser as mesmas). A matriz está entre a intenção que foi rotulada e a intenção prevista.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Representa o resumo da avaliação de intenções.
macroF1	number	Representa a macro F1
macroPrecision	number	Representa a precisão da macro
macroRecall	number	Representa o recall de macro
microF1	number	Representa a micro F1
microPrecision	number	Representa a micro precisão
microRecall	number	Representa o micro recall

Error

O objeto de erro.

Nome	Tipo	Description
code	ErrorCode	Um de um conjunto definido pelo servidor de códigos de erro.
details	Error[]	Uma matriz de detalhes sobre erros específicos que levaram a esse erro relatado.
innererror	InnerErrorModel	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Uma representação legível pelo homem do erro.
target	string	O destino do erro.

ErrorCode

Código de erro legível por humanos.

Nome	Tipo	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Resposta de erro.

Nome	Tipo	Description
error	Error	O objeto de erro.

EvaluationKind

Representa o tipo de avaliação. Por padrão, o tipo de avaliação é definido como percentual.

Nome	Tipo	Description
manual	string	Divida os dados de acordo com o conjunto de dados escolhido para cada exemplo nos dados.
percentage	string	Divida os dados em conjuntos de treinamento e teste de acordo com percentuais definidos pelo usuário.

InnerErrorCode