Treinar e avaliar um modelo
O treinamento e a avaliação de um modelo é o processo iterativo de adicionar dados e rótulos ao conjunto de dados de treinamento para ensinar o modelo com mais precisão. Para saber quais tipos de dados e de rótulos precisam ser aprimorados, o Language Studio fornece uma pontuação na página Exibir detalhes do modelo no painel esquerdo.
As entidades individuais e a pontuação geral do seu modelo são divididas em três métricas para explicar como elas estão se saindo e onde precisam de aperfeiçoamento.
| Metric | Descrição |
|---|---|
| Precisão | A taxa de reconhecimentos bem-sucedidos de entidades para todas as tentativas de reconhecimento. Uma pontuação alta significa que, desde que a entidade seja reconhecida, ela será rotulada corretamente. |
| Chamar de volta | A taxa de reconhecimentos bem-sucedidos de entidades em relação ao número real de entidades no documento. Uma pontuação alta significa que ele localiza bem a entidade ou as entidades, independentemente de atribuir a elas o rótulo certo |
| Medida f | Combinação de precisão e recall fornecendo uma só métrica de pontuação |
As pontuações estão disponíveis por entidade e para o modelo como um todo. Você pode encontrar uma entidade com boa pontuação, mas modelo todo não.
Como interpretar as métricas
O ideal é que nosso modelo pontue bem em termos de precisão e recall, o que significa que o reconhecimento de entidade funciona bem. Se ambas as métricas têm uma pontuação baixa, significa que o modelo está com dificuldades para reconhecer entidades no documento e, quando ele extrai essa entidade, não atribui o rótulo correto com alta confiança.
Se a precisão está baixa, mas o recall está alto, significa que o modelo reconhece bem a entidade, mas não a rotula com o tipo de entidade correto.
Se a precisão está alta, mas o recall está baixo, significa que o modelo nem sempre reconhece a entidade, mas quando o modelo extrai a entidade, o rótulo correto é aplicado.
Matriz de confusão
Na mesma página Exibir detalhes do modelo, há outra guia na parte superior da Matriz de confusão. Essa exibição fornece uma tabela visual de todas as entidades e do desempenho de cada uma delas, fornecendo uma exibição completa do modelo e de onde ele está ficando aquém.
A matriz de confusão permite identificar visualmente onde adicionar dados para aprimorar o desempenho do modelo.