Visualización de la evaluación y los detalles del modelo NER personalizado

  • Artículo

Una vez finalizado el entrenamiento del modelo, se puede consultar su rendimiento y ver las entidades extraídas de los documentos del conjunto de pruebas.

Nota:

El uso de la opción Automatically split the testing set from training data (Dividir automáticamente el conjunto de pruebas a partir de datos de entrenamiento) puede dar lugar a resultados de evaluación de modelos diferentes cada vez que entrene un nuevo modelo, ya que el conjunto de pruebas se selecciona aleatoriamente a partir de los datos. Para procurar que la evaluación se calcule en el mismo conjunto de pruebas cada vez que se entrene un modelo, asegúrese de usar la opción Usar una división manual de datos de entrenamiento y pruebas al iniciar un trabajo de entrenamiento y definir los documentos de prueba al etiquetar datos.

Requisitos previos

Para poder ver la evaluación del modelo, se necesita lo siguiente:

Consulte el ciclo de vida del desarrollo de proyectos para más información.

Detalles del modelo

  1. Vaya a la página del proyecto en Language Studio.

  2. Seleccione Rendimiento del modelo en el menú situado a la izquierda de la pantalla.

  3. En esta página solo puedes ver los modelos entrenados correctamente, la puntuación F1 de cada modelo y la fecha de expiración del modelo. Puede seleccionar el nombre del modelo para obtener más detalles sobre su rendimiento.

Nota:

Las entidades que no están etiquetadas ni previstas en el conjunto de pruebas no formarán parte de los resultados que se muestran.

  • En esta pestaña puede ver los detalles del modelo, como: puntuación F1, precisión, coincidencia, fecha y hora del trabajo de entrenamiento, tiempo total de entrenamiento y número de documentos de entrenamiento y pruebas incluidos en este trabajo de entrenamiento.

    Captura de pantalla en la que se muestra la página Información general de la evaluación del modelo.

  • También verá instrucciones sobre cómo mejorar el modelo. Al hacer clic en Ver detalles, se abrirá un panel lateral para proporcionar más instrucciones sobre cómo mejorar el modelo. En este ejemplo, las entidades BorrowerAddress y BorrowerName se confunden con la entidad $none. Al hacer clic en las entidades confusas, se le llevará a la página de etiquetado de datos para etiquetar más datos con la entidad correcta.

    Captura de pantalla en la que se muestra la página de instrucciones para la evaluación del modelo.

    Obtenga más información sobre las instrucciones del modelo y la matriz de confusión en los conceptos de rendimiento del modelo.

Carga o exportación de datos del modelo

Para cargar los datos del modelo:

  1. Seleccione cualquier modelo en la página de evaluación de modelos.

  2. Seleccione el botón Cargar datos de modelo.

  3. Confirme que no hay ningún cambio sin guardar que necesite capturar en la ventana que aparece y seleccione Cargar datos.

  4. Espere hasta que acaben de cargarse los datos del modelo en el proyecto. Al finalizar, se le redireccionará a la página Diseño del esquema.

Para exportar los datos del modelo:

  1. Seleccione cualquier modelo en la página de evaluación de modelos.

  2. Seleccione el botón Exportar datos del modelo. Espere hasta que la instantánea JSON del modelo se descargue localmente.

Eliminación de un modelo

Para eliminar el modelo desde Language Studio:

  1. Seleccione Rendimiento del modelo en el menú izquierdo.

  2. Seleccione el nombre del modelo que desea eliminar y seleccione Eliminar en el menú superior.

  3. En la ventana que se abre, seleccione Aceptar para eliminar el modelo.

Pasos siguientes