Comprobación del modelo

  • Artículo

Una vez que el modelo se haya entrenado correctamente, puede usar traducciones para evaluar la calidad del modelo. Para tomar una decisión informada sobre si usar nuestro modelo estándar o el modelo personalizado, debe evaluar la diferencia entre la puntuación BLEU del modelo personalizado y nuestro modelo estándar Base de referencia BLEU. Si el modelo se entrena en un dominio reducido, y los datos de entrenamiento son coherentes con los datos de prueba, es previsible una puntuación BLEU alta.

Puntuación BLEU

BLEU (Suplente de evaluación bilingüe) es un algoritmo para evaluar la precisión o exactitud del texto que se traduce automáticamente de un idioma a otro. Traductor personalizado usa la métrica BLEU como una manera de transmitir la precisión de la traducción.

Una puntuación BLEU es un número entre 0 y 100. Una puntuación de 0 indica una traducción de baja calidad en la que la traducción no coincide en absoluto con la referencia. Una puntuación de 100 indica una traducción perfecta, idéntica a la referencia. No es necesario alcanzar una puntuación de 100: una puntuación BLEU entre 40 y 60 indica una traducción de alta calidad.

Más información

Detalles del modelo

  1. Seleccione la hoja Detalles del modelo.

  2. Seleccione el nombre del modelo. Revise la fecha y hora de entrenamiento, el tiempo total de entrenamiento, el número de oraciones usadas para el entrenamiento, la optimización, las pruebas y el diccionario. Compruebe si el sistema generó los conjuntos de pruebas y optimización. Use Category ID para realizar solicitudes de traducción.

  3. Evalúe la puntuación BLEU del modelo. Revise el conjunto de pruebas: la puntuación BLEU es la puntuación del modelo personalizado y la BLEU de base de referencia es el modelo de línea base previamente entrenado que se usa para la personalización. Un valor de Puntuación BLEU más alto significa una mayor calidad de la traducción mediante el modelo personalizado.

    Captura de pantalla que ilustra los detalles del modelo.

Prueba de calidad de la traducción del modelo

  1. Seleccione la hoja Modelo de prueba.

  2. Seleccione el nombre del modelo.

  3. Pida a una persona que evalúe la traducción del Modelo personalizado y del Modelo de línea base (nuestra línea de base entrenada previamente usada para la personalización) con la Referencia (traducción de destino del conjunto de pruebas).

  4. Si los resultados del entrenamiento son satisfactorios, realice una solicitud de implementación para el modelo entrenado.

Pasos siguientes