Testar o seu modelo

  • Artigo

Uma vez que seu modelo é treinado com sucesso, você pode usar traduções para avaliar a qualidade do seu modelo. Para tomar uma decisão informada sobre usar nosso modelo padrão ou seu modelo personalizado, você deve avaliar o delta entre sua pontuação BLEU do modelo personalizado e nosso modelo padrão Baseline BLEU. Se o seu modelo for treinado em um domínio restrito e seus dados de treinamento forem consistentes com os dados de teste, você pode esperar uma pontuação BLEU alta.

Pontuação BLEU

BLEU (Bilingual Evaluation Understudy) é um algoritmo para avaliar a precisão ou exatidão de texto que é traduzido automaticamente de uma língua para outra. O Custom Translator usa a métrica BLEU como uma forma de transmitir a precisão da tradução.

Uma pontuação BLEU é um número entre zero e 100. Uma pontuação zero indica uma tradução de baixa qualidade em que nada na tradução correspondia à referência. Uma pontuação de 100 indica uma tradução perfeita que é idêntica à referência. Não é necessário atingir uma pontuação de 100 — uma pontuação BLEU entre 40 e 60 indica uma tradução de alta qualidade.

Saiba mais

Detalhes do modelo

  1. Selecione a folha Detalhes do modelo.

  2. Selecione o nome do modelo. Revise a data/hora do treinamento, o tempo total do treinamento, o número de frases usadas para treinamento, ajuste, teste e dicionário. Verifique se o sistema gerou os conjuntos de teste e ajuste. Use o Category ID para fazer pedidos de tradução.

  3. Avalie a pontuação do modelo BLEU . Analise o conjunto de testes: a pontuação BLEU é a pontuação do modelo personalizado e a BLEU da linha de base é o modelo de linha de base pré-treinado usado para personalização. Uma pontuação BLEU mais alta significa que há alta qualidade de tradução usando o modelo personalizado.

    Captura de tela ilustrando os detalhes do modelo.

Teste a qualidade da tradução do seu modelo

  1. Selecione Folha do modelo de teste .

  2. Selecione o nome do modelo.

  3. Tradução de avaliação humana do seu modelo personalizado e do modelo de linha de base (nossa linha de base pré-treinada usada para personalização) em relação à referência (tradução de destino do conjunto de testes).

  4. Se os resultados do treinamento forem satisfatórios, faça uma solicitação de implantação para o modelo treinado.

Próximos passos