Conjuntos de dados de teste e treinamento

Em um projeto de fala personalizado, você pode carregar conjuntos de dados para treinamento, inspeção qualitativa e medição quantitativa. Este artigo aborda os tipos de dados de treinamento e teste que você pode usar para a fala personalizada.

O texto e o áudio usados para testar e treinar um modelo personalizado devem incluir exemplos de um conjunto variado de falantes, bem como os cenários que convém que o modelo reconheça. Considere estes fatores ao coletar dados para treinamento e teste de modelos personalizados:

• Inclua dados de texto e áudio para cobrir os tipos de declarações verbais que seus usuários fazem quando interagem com seu modelo. Por exemplo, um modelo que aumenta e diminui a temperatura precisa de treinamento com as instruções que as pessoas usariam para solicitar isso.
• Incluir todas as variâncias de fala que você deseja que o modelo reconheça. Muitos fatores podem afetar a fala, incluindo sotaques, dialetos, combinação de idiomas, idade, gênero, tom de voz, nível de estresse e hora do dia.
• Inclua amostras de diferentes ambientes, por exemplo, interno, externo e ruído de estrada, no qual seu modelo é usado.
• Grave o áudio com dispositivos de hardware que o sistema de produção usa. Se o modelo tiver que identificar falas gravadas em dispositivos de diferentes qualidades, os dados de áudio que você fornece para treinar o seu modelo também deverão representar esses cenários diversos.
• Mantenha o conjunto de dados diversificado e representativo de suas necessidades de projeto. Você pode adicionar mais dados ao seu modelo mais tarde.
• Incluir somente os dados que o modelo precisa transcrever. Incluir dados que não estão de acordo com os requisitos de reconhecimento do modelo personalizado pode prejudicar a qualidade do reconhecimento em geral.

Tipos de dados

A tabela a seguir lista os tipos de dados aceitos, quando cada tipo de dados deve ser usado e a quantidade recomendada. Nem todos os tipos de dados são necessários para criar um modelo. Os requisitos de dados variam de acordo com o fato de você estar criando um teste ou treinando um modelo.

Geralmente, o treinamento com um texto sem formatação ou texto estruturado é concluído em poucos minutos.

Se você treinar um modelo personalizado com dados de áudio, escolha uma região de recursos de fala com hardware dedicado para treinar os dados de áudio. Para obter mais informações, confira as notas de rodapé na tabela regiões. Nas regiões com hardware dedicado para treinamento de Fala Personalizada, o serviço de Fala usa até 100 horas dos seus dados de treinamento de áudio e pode processar cerca de 10 horas de dados por dia. Depois que o modelo for treinado, você poderá copiar o modelo para outra região conforme necessário com a API REST Models_CopyTo.

Considerar conjuntos de dados por cenário

Um modelo treinado em um subconjunto de cenários pode ter um bom desempenho somente nesses cenários. Escolha cuidadosamente dados que representem o escopo completo dos cenários que o modelo personalizado precisa reconhecer. A tabela a seguir mostra conjuntos de dados a serem considerados para alguns cenários de reconhecimento de fala:

Para ajudar a determinar qual conjunto de dados usar para resolver seus problemas, consulte a tabela a seguir:

Dados de áudio e transcrição literal para treinamento ou teste

Você pode usar dados de áudio e transcrição literal para fins de treinamento e teste. Você deve fornecer transcrições literais (palavra por palavra) para comparação:

• Para melhorar os aspectos acústicos, como pequenos acentos, estilos de fala e ruídos de fundo.
• Para medir a precisão da precisão da conversão de fala em texto da Microsoft, ele está processando seus arquivos de áudio.

Para obter uma lista de modelos de base que dão suporte ao treinamento com dados de áudio, confira Suporte a idiomas. Mesmo que um modelo de base dê suporte ao treinamento com dados de áudio, o serviço poderá usar apenas parte do áudio. E ele ainda usa todas as transcrições.

O áudio com transcrições literais oferecerá os maiores aprimoramentos de precisão se o áudio vier do caso de uso de destino. Os exemplos devem abranger todo o escopo de fala. Por exemplo, um call center de uma loja de varejo recebe a maioria das chamadas sobre roupas de banho e óculos de sol durante os meses de verão. Certifique-se de que seu exemplo inclui o escopo completo de fala que você deseja detectar.

Considere estes detalhes:

• O treinamento com áudio traz mais benefícios se o áudio também for difícil de entender para os humanos. Na maioria dos casos, você deve iniciar o treinamento usando apenas o texto relacionado.
• Se você usar um dos idiomas mais usados, como inglês dos EUA, é improvável que precise treinar com dados de áudio. Para esses idiomas, os modelos básicos já oferecem bons resultados de reconhecimento na maioria dos cenários, portanto, provavelmente é suficiente treinar com o texto relacionado.
• A fala personalizada pode capturar o contexto da palavra somente para reduzir erros de substituição, não erros de inserção ou exclusão.
• Evite exemplos que incluam erros de transcrição, mas inclua uma diversidade de qualidade de áudio.
• Evite frases que não estejam relacionadas ao seu domínio problemático. Frases não relacionadas podem danificar seu modelo.
• Quando a qualidade das transcrições varia, você pode duplicar frases excepcionalmente boas, como as excelentes transcrições que incluem frases-chave, para aumentar o peso delas.
• O serviço de Fala usa automaticamente as transcrições para aprimorar o reconhecimento de palavras e frases específicas de domínio, como se elas fossem adicionadas como texto relacionado.
• Pode levar vários dias para que uma operação de treinamento seja concluída. Para aumentar a velocidade do treinamento, certifique-se de criar sua assinatura do serviço de fala em uma região com hardware dedicado para treinamento.

Um conjunto de dados de treinamento grande é necessário para melhorar o reconhecimento. Em geral, recomendamos que você forneça transcrições palavra a palavra para 1 a 100 horas de áudio (até 20 horas para modelos mais antigos que não cobram pelo treinamento). No entanto, mesmo áudios de 30 minutos ajudam a aprimorar os resultados de reconhecimento. Embora a criação da transcrição literal possa levar tempo, os aprimoramentos no reconhecimento são tão bons quanto os dados fornecidos. Você só deve carregar transcrições de alta qualidade.

Os arquivos de áudio podem ter silêncio no início e no final da gravação. Se possível, inclua pelo menos meio segundo de silêncio antes e depois da fala em cada arquivo de amostra. Embora áudios com volume de gravação baixo ou ruídos de fundo disruptivos não sejam úteis, isso não deve limitar ou degradar seu modelo personalizado. Sempre considere atualizar seus microfones e hardware de processamento de sinal antes de coletar amostras de áudio.

Os projetos de fala personalizados exigem arquivos de áudio com essas propriedades:

Dados de texto sem formatação para treinamento

Você pode adicionar frases de texto sem formatação do texto relacionado para aprimorar o reconhecimento de palavras e frases específicas do domínio. Frases de texto relacionadas podem reduzir erros de substituição relacionados ao reconhecimento incorreto de palavras comuns e de palavras específicas de domínio, mostrando-as no contexto. Palavras específicas de domínio podem ser palavras incomuns ou inventadas, mas a pronúncia deve ser simples de ser reconhecida.

Forneça frases relacionadas com domínio em um único arquivo de texto. Use dados de texto que estejam mais próximos dos enunciados falados esperados. Os enunciados não precisam ser completos nem gramaticalmente corretos, mas devem refletir precisamente a entrada de fala que você espera que o modelo reconheça. Quando possível, coloque uma frase ou palavra-chave controlada em uma linha separada. Para aumentar o peso de um termo como nomes de produtos, adicione várias frases que incluem o termo. Mas não copie demais, pois isso pode afetar a taxa geral de reconhecimento.

Use esta tabela para garantir que o arquivo de dados de texto sem formatação está formatado corretamente:

Você também deve aderir às seguintes restrições:

• Evite repetir caracteres, palavras ou grupos de palavras mais de três vezes. Por exemplo, não use "aaaa", "sim, sim, sim, sim" ou "é isso, é isso, é isso, é isso". O serviço de Fala pode ignorar as linhas com muitas repetições.
• Não use caracteres especiais nem caracteres UTF-8 acima de U+00A1.
• Os URIs serão rejeitados.
• Para alguns idiomas, como japonês ou coreano, a importação de grandes volumes de dados de texto pode demorar muito ou atingir tempo limite. Divida o conjunto de dados em vários arquivos de texto de até 20.000 linhas cada.

Dados de texto estruturado para treinamento

Use os dados de texto estruturados quando seus dados seguirem um padrão específico em enunciados específicos que diferem apenas por palavras ou frases de uma lista. Para simplificar a criação de dados de treinamento e permitir uma melhor modelagem dentro do modelo de Linguagem Personalizado, você pode usar um texto estruturado no formato de Markdown para definir as listas de itens e a pronúncia fonética das palavras. Em seguida, você pode referenciar essas listas dentro dos enunciados de treinamento.

Geralmente, os enunciados esperados seguem determinado padrão. Um padrão comum é que enunciados difiram somente por palavras ou frases de uma lista. Os exemplos desse padrão podem incluir o seguinte:

• "Tenho uma pergunta sobre product", onde product é uma lista de produtos possíveis.
• "Faça essa objectcolor", onde object é uma lista de formas geométricas e color é uma lista de cores.

Para obter uma lista de modelos de base com suporte e localidades para treinamento com texto estruturado, consulte Suporte a idiomas. Você deve usar o modelo base mais recente para essas localidades. Para localidades que não dão suporte ao treinamento com texto estruturado, o serviço usará frases de treinamento que não referenciem as classes como parte do treinamento com dados de texto sem formatação.

O arquivo de texto estruturado deve ter uma extensão .md. O tamanho máximo do arquivo é de 200 MB e a codificação de texto deve ser UTF-8 BOM. A sintaxe do Markdown é a mesma dos modelos de Reconhecimento vocal, especialmente entidades de lista e enunciados de exemplo. Para obter mais informações sobre a sintaxe completa do Markdown, confira o Markdown de Reconhecimento Vocal.

Aqui estão os principais detalhes sobre o formato Markdown com suporte:

Veja um exemplo de arquivo de texto estruturado:

// This is a comment because it follows a double slash (`//`).

// Here are three separate lists of items that can be referenced in an example sentence. You can have up to 10 of these.
@ list food =
- pizza
- burger
- ice cream
- soda

@ list pet =
- cat
- dog
- fish

@ list sports =
- soccer
- tennis
- cricket
- basketball
- baseball
- football

// List of phonetic pronunciations
@ speech:phoneticlexicon
- cat/k ae t
- fish/f ih sh

// Here are two sections of training sentences. 
#TrainingSentences_Section1
- you can include sentences without a class reference
- what {@pet} do you have
- I like eating {@food} and playing {@sports}
- my {@pet} likes {@food}

#TrainingSentences_Section2
- you can include more sentences without a class reference
- or more sentences that have a class reference like {@pet} 

Dados de pronúncia para treinamento

Palavras especializadas ou compostas podem ter pronúncias únicas. Essas palavras podem ser reconhecidas se puderem ser divididas em palavras menores para pronunciá-las. Por exemplo, para reconhecer o “Xbox”, pronuncie como “X Box”. Essa abordagem não aumentará a precisão geral, mas poderá melhorar o reconhecimento dessa e de outras palavras-chave.

Você pode fornecer um arquivo de pronúncia personalizado para melhorar o reconhecimento. Não usar arquivos de pronúncia personalizados para alterar a pronúncia de palavras comuns. Para obter uma lista de idiomas que dão suporte à pronúncia personalizada, consulte o suporte ao idioma.

A forma falada é a sequência fonética escrita. Ela pode ser composta por letras, palavras, sílabas ou uma combinação de todos os três. Esta tabela inclui alguns exemplos:

Você fornece pronúncias em um único arquivo de texto. Inclua o enunciado falado e uma pronúncia personalizada para cada um. Cada linha no arquivo deve começar com o formulário reconhecido, em seguida, um caractere de tabulação e, em seguida, a sequência fonética delimitada por espaço.

3CPO    three c p o
CNTK    c n t k
IEEE    i triple e

Consulte a tabela a seguir para garantir que os arquivos do conjunto de dados de pronúncia sejam válidos e formatados corretamente.

Dados de áudio para treinamento ou teste

Os dados de áudio são ideais para testar a precisão do modelo básico de conversão de fala em texto da Microsoft ou de um modelo personalizado. Lembre-se de que os dados de áudio são usados para inspecionar a precisão da fala em relação ao desempenho de um modelo específico. Se você quiser quantificar a precisão de um modelo, use áudio + transcrições literais.

Os projetos de fala personalizados exigem arquivos de áudio com essas propriedades:

Use o SoX para verificar as propriedades de áudio ou converter o áudio para formatos apropriados. Estes são alguns comandos SoX de exemplo:

Exibir dados de formatação de texto personalizados para treinamento

Saiba mais sobre preparação de dados de formatação de texto de exibição e exibir formatação de texto com conversão de fala em texto.

O formato de exibição de saída do Reconhecimento automático de Fala é fundamental para tarefas downstream, e um tamanho não se ajusta a todos. A adição de regras de formato de exibição personalizadas permite que os usuários definam suas próprias regras de formato léxico para exibição para melhorar a qualidade do serviço de reconhecimento de fala no Serviço de fala personalizada do Microsoft Azure.

Isso permite personalizar totalmente as saídas de exibição, como adicionar regras de reescrita para colocar em maiúsculas e reformular determinadas palavras, adicionar palavras como palavrões e ocultá-las da saída, definir regras de ITN avançadas para determinados padrões, como números, datas e endereços de email, ou preservar algumas frases e removê-las de todos os processos de exibição.

Por exemplo:

Para obter uma lista de modelos de base com suporte e localidades para treinamento com texto estruturado, consulte Suporte a idiomas. O arquivo de formato de exibição deve ter uma extensão .md. O tamanho máximo do arquivo é de 10 MB e a codificação de texto deve ser UTF-8 BOM. Para obter mais informações sobre como personalizar regras de formato de exibição, confira Melhores práticas de regras de formato de exibição.

Este é um exemplo de arquivo de formato de exibição:

// this is a comment line
// each section must start with a '#' character
#itn
// list of ITN pattern rules, one rule for each line
\d-\d-\d
\d-\l-\l-\d
#rewrite
// list of rewrite rules, each rule has two phrases, separated by a tab character
old phrase	new phrase
# profanity
// list of profanity phrases to be tagged/removed/masked, one line one phrase
fakeprofanity
#test
// list of test cases, each test case has two sentences, input lexical and expected display output
// the two sentences are separated by a tab character
// the expected sentence is the display output of DPP+CDPP models
Mask the fakeprofanity word	Mask the ************* word

Próximas etapas

• Upload de dados
• Testar o modelo quantitativamente
• Treinar um modelo personalizado