Set di dati di training e test

In un progetto di riconoscimento vocale personalizzato è possibile caricare set di dati per il training, l'ispezione qualitativa e la misurazione quantitativa. Questo articolo illustra i tipi di dati di training e test che è possibile usare per il Riconoscimento vocale personalizzato.

Il testo e l'audio usati per testare ed eseguire il training di un modello personalizzato devono includere campioni provenienti da un set diversificato di altoparlanti e scenari che si desidera che il modello riconosca. Quando si raccolgono dati per il test e il training di modelli personalizzati, tenere presente questi fattori:

• Includere dati di testo e audio per coprire i tipi di istruzioni verbali che gli utenti effettuano quando interagiscono con il modello. Ad esempio, un modello che aumenta e riduce la temperatura richiede il training sulle dichiarazioni che gli utenti potrebbero fare per richiedere tali modifiche.
• Includere tutte le varianze vocali che si desidera che il modello riconosca. Molti fattori possono variare il parlato, tra cui accenti, dialetti, mix linguistici, età, sesso, tono di voce, livello di stress e ora del giorno.
• Includere campioni di ambienti diversi, ad esempio interni, esterni e rumori stradali, in cui viene usato il modello.
• Registrare l'audio con dispositivi hardware che vengono usati dal sistema di produzione. Se il modello deve identificare la voce registrata nei dispositivi di qualità variabile, i dati audio forniti per eseguire il training del modello devono rappresentare anche questi diversi scenari.
• Mantenere il set di dati diversificato e rappresentativo dei requisiti del progetto. È possibile aggiungere altri dati al modello in un secondo momento.
• Includere solo i dati che il modello deve trascrivere. L'inclusione dei dati che non rientrano nei requisiti di riconoscimento del modello personalizzato può danneggiare la qualità complessiva del riconoscimento.

Tipo di dati

Nella tabella seguente sono elencati i tipi di dati accettati, quando è necessario usare ogni tipo di dati e la quantità consigliata. Non tutti i tipi di dati sono necessari per creare un modello. I requisiti dei dati variano a seconda che si stia creando un test o un training di un modello.

Il training con testo normale o testo strutturato termina in genere entro pochi minuti.

Se si esegue il training di un modello personalizzato con dati audio, scegliere un'area di risorse Voce con hardware dedicato per il training dei dati audio. Per altre informazioni, vedere note a piè di pagina nella tabella delle aree. Nelle aree con hardware dedicato per il training di riconoscimento vocale personalizzato, il servizio Voce usa fino a 100 ore di dati di training audio ed è in grado di elaborare circa 10 ore di dati al giorno. Dopo aver eseguito il training del modello, è possibile copiare il modello in un'altra area in base alle esigenze con l'API REST Models_CopyTo.

Prendere in considerazione i set di dati per scenario

Un modello sottoposto a training su un subset di scenari può essere eseguito correttamente solo in questi scenari. Scegliere con attenzione i dati che rappresentano l'ambito completo degli scenari necessari per riconoscere il modello personalizzato. La tabella seguente illustra i set di dati da considerare per alcuni scenari di riconoscimento vocale:

Per determinare quale set di dati usare per risolvere i problemi, vedere la tabella seguente:

Audio + dati di trascrizione con etichetta umana per il training o il test

È possibile usare dati di trascrizione audio + con etichetta umana per scopi di training e test. È necessario fornire trascrizioni con etichetta umana (parola per parola) per il confronto:

• Per migliorare gli aspetti acustici come accenti leggeri, stili di pronuncia e rumori di fondo.
• Per misurare l'accuratezza del riconoscimento vocale di Microsoft nell'accuratezza del testo, durante l'elaborazione dei file audio.

Per un elenco dei modelli di base che supportano il training con dati audio, vedere Supporto linguistico. Anche se un modello di base supporta il training con dati audio, il servizio potrebbe usare solo parte dell'audio. E usa ancora tutte le trascrizioni.

L'audio con trascrizioni con etichetta umana offre miglioramenti più accurati se l'audio proviene dal caso d'uso di destinazione. Gli esempi devono coprire l'ambito completo del parlato. Ad esempio, un call center per un negozio di vendita al dettaglio riceverà il maggior numero di chiamate su costumi da bagno e occhiali da sole durante i mesi estivi. Assicurarsi che l'esempio includa l'ambito completo del riconoscimento vocale che si vuole rilevare.

Considerare questi dettagli:

• L'allenamento con l'audio porta i maggiori vantaggi se l'audio è anche difficile da comprendere per gli esseri umani. Nella maggior parte dei casi, è consigliabile iniziare il training usando solo il testo correlato.
• Se si usa una delle lingue più usate, ad esempio l'inglese degli Stati Uniti, è improbabile che sia necessario eseguire il training con dati audio. Per tali lingue, i modelli di base offrono già risultati di riconoscimento validi nella maggior parte degli scenari, quindi è probabilmente sufficiente eseguire il training con il testo correlato.
• Riconoscimento vocale personalizzato può acquisire il contesto delle parole solo per ridurre gli errori di sostituzione, non gli errori di inserimento o eliminazione.
• Evitare esempi che includono errori di trascrizione, ma includono una diversità di qualità audio.
• Evitare frasi non correlate al dominio del problema. Le frasi non correlate possono danneggiare il modello.
• Quando la qualità della trascrizione varia, è possibile duplicare frasi eccezionali, ad esempio trascrizioni eccellenti che includono frasi chiave, per aumentare il loro peso.
• Il servizio Voce usa automaticamente le trascrizioni per migliorare il riconoscimento di parole e frasi specifiche del dominio, come se fossero state aggiunte come testo correlato.
• Il completamento di un'operazione di training può richiedere diversi giorni. Per migliorare la velocità di training, assicurarsi di creare la sottoscrizione del servizio Voce in un'area con hardware dedicato per il training.

Per migliorare il riconoscimento, è necessario un set di dati di training di grandi dimensioni. In genere, è consigliabile fornire trascrizioni parola per parola per 1-100 ore di audio (fino a 20 ore per i modelli meno recenti per i quali non è previsto alcun addebito per il training). Tuttavia, anche solo 30 minuti possono contribuire a migliorare i risultati del riconoscimento. Anche se la creazione della trascrizione con etichetta umana può richiedere tempo, i miglioramenti nel riconoscimento sono validi solo per i dati forniti. È consigliabile caricare solo trascrizioni di alta qualità.

I file audio possono avere silenzio all'inizio e alla fine della registrazione. Se possibile, includere almeno un mezzo secondo di silenzio prima e dopo il discorso in ogni file di esempio. Anche se l'audio con volume di registrazione basso o disturbo di fondo non è utile, non dovrebbe limitare o ridurre il modello personalizzato. Prendere sempre in considerazione l'aggiornamento dei microfoni e dell'hardware di elaborazione dei segnali prima di raccogliere campioni audio.

I progetti di Riconoscimento vocale personalizzato richiedono file audio con queste proprietà:

Dati di testo normale per il training

È possibile aggiungere frasi di testo semplice di testo correlato per migliorare il riconoscimento di parole e frasi specifiche del dominio. Le frasi di testo correlate possono ridurre gli errori di sostituzione correlati al mancato riconoscimento di parole comuni e parole specifiche del dominio visualizzandoli nel contesto. Le parole specifiche del dominio possono essere parole non comuni o composte, ma la loro pronuncia deve essere semplice da riconoscere.

Specificare frasi correlate al dominio in un singolo file di testo. Usare i dati di testo vicini alle espressioni pronunciate previste. Le espressioni non devono essere complete o grammaticalmente corrette, ma devono riflettere con precisione l'input parlato previsto dal modello. Quando possibile, cercare di fare in modo che una frase o una parola chiave vengano controllati su una riga separata. Per aumentare il peso di un termine, ad esempio i nomi dei prodotti, aggiungere diverse frasi che includono il termine. Tuttavia, un numero di copie elevato potrebbe influire sulla frequenza complessiva del riconoscimento.

Usare questa tabella per assicurarsi che il file del set di dati di testo normale sia formattato correttamente:

È inoltre necessario rispettare le restrizioni seguenti:

• Evitare di ripetere più di tre volte caratteri, parole o gruppi di parole. Ad esempio, non usare "aaaa", "sì sì sì sì", oppure "ecco qui ecco qui ecco qui ecco qui". Il servizio Voce potrebbe eliminare le righe con troppe ripetizioni.
• Non usare caratteri speciali o caratteri UTF-8 oltre U+00A1.
• Gli URI verranno rifiutati.
• Per alcune lingue, ad esempio giapponese o coreano, l'importazione di grandi quantità di dati di testo può richiedere molto tempo o può verificarsi un timeout. È consigliabile dividere il set di dati in più file di testo con un massimo di 20.000 righe in ognuno.

Dati strutturati di testo per il training

Usare dati di testo strutturati quando i dati seguono un modello specifico in determinate espressioni che differiscono solo per parole o frasi da un elenco. Per semplificare la creazione di dati di training e per migliorare la modellazione all'interno del modello linguistico personalizzato, è possibile usare un testo strutturato in formato Markdown per definire elenchi di elementi e pronuncia fonetica delle parole. È quindi possibile fare riferimento a questi elenchi all'interno delle espressioni di training.

Le espressioni previste spesso seguono un determinato modello. Un modello comune è che le espressioni differiscono solo per parole o frasi da un elenco. Alcuni esempi di questo modello possono essere:

• "Ho una domanda su product“, dove product è un elenco di possibili prodotti.
• "Rendi object color", dove object è un elenco di forme geometriche e color è un elenco di colori.

Per un elenco dei modelli di base e delle impostazioni locali supportati per il training con testo strutturato, vedere Supporto della lingua. È necessario usare il modello di base più recente per queste impostazioni locali. Per le impostazioni locali che non supportano il training con testo strutturato, il servizio eseguirà tutte le frasi di training che non fanno riferimento ad alcuna classe come parte del training con dati di testo normale.

Il file di testo strutturato deve avere un'estensione .md. La dimensione massima del file è 200 MB e la codifica del testo deve essere UTF-8 BOM. La sintassi di Markdown è identica a quella dei modelli di Language Understanding, in particolare le entità di elenco e le espressioni di esempio. Per altre informazioni sulla sintassi Markdown completa, vedere Language Understanding Markdown.

Ecco i dettagli principali sul formato Markdown supportato:

Ecco un esempio di file di testo strutturato:

// This is a comment because it follows a double slash (`//`).

// Here are three separate lists of items that can be referenced in an example sentence. You can have up to 10 of these.
@ list food =
- pizza
- burger
- ice cream
- soda

@ list pet =
- cat
- dog
- fish

@ list sports =
- soccer
- tennis
- cricket
- basketball
- baseball
- football

// List of phonetic pronunciations
@ speech:phoneticlexicon
- cat/k ae t
- fish/f ih sh

// Here are two sections of training sentences. 
#TrainingSentences_Section1
- you can include sentences without a class reference
- what {@pet} do you have
- I like eating {@food} and playing {@sports}
- my {@pet} likes {@food}

#TrainingSentences_Section2
- you can include more sentences without a class reference
- or more sentences that have a class reference like {@pet} 

Dati di pronuncia per il training

Le parole specializzate o composte potrebbero avere pronunce univoche. Queste parole possono essere riconosciute se possono essere suddivise in parole più piccole per pronunciarle. Ad esempio, per riconoscere "Xbox", pronunciarlo come "X box". Questo approccio non aumenterà l'accuratezza complessiva, ma può migliorare il riconoscimento di questa e altre parole chiave.

È possibile fornire un file di pronuncia personalizzato per migliorare il riconoscimento. Non usare file di pronuncia personalizzati per modificare la pronuncia delle parole comuni. Per un elenco delle lingue che supportano la pronuncia personalizzata, vedere Supporto linguistico.

La forma parlata è la sequenza fonetica specificata. Può essere composto da lettere, parole, sillabe o una combinazione di tutti e tre. Questa tabella include alcuni esempi:

Le pronunce vengono fornite in un singolo file di testo. Includere l'espressione parlata e una pronuncia personalizzata per ognuna. Ogni riga del file deve iniziare con il modulo riconosciuto, quindi un carattere di tabulazioni e quindi la sequenza fonetica delimitata da spazi.

3CPO    three c p o
CNTK    c n t k
IEEE    i triple e

Fare riferimento alla tabella seguente per assicurarsi che i file del set di dati di pronuncia siano validi e formattati correttamente.

Dati audio per il training o il test

I dati audio sono ottimali per testare l'accuratezza della voce di base di Microsoft nel modello di testo o in un modello personalizzato. Tenere presente che i dati audio vengono usati per controllare l'accuratezza del parlato in relazione alle prestazioni di un modello specifico. Se si vuole quantificare l'accuratezza di un modello, usare trascrizioni audio e con etichetta umana.

I progetti di Riconoscimento vocale personalizzato richiedono file audio con queste proprietà:

Usare SoX per verificare le proprietà audio o convertire l'audio esistente nei formati appropriati. Ecco alcuni comandi SoX di esempio:

Dati di formattazione del testo visualizzati personalizzati per il training

Altre informazioni sulla preparazione della visualizzazione dei dati di formattazione del testo e sulla visualizzazione della formattazione del testo con il riconoscimento vocale.

Il formato di visualizzazione dell'output di riconoscimento vocale automatico è fondamentale per le attività downstream e non è adatto a tutte le dimensioni. L'aggiunta di regole del formato di visualizzazione personalizzato consente agli utenti di definire le proprie regole di formato lessicale da visualizzare per migliorare la qualità del servizio di riconoscimento vocale oltre al servizio di riconoscimento vocale personalizzato di Microsoft Azure.

Consente di personalizzare completamente gli output di visualizzazione, ad esempio aggiungere regole di riscrittura per capitalizzare e riformulare determinate parole, aggiungere parole volgari e maschera dall'output, definire regole ITN avanzate per determinati modelli, ad esempio numeri, date, indirizzi di posta elettronica; o conservare alcune frasi e mantenerle da qualsiasi processo di visualizzazione.

Ad esempio:

Per un elenco dei modelli di base e delle impostazioni locali supportati per il training con testo strutturato, vedere Supporto della lingua. Il file Formato di visualizzazione deve avere un'estensione md. La dimensione massima del file è 10 MB e la codifica del testo deve essere UTF-8 BOM. Per altre informazioni sulla personalizzazione delle regole di formato di visualizzazione, vedere Visualizzare le regole di formattazione consigliate.

Ecco un esempio di file di formato di visualizzazione:

// this is a comment line
// each section must start with a '#' character
#itn
// list of ITN pattern rules, one rule for each line
\d-\d-\d
\d-\l-\l-\d
#rewrite
// list of rewrite rules, each rule has two phrases, separated by a tab character
old phrase	new phrase
# profanity
// list of profanity phrases to be tagged/removed/masked, one line one phrase
fakeprofanity
#test
// list of test cases, each test case has two sentences, input lexical and expected display output
// the two sentences are separated by a tab character
// the expected sentence is the display output of DPP+CDPP models
Mask the fakeprofanity word	Mask the ************* word

Passaggi successivi

• Caricare i dati
• Testare il modello in modo quantitativo
• Eseguire il training di un modello personalizzato