Jeux de données d’apprentissage et de test

Dans un projet de reconnaissance vocale personnalisée, vous pouvez charger des jeux de données pour l’apprentissage, l’inspection qualitative et la mesure quantitative. Cet article aborde les types de données d’apprentissage et de test que vous pouvez utiliser pour la reconnaissance vocale personnalisée.

Le texte et l’audio que vous utilisez pour tester un modèle personnalisé et effectuer son apprentissage doivent inclure des échantillons issus d’un ensemble diversifié d’orateurs et de scénarios que vous voulez que votre modèle reconnaisse. Tenez compte des facteurs suivants lorsque vous rassemblez des données pour le test et la formation de modèles personnalisés :

• Incluez des données texte et audio pour couvrir les types d’instructions verbales que vos utilisateurs prononcent lorsqu’ils interagissent avec votre modèle. Par exemple, un modèle chargé d’élever et d’abaisser la température nécessite une formation relative aux instructions possibles permettant de demander de tels changements.
• Incluez toutes les variations de message que vous voulez que votre modèle reconnaisse. De nombreux facteurs peuvent faire varier l’audio, y compris les accents, les dialectes, le mélange de langues, l’âge, le sexe, la hauteur de la voix, le degré de stress et l’heure de la journée.
• Incluez des échantillons provenant de différents environnements (par exemple, en intérieur, en extérieur et avec bruits de route) où votre modèle est utilisé.
• Enregistrez l’audio à l’aide de périphériques matériels que le système de production utilise. Si votre modèle doit identifier la parole enregistrée sur des appareils de diverses qualités, les données audio que vous fournissez pour effectuer l’apprentissage de votre modèle doivent également être caractéristiques de ces différents scénarios.
• Utilisez un jeu de données diversifié et représentatif des exigences de votre projet. Vous pourrez ajouter plus de données à votre modèle ultérieurement.
• Incluez uniquement les données que votre modèle doit transcrire. L’inclusion de données qui ne correspondent pas aux exigences de reconnaissance de votre modèle personnalisé peut nuire à la qualité globale de la reconnaissance.

Types de données

Le tableau suivant répertorie les types de données acceptés, les cas d’usage pour chacun d’eux ainsi que la quantité recommandée. Pour créer un modèle, vous n’avez pas besoin de chaque type de données. Les données nécessaires varient selon que vous créez un test ou entraînez un modèle.

L’apprentissage avec du texte brut ou de texte structuré se termine généralement en quelques minutes.

Si vous entraînez un modèle personnalisé avec des données audio, choisissez une région de ressource Speech dotée de matériel dédié à l’entraînement de données audio. Pour plus d’informations, consultez les notes de bas de page du tableau des régions. Dans les régions dotées de matériel dédié à l’entraînement de la reconnaissance vocale personnalisée, le service Speech utilise jusqu’à 100 heures de vos données d’entraînement audio et peut traiter environ 10 heures de données par jour. Une fois l’apprentissage du modèle effectué, vous pouvez copier le modèle dans une autre région si nécessaire avec l’API REST Models_CopyTo.

Envisager des jeux de données selon le scénario

Un modèle formé dans le cadre d’un sous-ensemble de scénarios ne peut être performant que dans ces scénarios. Choisissez soigneusement des données qui représentent toute l’étendue des scénarios que votre modèle personnalisé doit reconnaître. Le tableau suivant présente des jeux de données à prendre en compte pour certains scénarios de reconnaissance vocale :

Pour déterminer le jeu de données à utiliser pour résoudre vos problèmes, reportez-vous au tableau suivant :

Données audio + transcription étiquetée à la main pour la formation ou le test

Vous pouvez utiliser des données audio et une transcription étiquetée à la main à des fins d’apprentissage et de test. Vous devez fournir des transcriptions étiquetées à la main (mot par mot) à des fins de comparaison :

• Pour améliorer les aspects acoustiques tels que les légers accents, les styles de parole et les bruits de fond.
• Pour mesurer l’exactitude de la reconnaissance vocale de Microsoft lors du traitement de vos fichiers audio.

Pour obtenir la liste des modèles de base prenant en charge la formation avec des données audio, consultez Prise en charge des langues. Même si un modèle de base prend en charge la formation avec des données audio, il est possible que le service n’utilise qu’une partie de l’audio. Et il utilise toujours toutes les transcriptions.

L’audio avec des transcriptions étiquetées à la main offre les plus fortes améliorations en termes de précision si l’audio provient du cas d’usage cible. Les exemples doivent couvrir l’intégralité des messages vocaux. Par exemple, la plupart des appels adressés à un centre d’appels pendant les mois d’été concernent les maillots de bain et les lunettes de soleil. Vérifiez que votre exemple comprend l’étendue complète des messages vocaux que vous souhaitez détecter.

Tenez compte des détails suivants :

• L’apprentissage de l’audio est plus avantageux si le contenu audio est également difficile à comprendre pour les êtres humains. Dans la plupart des cas, vous devez commencer la formation en utilisant uniquement du texte associé.
• Si vous utilisez l’une des langues les plus utilisées, tels que l’anglais des États-Unis, il est peu probable que vous deviez effectuer la formation avec des données audio. Pour ces langues, les modèles de base offrent déjà une bonne reconnaissance pour la plupart des scénarios. Il est probablement suffisant d’effectuer une formation avec du texte associé.
• La reconnaissance vocale personnalisée peut uniquement capturer le contexte des mots pour réduire les erreurs de substitution, pas les erreurs d’insertion ou de suppression.
• Évitez les exemples comprenant des erreurs de transcription, mais incluez une qualité audio diversifiée.
• Évitez les phrases qui ne sont pas liées au domaine de votre problème. Les phrases non liées peuvent endommager votre modèle.
• En cas de variation de la qualité des transcriptions, vous pouvez dupliquer des phrases particulièrement bonnes, comme d’excellentes transcriptions qui comprennent des expressions clés, pour augmenter leur pondération.
• Le service Speech utilise automatiquement les transcriptions pour améliorer la reconnaissance des mots et des expressions spécifiques à un domaine, comme s’ils avaient été ajoutés en tant que texte associé.
• La finalisation d’une opération de formation peut prendre plusieurs jours. Pour améliorer la vitesse de formation, veillez à créer votre abonnement au service vocal dans une région avec un matériel dédié pour l’apprentissage.

Un jeu de données d’apprentissage volumineux est nécessaire pour améliorer la reconnaissance. En règle générale, nous vous recommandons de fournir des transcriptions mot à mot pendant 1 à 100 heures d’audio (jusqu’à 20 heures pour les modèles plus anciens qui ne sont pas facturés pour l’entraînement). Toutefois, même 30 minutes peuvent contribuer à améliorer les résultats de la reconnaissance. La création d’une transcription étiquetée à la main prend du temps. Toutefois, les améliorations de la reconnaissance sont proportionnelles à la qualité des données que vous fournissez. Chargez uniquement des transcriptions de haute qualité.

Les fichiers audio peuvent avoir un silence au début et à la fin de l’enregistrement. Si possible, incluez au moins une demi-seconde de silence avant et après Speech dans chaque exemple de fichier. Bien que les données audio présentant un faible volume d’enregistrement ou un bruit de fond perturbateur ne soient pas utiles, celles-ci ne devraient pas limiter ni dégrader votre modèle personnalisé. Envisagez toujours de mettre à niveau vos micro et votre matériel de traitement du signal avant de rassembler les échantillons audio.

Les projets de reconnaissance vocale personnalisée nécessitent des fichiers audio avec les propriétés suivantes :

Données de texte brut pour la formation

Vous pouvez ajouter des phrases en texte brut associées pour améliorer la reconnaissance des mots et des expressions spécifiques à un domaine. L’ajout de phrases de texte associées permet de réduire les erreurs de substitution liées à la reconnaissance erronée des mots courants et des mots spécifiques à un domaine en les présentant en contexte. Les mots spécifiques à un domaine peuvent être des mots rares ou inventés, mais leur prononciation doit être facile à reconnaître.

Fournissez des phrases liées au domaine dans un fichier texte unique. Utilisez des données texte qui sont proches des énoncés prononcés attendus. Ces énoncés ne doivent pas nécessairement être des phrases complètes ni être grammaticalement corrects. En revanche, elles doivent refléter précisément l’entrée orale auquel votre modèle doit s’attendre. Dans la mesure du possible, essayez d’avoir une phrase ou un mot clé contrôlé sur une ligne distincte. Pour augmenter la pondération d’un terme, comme des noms de produits, ajoutez plusieurs phrases qui incluent le terme. Toutefois, ne faites pas un trop grand nombre de copies, car cela pourrait impacter le taux de reconnaissance global.

Utilisez ce tableau pour vérifier que votre fichier de données en texte brut est mis en forme correctement :

Vous devez également respecter les restrictions suivantes :

• Évitez de répéter des caractères, des mots ou des groupes de mots plus de trois fois. Par exemple, n’utilisez pas « aaaa », « oui oui oui oui » ou « c’est tout c’est tout c’est tout c’est tout ». Le service Speech peut supprimer des lignes avec un trop grand nombre de répétitions.
• N’utilisez pas de caractères spéciaux ou de caractères UTF-8 au-delà de U+00A1.
• Les URI sont rejetés.
• Pour certaines langues comme le japonais ou le coréen, l’importation de grandes quantités de données texte peut prendre beaucoup de temps ou entraîner l’expiration du délai d’attente. Essayez de fractionner le jeu de données en plusieurs fichiers texte de 20 000 lignes maximum chacun.

Données de texte structuré pour l’apprentissage

Utilisez des données de texte structuré quand vos données suivent un modèle particulier dans des énoncés qui diffèrent uniquement par des mots ou des expressions d’une liste. Pour simplifier la création de données d’apprentissage et permettre une meilleure modélisation dans le modèle Custom Language, vous pouvez utiliser un texte structuré de format Markdown pour définir des listes d’éléments et la prononciation phonétique des mots. Vous pouvez ensuite référencer ces listes à l’intérieur de vos énoncés de formation.

Les énoncés attendus suivent souvent un certain modèle. Un modèle courant est que les énoncés diffèrent uniquement par des mots ou des phrases d’une liste. Voici quelques exemples de ce modèle :

• « J’ai une question sur product », où product est une liste de produits possibles.
• « Colorier object en color », où object est une liste de formes géométriques et color une liste de couleurs.

Pour obtenir la liste des modèles de base et paramètres régionaux pris en charge pour la formation avec du texte structuré, consultez Prise en charge linguistique. Vous devez utiliser le modèle de base le plus récent pour ces paramètres régionaux. Pour les paramètres régionaux qui ne prennent pas en charge la formation avec du texte structuré, le service prend toutes les phrases de formation qui ne font pas référence à des classes dans le cadre de la formation avec des données de texte brut.

Le fichier texte structuré doit avoir une extension .md. La taille maximale du fichier est de 200 Mo et l’encodage de texte doit être UTF-8 BOM. La syntaxe du format Markdown est la même que celle des modèles Language Understanding, en particulier les entités de liste et les exemples d’énoncés. Pour plus d’informations sur la syntaxe complète du format Markdown, consultez Language Understanding Markdown.

Voici des détails clés sur le format Markdown pris en charge :

Voici un exemple de fichier texte structuré :

// This is a comment because it follows a double slash (`//`).

// Here are three separate lists of items that can be referenced in an example sentence. You can have up to 10 of these.
@ list food =
- pizza
- burger
- ice cream
- soda

@ list pet =
- cat
- dog
- fish

@ list sports =
- soccer
- tennis
- cricket
- basketball
- baseball
- football

// List of phonetic pronunciations
@ speech:phoneticlexicon
- cat/k ae t
- fish/f ih sh

// Here are two sections of training sentences. 
#TrainingSentences_Section1
- you can include sentences without a class reference
- what {@pet} do you have
- I like eating {@food} and playing {@sports}
- my {@pet} likes {@food}

#TrainingSentences_Section2
- you can include more sentences without a class reference
- or more sentences that have a class reference like {@pet} 

Données de prononciation pour la formation

Des mots spécialisés ou composés peuvent avoir des prononciations uniques. Ces mots peuvent être reconnus s’ils peuvent être décomposés en mots plus petits pour les prononcer. Pour reconnaître « Xbox » par exemple, prononcez « X box ». Cette approche n’augmente pas la précision globale, mais peut améliorer la reconnaissance de ce mot clé et d’autres mots clés.

Vous pouvez fournir un fichier de prononciation personnalisé pour améliorer la reconnaissance. N’utilisez pas des fichiers de prononciation personnalisée pour altérer la prononciation des mots communs. Pour obtenir la liste des langues qui prennent en charge la prononciation personnalisée, consultez la prise en charge linguistique.

La forme orale est la séquence phonétique épelée. Elle peut être composée de lettres, de mots, de syllabes ou d’une combinaison des trois. Ce tableau contient quelques exemples :

Vous fournissez des prononciations dans un fichier texte unique. Incluez l’énoncé oral et une prononciation personnalisée pour chacun d’entre eux. Chaque ligne du fichier doit commencer par la forme reconnue, inclure un caractère de tabulation, puis la séquence phonétique délimitée par des espaces.

3CPO    three c p o
CNTK    c n t k
IEEE    i triple e

Reportez-vous au tableau suivant pour vous assurer que vos fichiers de jeu de données de prononciation sont valides et correctement mis en forme.

Données audio pour l’apprentissage ou les tests

Les données audio sont optimales pour tester la précision du modèle de reconnaissance vocale de ligne de base de Microsoft ou d’un modèle personnalisé. Gardez à l’esprit que les données audio sont utilisées pour inspecter l’exactitude du message par rapport aux performances d’un modèle spécifique. Si vous souhaitez quantifier la précision d’un modèle, utilisez des transcriptions audio + étiquetées à la main.

Les projets de reconnaissance vocale personnalisée nécessitent des fichiers audio avec les propriétés suivantes :

Utilisez SoX pour vérifier les propriétés audio ou pour convertir les données audio existantes aux formats appropriés. Voici quelques exemples de commandes SoX :

Données de mise en forme de texte d’affichage personnalisées pour l’entraînement

En savoir plus sur la préparation des données de mise en forme de texte d’affichage et l’affichage de la mise en forme du texte avec la reconnaissance vocale.

Le format d’affichage de sortie de reconnaissance vocale automatique est essentiel pour les tâches en aval et la taille unique n’est pas adaptée à tous. L’ajout de règles de format d’affichage personnalisé permet aux utilisateurs de définir leurs propres règles de format lexical-à-afficher pour améliorer la qualité du service de reconnaissance vocale en plus du service de reconnaissance vocale personnalisée Microsoft Azure.

Il vous permet de personnaliser entièrement les sorties d’affichage telles que l’ajout de règles de réécriture pour mettre en majuscule et reformuler certains mots, ajouter des mots de profanité et masquer à partir de la sortie, définir des règles ITN avancées pour certains modèles tels que des nombres, des dates, des adresses e-mail ; ou conservez certaines expressions et conservez-les des processus d’affichage.

Par exemple :

Pour obtenir la liste des modèles de base et paramètres régionaux pris en charge pour la formation avec du texte structuré, consultez Prise en charge linguistique. Le fichier Format d’affichage doit avoir une extension .md. La taille maximale du fichier est de 10 Mo et l’encodage de texte doit être UTF-8 BOM. Pour plus d’informations sur la personnalisation des règles de format d’affichage, consultez La meilleure pratique pour afficher les règles de mise en forme.

Voici un exemple de fichier de format d’affichage :

// this is a comment line
// each section must start with a '#' character
#itn
// list of ITN pattern rules, one rule for each line
\d-\d-\d
\d-\l-\l-\d
#rewrite
// list of rewrite rules, each rule has two phrases, separated by a tab character
old phrase	new phrase
# profanity
// list of profanity phrases to be tagged/removed/masked, one line one phrase
fakeprofanity
#test
// list of test cases, each test case has two sentences, input lexical and expected display output
// the two sentences are separated by a tab character
// the expected sentence is the display output of DPP+CDPP models
Mask the fakeprofanity word	Mask the ************* word

Étapes suivantes

• Charger vos données
• Tester le modèle quantitativement
• Entraîner un modèle personnalisé