Come preparare i dati e definire uno schema per il riconoscimento delle entità denominate personalizzate

Per creare un modello di riconoscimento delle entità denominate personalizzate, sono necessari dati di qualità per eseguire il training. Questo articolo illustra come selezionare e preparare i dati, nonché come definire uno schema. La definizione dello schema è il primo passaggio nel ciclo di vita di sviluppo di un progetto e comporta definire i tipi/le categorie di entità che il modello deve estrarre dal testo in fase di esecuzione.

Progettazione dello schema

Lo schema definisce i tipi/le categorie di entità che il modello deve estrarre dal testo in fase di esecuzione.

• Esaminare i documenti nel set di dati per acquisire familiarità con il loro formato e la loro struttura.

• Identificare le entità da estrarre dai dati.

  Ad esempio, se si estraggono entità da messaggi e-mail del supporto, potrebbe essere necessario estrarre "Nome cliente", "Nome prodotto", "Data richiesta" e "Informazioni di contatto".

• Evitare tipi di entità ambigui.

  L’ambiguità si verifica quando i tipi di entità selezionati sono simili tra loro. Maggiore è l’ambiguità dello schema e più saranno i dati etichettati necessari per distinguere tipi di entità diversi.

  Ad esempio, se si estraggono dati da un contratto legale, per estrarre "Nome del primo contraente" e "Nome del secondo contraente" sarà necessario aggiungere altri esempi per evitare ambiguità dal momento che i nomi di entrambi i contraenti sembrano simili. Evitare l’ambiguità, perché consente di risparmiare tempo e lavoro, e migliora i risultati.

• Evitare entità complesse. Le entità complesse possono essere difficili da scegliere con precisione dal testo, per cui è preferibile suddividerlo in più entità.

  Ad esempio, l'estrazione di "Indirizzo" sarebbe complessa se non fosse suddiviso in entità più piccole. Esistono così tante varianti del modo in cui vengono visualizzati gli indirizzi che sarebbe necessario un numero elevato di entità etichettate per insegnare al modello a estrarre un indirizzo, nel suo complesso, senza suddividerlo. Tuttavia, se si sostituisce "Indirizzo" con "Nome via", "Casella postale", "Città", "Stato" e "CAP", il modello richiederà un minor numero di etichette per entità.

Selezione dei dati

La qualità dei dati con cui si esegue il training del modello influisce notevolmente sulle prestazioni del modello.

• Usare dati reali che riflettono lo spazio del problema del dominio per eseguire un training efficace del modello. È possibile usare dati sintetici per accelerare il processo di training del modello iniziale, ma è probabile che differiscano dai dati reali e riducano l’efficacia del modello se usati.

• Bilanciare la distribuzione dei dati il più possibile senza scostarsi dalla distribuzione in tempo reale. Ad esempio, se si esegue il training del modello per estrarre entità da documenti legali che possono avere molti formati e lingue diversi, è necessario fornire esempi che esemplificano la diversità come ci si aspetterebbe nella vita reale.

• Usare dati diversi, quando possibile, per evitare l'overfitting del modello. Una minore diversità nei dati di training può causare correlazioni spurie di apprendimento del modello che potrebbero non esistere nei dati reali.

• Evitare documenti duplicati nei dati. I dati duplicati influiscono negativamente sul processo di training, sulle metriche del modello e sulle prestazioni del modello.

• Prendere in considerazione la provenienza dei dati. Se i dati vengono raccolti da una sola persona, da un reparto o da una parte dello scenario, è probabile che manchi una diversità importante per l’apprendimento del modello.

Preparazione dei dati

Come prerequisito per la creazione di un progetto, è necessario caricare i dati di training in un contenitore BLOB nell'account di archiviazione. È possibile creare e caricare i documenti di training direttamente da Azure o tramite lo strumento Azure Storage Explorer. L'uso dello strumento Azure Storage Explorer consente di caricare più dati rapidamente.

• Creare e caricare documenti da Azure
• Creare e caricare documenti usando Azure Storage Explorer

È possibile usare solo documenti .txt. Se i dati sono in un altro formato, è possibile usare il comando parse di CLUtils per modificare il formato del documento.

È possibile caricare un set di dati con annotazioni oppure caricarne uno senza annotazioni ed etichettare i dati in Language Studio.

Set di test

Quando si definisce il set di test, includere documenti di esempio non presenti nel set di training. La definizione del set di test è un passaggio importante per calcolare le prestazioni del modello. Accertarsi, inoltre, che il set di test includa documenti che rappresentano tutte le entità usate nel progetto.

Passaggi successivi

Se non è già stato fatto, creare un progetto di riconoscimento delle entità denominate personalizzate. Se è la prima volta che si usa il riconoscimento delle entità denominate personalizzate, provare a seguire la guida introduttiva per creare un progetto di esempio. È anche possibile visualizzare l'articolo esplicativo per altri dettagli sui requisiti per la creazione di un progetto.