Come eseguire il training di un modello di classificazione del testo personalizzato

  • Articolo

Il training è il processo in cui il modello apprende dai dati etichettati. Al termine del training, sarà possibile visualizzare le prestazioni del modello per stabilire se è necessario migliorarlo.

Per eseguire il training di un modello, avviare un processo di training. Solo i processi completati correttamente creano un modello usabile. I processi di training scadono dopo sette giorni. Dopo questo periodo, non sarà possibile recuperare i dettagli del processo. Se il processo di training è stato completato correttamente ed è stato creato un modello, tale modello non è interessato dalla scadenza del processo. È possibile eseguire un solo processo di training alla volta e non è possibile avviare altri processi nello stesso progetto.

I tempi di training possono variare da pochi minuti, quando i documenti gestiti sono pochi, fino a diverse ore, a seconda delle dimensioni del set di dati e della complessità dello schema.

Prerequisiti

Prima di eseguire il training del modello, è necessario:

Per altre informazioni, vedere il ciclo di vita di sviluppo di un progetto.

Separazione dei dati

Prima di iniziare il processo di training, i documenti etichettati nel progetto vengono suddivisi in un set di training e un set di test. Ognuno svolge una funzione diversa. Il set di training viene usato nel training del modello ed è il set da cui il modello apprende le classi/classi assegnate a ciascun documento. Il set di test è un set cieco che non viene introdotto nel modello durante il training, ma solo durante la valutazione. Una volta eseguito il training del modello correttamente, è possibile usare il modello per eseguire stime dai documenti nel set di test. In base a queste stime, verranno calcolate le metriche di valutazione del modello. È preferibile accertarsi che tutte le classi siano adeguatamente rappresentate sia nel set di training che nel set di test.

La classificazione personalizzata del testo supporta due metodi per la divisione dei dati:

  • Divisione automatica del set di test dai dati di training: il sistema suddividerà i dati etichettati tra il set di training e il set di test in base alle percentuali scelte dall’utente. Il sistema tenterà di avere una rappresentazione di tutte le classi nel set di training. La divisione percentuale consigliata è l'80% per il training e il 20% per i test.

Nota

Se si sceglie l'opzione Divisione automatica del set di test dai dati di training, solo i dati assegnati al set di training verranno divisi in base alle percentuali specificate.

  • Usa una divisione manuale dei dati di training e di test: questo metodo consente agli utenti di definire a quale set devono appartenere i documenti etichettati. Questo passaggio è abilitato solo se sono stati aggiunti documenti al set di test durante l’etichettatura dei dati.

Eseguire il training del modello

Per avviare il training di un modello da Language Studio:

  1. Selezionare Processi di training dal menu a sinistra.

  2. Selezionare Avvia un processo di training dal menu in alto.

  3. Selezionare Esegui il training di un nuovo modello e digitare il nome del modello nella casella di testo. Si può anche sovrascrivere un modello esistente selezionando questa opzione e scegliendo il modello da sovrascrivere dal menu a discesa. La sovrascrittura di un modello sottoposto a training è irreversibile, ma non influisce sui modelli distribuiti fino a quando non si distribuisce il nuovo modello.

    Creare un nuovo processo di training

  4. Selezionare il metodo di divisione dei dati. È possibile scegliere Divisione automatica del set di test dai dati di training in modo che il sistema divida i dati etichettati tra il set di training e il set di test in base alle percentuali scelte dall’utente. In alternativa, è possibile scegliere l’opzione Usa una divisione manuale dei dati di training e di test, che è abilitata solo se sono stati aggiunti documenti al set di test durante l’etichettatura dei dati. Per altre informazioni sulla divisione dei dati, vedere Come eseguire il training di un modello.

  5. Selezionare il pulsante Esegui il training.

  6. Se si seleziona l'ID del processo di training dall'elenco, viene visualizzato un riquadro laterale in cui è possibile controllare lo stato di avanzamento del training, lo stato del processo e altri dettagli relativi a questo processo.

    Nota

    • Solo i processi di training completati correttamente genereranno modelli.
    • L’esecuzione del training del modello può richiedere da qualche minuto a diverse ore, in base alle dimensioni dei dati etichettati.
    • È possibile eseguire un solo processo di training alla volta. Non è possibile avviare altri processi di training nello stesso progetto fino al completamento del processo in esecuzione.

Annullare un processo di training

Per annullare un processo di training in Language Studio, accedere alla pagina Processi di training. Selezionare il processo di training da annullare e selezionare Annulla dal menu in alto.

Passaggi successivi

Al termine del training, sarà possibile visualizzare le prestazioni del modello per poterlo eventualmente migliorare. Se il modello è soddisfacente, è possibile distribuirlo, rendendolo disponibile all’uso per la classificazione del testo.