Configurare AutoML per eseguire il training di un modello di elaborazione del linguaggio naturale

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)Python SDK azure-ai-ml v2 (corrente)

In questo articolo viene illustrato come eseguire il training di modelli di elaborazione del linguaggio naturale con ML automatizzato in Azure Machine Learning. È possibile creare modelli di elaborazione del linguaggio naturale con ML automatizzato tramite Azure Machine Learning Python SDK v2 o l'interfaccia della riga di comando v2 di Azure Machine Learning.

ML automatizzato supporta l'elaborazione del linguaggio naturale che consente a professionisti e scienziati dei dati di ML di usare dati di testo personali e creare modelli personalizzati per le attività di elaborazione del linguaggio naturale. Le attività di elaborazione del linguaggio naturale includono la classificazione di testo multi-classe, la classificazione di testo con più etichette e Riconoscimento entità denominata.

È possibile eseguire facilmente l'integrazione con la funzionalità di etichettatura dei dati di Azure Machine Learning per etichettare i dati di testo o importare i dati con etichetta esistenti. ML automatizzato consente di scegliere se usare il training distribuito in cluster di elaborazione con più GPU per un training più rapido del modello. Il modello risultante può essere reso operativo su larga scala usando le funzionalità MLOps di Azure Machine Learning.

Prerequisiti

Selezionare l'attività di elaborazione del linguaggio naturale

Determinare l'attività di elaborazione del linguaggio naturale che si vuole eseguire. Attualmente, ML automatizzato supporta le attività di elaborazione del linguaggio naturale della rete neurale profonda.

Definizione della soglia

La definizione della soglia è la funzionalità con più etichette che consente agli utenti di selezionare la soglia in base alla quale le probabilità previste determineranno un'etichetta positiva. Valori inferiori consentono di ottenere più etichette e questo è preferibile quando gli utenti si preoccupano maggiormente del richiamo, ma questa opzione potrebbe portare a un maggior numero di falsi positivi. Valori maggiori consentono di ottenere meno etichette ed è preferibile per gli utenti più interessati alla precisione, ma questa opzione potrebbe portare a un maggior numero di falsi negativi.

Preparazione dei dati

Per gli esperimenti di elaborazione del linguaggio naturale in ML automatizzato, è possibile importare i dati nel formato .csv per le attività di classificazione multi-classe e con più etichette. Per le attività Riconoscimento entità denominata, sono supportati file .txt a due colonne che usano uno spazio come separatore e rispettano il formato CoNLL. Nelle sezioni seguenti vengono forniti maggiori dettagli sul formato di dati accettato per ogni attività.

Multi-classe

Per la classificazione multiclasse il set di dati può contenere diverse colonne di testo e solo una colonna di etichetta. Nell'esempio seguente è presente una sola colonna di testo.

text,labels
"I love watching Chicago Bulls games.","NBA"
"Tom Brady is a great player.","NFL"
"There is a game between Yankees and Orioles tonight","MLB"
"Stephen Curry made the most number of 3-Pointers","NBA"

Più etichette

Per la classificazione con più etichette, le colonne del set di dati corrispondono a quelle multiclasse, ma sono previsti requisiti di formato speciali per i dati nella colonna di etichetta. I due formati accettati e gli esempi sono riportati nella tabella seguente.

Dati di esempio per più etichette in formato testo normale.

text,labels
"I love watching Chicago Bulls games.","basketball"
"The four most popular leagues are NFL, MLB, NBA and NHL","football,baseball,basketball,hockey"
"I like drinking beer.",""

Dati di esempio per più etichette nel formato elenco Python con virgolette.

text,labels
"I love watching Chicago Bulls games.","['basketball']"
"The four most popular leagues are NFL, MLB, NBA and NHL","['football','baseball','basketball','hockey']"
"I like drinking beer.","[]"

Riconoscimento entità denominata

A differenza dei casi multiclasse o con più etichette, che accettano set di dati in formato .csv, con Riconoscimento entità denominata è richiesto il formato CoNLL. Il file deve contenere esattamente due colonne e, in ogni riga, il token e l'etichetta sono separati da uno spazio singolo.

ad esempio:

Hudson B-loc
Square I-loc
is O
a O
famous O
place O
in O
New B-loc
York I-loc
City I-loc

Stephen B-per
Curry I-per
got O
three O
championship O
rings O

Convalida dei dati

Prima del training di un modello, ML automatizzato applica i controlli di convalida dei dati sui dati di input per assicurarsi che i dati possano essere pre-elaborati correttamente. Se uno di questi controlli ha esito negativo, l'esecuzione non riesce e viene visualizzato il messaggio di errore pertinente. Di seguito sono riportati i requisiti per il superamento dei controlli di convalida dei dati per ogni attività.

Configurare l'esperimento

La funzionalità di elaborazione del linguaggio naturale di ML automatizzato viene attivata tramite processi di tipo di automl specifici dell'attività e questo corrisponde allo stesso flusso di lavoro per l'invio di esperimenti di ML automatizzato per le attività di classificazione, regressione e previsione. Si impostano parametri in modo analogo a quanto avviene per tali esperimenti, ad esempio experiment_name, compute_name e input di dati.

Esistono tuttavia differenze principali:

• È possibile ignorare primary_metric, perché viene usato solo per la creazione di report. Attualmente, ML automatizzato esegue il training di un solo modello per ogni esecuzione nell'elaborazione del linguaggio naturale e non è prevista alcuna selezione del modello.
• Il parametro label_column_name è necessario solo per le attività di classificazione di testo multi-classe e con più etichette.
• Se più del 10% dei campioni nel set di dati contiene più di 128 token, viene considerato a intervallo lungo.
  • Per usare la funzionalità di testo a intervallo lungo, è consigliabile usare SKU NC6 o superiori/migliori per la GPU, ad esempio la serie NCv3 o ND.

# general job parameters
compute_name = "gpu-cluster"
exp_name = "dpv2-nlp-text-classification-experiment"

# Create the AutoML job with the related factory-function.
text_classification_job = automl.text_classification(
    compute=compute_name,
    # name="dpv2-nlp-text-classification-multiclass-job-01",
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="Sentiment",
    primary_metric="accuracy",
    tags={"my_custom_tag": "My custom value"},
)

text_classification_job.set_limits(timeout=120)

Impostazioni lingua

Nell'ambito della funzionalità di elaborazione del linguaggio naturale, ML automatizzato supporta 104 lingue che sfruttano modelli DNN di testo specifici e multilingue con training preliminare, come la famiglia di modelli BERT. Attualmente, la lingua selezionata per impostazione predefinita è l'inglese.

Nella tabella seguente sono riepilogati i modelli applicati in base al tipo di attività e alla lingua. Consultare l'elenco completo di lingue e codici supportati.

featurization:
   dataset_language: "eng"

text_classification_job.set_featurization(dataset_language='eng')

Training distribuito

È anche possibile eseguire gli esperimenti di elaborazione del linguaggio naturale con il training distribuito in un cluster di elaborazione di Azure Machine Learning.

max_concurrent_iterations = number_of_vms
enable_distributed_dnn_training = True

Inviare il processo di AutoML

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

returned_job = ml_client.jobs.create_or_update(
    text_classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")
ml_client.jobs.stream(returned_job.name)

Esempi di codice

Sweep dei modelli e ottimizzazione degli iperparametri (anteprima)

L'elaborazione del linguaggio naturale di AutoML consente di fornire un elenco di modelli e combinazioni di iperparametri, tramite lo spazio di ricerca degli iperparametri nella configurazione. Hyperdrive genera diverse esecuzioni figlio, ognuna delle quali è un'esecuzione di ottimizzazione per un determinato modello di elaborazione del linguaggio naturale e un set di valori di iperparametri scelti e cancellati in base allo spazio di ricerca fornito.

Algoritmi supportati per i modelli

Di seguito sono elencati tutti i modelli DNN con training preliminare attualmente disponibili nell'elaborazione del linguaggio naturale di AutoML per l'ottimizzazione:

• bert-base-cased
• bert-large-uncased
• bert-base-multilingual-cased
• bert-base-german-cased
• bert-large-cased
• distilbert-base-cased
• distilbert-base-uncased
• roberta-base
• roberta-large
• distilroberta-base
• xlm-roberta-base
• xlm-roberta-large
• xlnet-base-cased
• xlnet-large-cased

Tenere presente che i modelli di grandi dimensioni sono più grandi delle rispettive controparti di base. In genere sono più efficienti, ma richiedono una quantità di memoria maggiore per la GPU e più tempo per il training. Di conseguenza, i requisiti degli SKU sono più rigorosi e per risultati ottimali è consigliabile eseguirli in macchine virtuali serie ND.

Algoritmi supportati per i modelli - HuggingFace (anteprima)

Con il nuovo back-end eseguito in pipeline di Azure Machine Learning, è anche possibile usare qualsiasi modello di classificazione di testo/token dall'hub HuggingFace per Text Classification, Token Classification che fa parte della libreria dei trasformer, ad esempio microsoft/deberta-large-mnli. È anche possibile trovare un elenco curato di modelli nel registro dei modelli di Azure Machine Learning convalidati con i componenti della pipeline.

Con qualsiasi modello HuggingFace verranno attivate esecuzioni con i componenti della pipeline. Se si usano entrambi i modelli legacy e HuggingFace, tutte le esecuzioni o le versioni di valutazione verranno attivate usando i componenti.

Iperparametri supportati

La tabella seguente descrive gli iperparametri supportati dall'elaborazione del linguaggio naturale di AutoML.

Tutti gli iperparametri discreti consentono solo distribuzioni a scelta, ad esempio gli iperparametri training_batch_size di tipo integer e model_name di tipo stringa. Tutti gli iperparametri continui come learning_rate supportano tutte le distribuzioni.

Configurare le impostazioni di sweeping

È possibile configurare tutti i parametri correlati allo sweeping. È possibile costruire più sottospazi del modello con iperparametri condizionali al rispettivo modello, come illustrato in ogni esempio di ottimizzazione degli iperparametri.

In questo caso sono supportate le stesse opzioni di distribuzione discreta e continua disponibili per i processi HyperDrive generici. Per conoscere tutte e nove le opzioni disponibili, vedere Ottimizzazione di un modello con iperparametri

limits: 
  timeout_minutes: 120  
  max_trials: 4 
  max_concurrent_trials: 2 

sweep: 
  sampling_algorithm: grid 
  early_termination: 
    type: bandit 
    evaluation_interval: 10 
    slack_factor: 0.2 

search_space: 
  - model_name: 
      type: choice 
      values: [bert_base_cased, roberta_base] 
    number_of_epochs: 
      type: choice 
      values: [3, 4] 
  - model_name: 
      type: choice 
      values: [distilbert_base_cased] 
    learning_rate: 
      type: uniform 
      min_value: 0.000005 
      max_value: 0.00005 

text_ner_job.set_limits( 
                        timeout_minutes=120, 
                        trial_timeout_minutes=20, 
                        max_trials=4, 
                        max_concurrent_trials=2, 
                        max_nodes=4) 

text_ner_job.extend_search_space( 
    [ 
        SearchSpace( 
            model_name=Choice([NlpModels.BERT_BASE_CASED, NlpModels.ROBERTA_BASE]) 
        ), 
        SearchSpace( 
            model_name=Choice([NlpModels.DISTILROBERTA_BASE]), 
            learning_rate_scheduler=Choice([NlpLearningRateScheduler.LINEAR,  
                                            NlpLearningRateScheduler.COSINE]), 
            learning_rate=Uniform(5e-6, 5e-5) 
        ) 
    ] 
) 

text_ner_job.set_sweep( 
    sampling_algorithm="Random", 
    early_termination=BanditPolicy( 
        evaluation_interval=2, slack_factor=0.05, delay_evaluation=6 
    ) 
) 

Metodi di campionamento per lo sweeping

Quando si esegue lo sweep degli iperparametri, è necessario specificare il metodo di campionamento da usare nello spazio dei parametri definito. Attualmente, con il parametro sampling_algorithm sono supportati i metodi di campionamento seguenti:

Budget dell'esperimento

Facoltativamente, è possibile specificare il budget dell'esperimento per il processo di training di elaborazione del linguaggio naturale di AutoML usando il parametro timeout_minutes in limits, ovvero il tempo in minuti prima del termine dell'esperimento. Se non è specificato, il timeout dell'esperimento predefinito è di sette giorni (massimo 60 giorni).

L'elaborazione del linguaggio naturale di AutoML supporta anche trial_timeout_minutes, ovvero il tempo massimo in minuti che una singola versione di valutazione può essere eseguita prima di essere terminata e max_nodes, ovvero il numero massimo di nodi del cluster di elaborazione di backup da usare per il processo. Questi parametri appartengono anche alla sezione limits.

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

limits: 
  timeout_minutes: 60 
  trial_timeout_minutes: 20 
  max_nodes: 2 

Criteri di interruzione anticipata

È possibile interrompere automaticamente le esecuzioni con prestazioni insufficienti con un criterio di interruzione anticipata. L'interruzione anticipata migliora l'efficienza di calcolo, facendo risparmiare risorse di calcolo che sarebbero state altrimenti spese per configurazioni meno promettenti. L'elaborazione del linguaggio naturale di AutoML supporta i criteri di interruzione anticipata con il parametro early_termination. Se non viene specificato alcun criterio di interruzione, tutte le configurazioni vengono eseguite fino al completamento.

Altre informazioni su come configurare i criteri di interruzione anticipata per lo sweeping degli iperparametri.

Risorse per lo sweep

È possibile controllare le risorse usate per lo sweep degli iperparametri specificando max_trials e max_concurrent_trials per lo sweep.

È possibile configurare tutti i parametri correlati allo sweeping come illustrato in questo esempio.

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

sweep:
  limits:
    max_trials: 10
    max_concurrent_trials: 2
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

Problemi noti

Gestione dei punteggi bassi o valori di perdita più elevati:

Per determinati set di dati, indipendentemente dall'attività di elaborazione del linguaggio naturale, i punteggi prodotti possono essere molto bassi, a volte anche pari a zero. Questo punteggio è accompagnato da valori di perdita più elevati, che implicano una mancata convergenza della rete neurale. Questi punteggi possono essere riscontrati più frequentemente in determinati SKU di GPU.

Anche se questi casi sono insoliti, possono verificarsi e il modo migliore per gestirli è sfruttare l'ottimizzazione degli iperparametri e fornire una gamma più ampia di valori, soprattutto per gli iperparametri come le velocità di apprendimento. Fino a quando la funzionalità di ottimizzazione degli iperparametri non è disponibile nell'ambiente di produzione, si consiglia agli utenti che riscontrano questi problemi di usare i cluster di elaborazione NC6 o ND6. Questi cluster offrono in genere risultati di training abbastanza stabili.

Passaggi successivi

• Distribuire modelli di AutoML in un endpoint online (inferenza in tempo reale)
• Ottimizzazione degli iperparametri per un modello