Componente Regressione albero delle decisioni con boosting

  • Articolo

Questo articolo descrive un componente nella finestra di progettazione di Azure Machine Learning.

Usare questo componente per creare un insieme di alberi di regressione tramite boosting. Boosting significa che ogni albero dipende dagli alberi precedenti. L'algoritmo apprende adattando i residui degli alberi che lo precedevano. Di conseguenza, l'aumento della priorità in un insieme di alberi delle decisioni tende a migliorare l'accuratezza con un piccolo rischio di minore copertura.

Questo componente è basato sull'algoritmo LightGBM.

Questo metodo di regressione è un metodo di apprendimento supervisionato e quindi richiede un set di dati etichettato. La colonna etichetta deve contenere valori numerici.

Nota

Usare questo componente solo con set di dati che usano variabili numeriche.

Dopo aver definito il modello, eseguirne il training usando il modello di training.

Altre informazioni sugli alberi di regressione con boosting

Boosting è uno dei diversi metodi classici per la creazione di modelli di insieme, insieme a bagging, foreste casuali e così via. In Azure Machine Learning gli alberi delle decisioni con boosting usano un'implementazione efficiente dell'algoritmo di boosting delle sfumature MART. L'incremento dei gradienti è una tecnica di apprendimento automatico per i problemi di regressione. Compila ogni albero di regressione in modo dettagliato, usando una funzione di perdita predefinita per misurare l'errore in ogni passaggio e correggerlo nel successivo. Di conseguenza, il modello di stima è in realtà un insieme di modelli di stima più deboli.

Nei problemi di regressione, l'aumento della priorità crea una serie di alberi in modo dettagliato e quindi seleziona l'albero ottimale usando una funzione di perdita arbitraria differenziabile.

Per altre informazioni, vedere questi articoli:

Il metodo di boosting della sfumatura può essere usato anche per i problemi di classificazione riducendoli alla regressione con una funzione di perdita appropriata. Per altre informazioni sull'implementazione degli alberi con boosting per le attività di classificazione, vedere Albero delle decisioni con boosting a due classi.

Come configurare la regressione dell'albero delle decisioni con boosting

  1. Aggiungere il componente Boosted Decision Tree alla pipeline. È possibile trovare questo componente in Machine Learning, Inizializzare, nella categoria Regressione .

  2. Specificare la modalità di training del modello impostando l'opzione Crea modalità di training.

    • Singolo parametro: selezionare questa opzione se si sa come configurare il modello e specificare un set specifico di valori come argomenti.

    • Intervallo di parametri: selezionare questa opzione se non si è certi dei parametri migliori e si vuole eseguire uno sweep di parametri. Selezionare un intervallo di valori per scorrere e ottimizzare gli iperparametri del modello esegue l'iterazione su tutte le possibili combinazioni delle impostazioni fornite per determinare gli iperparametri che producono i risultati ottimali.

  3. Numero massimo di foglie per albero: indica il numero massimo di nodi terminal (foglie) che possono essere creati in qualsiasi albero.

    Aumentando questo valore, è possibile aumentare le dimensioni dell'albero e ottenere una maggiore precisione, a rischio di overfitting e tempo di training più lungo.

  4. Numero minimo di campioni per nodo foglia: indicare il numero minimo di case necessari per creare qualsiasi nodo terminale (foglia) in un albero.

    Aumentando questo valore, si aumenta la soglia per la creazione di nuove regole. Ad esempio, con il valore predefinito 1, anche un singolo caso può causare la creazione di una nuova regola. Se si aumenta il valore a 5, i dati di training devono contenere almeno 5 case che soddisfano le stesse condizioni.

  5. Frequenza di apprendimento: digitare un numero compreso tra 0 e 1 che definisce le dimensioni del passaggio durante l'apprendimento. La velocità di apprendimento determina la velocità o la lentezza con cui l'apprendimento converge sulla soluzione ottimale. Se le dimensioni del passaggio sono eccessive, si rischia di oltrepassare la soluzione ottimale. Se le dimensioni del passaggio sono troppo piccole, il training richiede più tempo per convergere sulla soluzione migliore.

  6. Numero di alberi costruiti: indica il numero totale di alberi delle decisioni da creare nell'insieme. Creando più alberi delle decisioni, è possibile ottenere una copertura migliore, ma il tempo di training aumenta.

    Se si imposta il valore su 1; Tuttavia, viene prodotto un solo albero (l'albero con il set iniziale di parametri) e non vengono eseguite altre iterazioni.

  7. Valore di inizializzazione numero casuale: digitare un numero intero facoltativo non negativo da usare come valore di inizializzazione casuale. La specifica di un valore di inizializzazione garantisce la riproducibilità tra le esecuzioni con gli stessi dati e parametri.

    Per impostazione predefinita, il valore di inizializzazione casuale è impostato su 0, ovvero il valore di inizializzazione viene ottenuto dall'orologio di sistema.

  8. Eseguire il training del modello:

    • Se si imposta Create trainer mode (Crea modalità trainer) su Single Parameter (Parametro singolo), connettere un set di dati con tag e il componente Train Model (Train Model ).

    • Se si imposta La modalità di training su Intervallo di parametri, connettere un set di dati con tag ed eseguire il training del modello usando Ottimizzazione degli iperparametri del modello.

    Nota

    Se si passa un intervallo di parametri a Train Model, viene usato solo il valore predefinito nell'elenco dei singoli parametri.

    Se si passa un singolo set di valori di parametro al componente Tune Model Hyperparameters , quando prevede un intervallo di impostazioni per ogni parametro, ignora i valori e usa i valori predefiniti per lo strumento di apprendimento.

    Se si seleziona l'opzione Intervallo di parametri e si immette un singolo valore per qualsiasi parametro, tale singolo valore specificato viene usato durante lo sweep, anche se altri parametri cambiano in un intervallo di valori.

  9. Inviare la pipeline.

Risultati

Al termine del training:

  • Per usare il modello per l'assegnazione dei punteggi, connettere Train Model to Score Model (Train Model to Score Model) per stimare i valori per i nuovi esempi di input.

  • Per salvare uno snapshot del modello sottoposto a training, selezionare scheda Output nel pannello destro del modello sottoposto a training e fare clic sull'icona Registra set di dati . La copia del modello sottoposto a training verrà salvata come componente nell'albero dei componenti e non verrà aggiornata in esecuzioni successive della pipeline.

Passaggi successivi

Vedere il set di componenti disponibili per Azure Machine Learning.