Permutation Feature Importance

Calcola i punteggi di importanza della funzione di permutazione delle variabili di funzione, dati un modello di training e un set di dati di test

Categoria: Moduli di selezione delle funzionalità

Panoramica del modulo

Questo articolo descrive come usare il modulo Permutation Feature Importance in Machine Learning Studio (versione classica) per calcolare un set di punteggi di importanza delle funzionalità per il set di dati. Questi punteggi vengono utilizzati per determinare le caratteristiche migliori da usare in un modello.

In questo modulo i valori delle caratteristiche vengono casualmente casualmente casuali, una colonna alla volta e le prestazioni del modello vengono misurate prima e dopo. È possibile scegliere una delle metriche standard fornite per misurare le prestazioni.

I punteggi restituiti dal modulo rappresentano la modifica delle prestazioni di un modello con training, dopo la permutazione. Le funzioni importanti sono in genere più sensibili al processo di selezione in ordine casuale, di conseguenza i punteggi di importanza saranno più alti.

Questo articolo offre una buona panoramica generale dell'importanza delle funzionalità di permutazione, della sua base teorica e delle applicazioni in Machine Learning: Importanza delle funzionalità di permutazione

Come usare l'importanza delle funzionalità di permutazione

Per generare un set di punteggi delle funzionalità, è necessario disporre di un modello già con training, nonché di un set di dati di test.

1. Aggiungere il modulo Permutation Feature Importance all'esperimento. È possibile trovare questo modulo nella categoria Selezione funzionalità.

2. Connessione un modello con training all'input sinistro. Il modello deve essere un modello di regressione o un modello di classificazione.

3. Nell'input destro connettere un set di dati, preferibilmente diverso dal set di dati usato per il training del modello. Questo set di dati viene usato per l'assegnazione dei punteggi in base al modello con training e per la valutazione del modello dopo la modifica dei valori delle caratteristiche.

4. Per Valore di seed casuale, digitare un valore da usare come valore di seed per la sequenza casuale. Se si specifica 0 (impostazione predefinita), viene generato un numero in base all'orologio di sistema.

   Un valore di seed è facoltativo, ma è necessario specificare un valore se si vuole riproducibilità tra le esecuzioni dello stesso esperimento.

5. Per Metrica per la misurazione delle prestazioni, selezionare una singola metrica da usare per il calcolo della qualità del modello dopo la permutazione.

   Machine Learning Studio (versione classica) supporta le metriche seguenti, a seconda che si sta valutando un modello di classificazione o regressione:

   • Classificazione

     Accuratezza, precisione, richiamo, perdita media del log

   • Regressione

     Precisione, richiamo, errore assoluto medio, radice errore quadrativo medio, errore assoluto relativo, errore quadrativo relativo, coefficiente di determinazione

   Per una descrizione più dettagliata di queste metriche di valutazione e del modo in cui vengono calcolate, vedere Valutare.

6. Eseguire l'esperimento.

7. Il modulo restituisce un elenco di colonne di caratteristiche e i punteggi associati, classificati in ordine decrescente in base ai punteggi.

Esempio

Vedere questi esperimenti di esempio nella Azure AI Gallery:

• Permutation Feature Importance (Importanza delle caratteristiche di permutazione): illustra come usare questo modulo per classificare le variabili di funzionalità di un set di dati in ordine di punteggi di importanza della permutazione.

• Uso del modulo Permutation Feature Importance: illustra l'utilizzo di questo modulo in un servizio Web.

Note tecniche

Questa sezione fornisce informazioni dettagliate sull'implementazione, suggerimenti e risposte alle domande frequenti.

Qual è il confronto con altri metodi di selezione delle caratteristiche?

L'importanza delle caratteristiche di permutazione funziona modificando in modo casuale i valori di ogni colonna di funzionalità, una colonna alla volta e quindi valutando il modello.

Le classificazioni fornite dall'importanza delle caratteristiche di permutazione sono spesso diverse da quelle che si ottengono dalla selezione di funzioni in base al filtro, che calcola i punteggi prima della creazione di un modello.

Ciò è dovuto al fatto che l'importanza delle caratteristiche di permutazione non misura l'associazione tra una caratteristica e un valore di destinazione, ma acquisisce invece l'influenza di ogni caratteristica sulle stime del modello.

Input previsti

Parametri del modulo

Output

Eccezioni

Vedi anche

Selezione funzionalità
Filter Based Feature Selection (Selezione caratteristiche basata su filtro)
Analisi dei componenti principali