Evaluate Recommender (Valuta modelo di raccomandazione)

Questo articolo descrive come usare il componente Evaluate Recommender nella finestra di progettazione di Azure Machine Learning. L'obiettivo è misurare l'accuratezza delle stime effettuate da un modello di raccomandazione. Usando questo componente, è possibile valutare diversi tipi di raccomandazioni:

• Valutazioni stimate per un utente e un elemento
• Elementi consigliati per un utente

Quando si creano stime usando un modello di raccomandazione, vengono restituiti risultati leggermente diversi per ognuno di questi tipi di stima supportati. Il componente Evaluate Recommender deduce il tipo di stima dal formato di colonna del set di dati con punteggio. Ad esempio, il set di dati con punteggio potrebbe contenere:

• Triple di valutazione degli elementi utente
• Utenti e i relativi elementi consigliati

Il componente applica anche le metriche delle prestazioni appropriate, in base al tipo di stima in corso.

Come configurare Evaluate Recommender

Il componente Evaluate Recommender confronta l'output della stima usando un modello di raccomandazione con i dati "ground truth" corrispondenti. Ad esempio, il componente Score SVD Recommender produce set di dati con punteggio che è possibile analizzare usando Evaluate Recommender.

Requisiti

Evaluate Recommender richiede i set di dati seguenti come input.

Set di dati di test

Il set di dati di test contiene i dati "ground truth" sotto forma di triple di classificazione degli elementi utente.

Set di dati con punteggio

Il set di dati con punteggio contiene le stime generate dal modello di raccomandazione.

Le colonne di questo secondo set di dati dipendono dal tipo di stima eseguita durante il processo di assegnazione dei punteggi. Ad esempio, il set di dati con punteggio potrebbe contenere uno dei seguenti elementi:

• Utenti, elementi e classificazioni che l'utente avrebbe probabilmente dato per l'elemento
• Elenco di utenti ed elementi consigliati

Metrica

Le metriche delle prestazioni per il modello vengono generate in base al tipo di input. Le sezioni seguenti forniscono informazioni dettagliate.

Valutare le valutazioni stimate

Quando si valutano valutazioni stimate, il set di dati con punteggio (il secondo input di Evaluate Recommender) deve contenere triple di valutazione degli elementi utente che soddisfano questi requisiti:

• La prima colonna del set di dati contiene gli identificatori utente.
• La seconda colonna contiene gli identificatori dell'elemento.
• La terza colonna contiene le classificazioni degli elementi utente corrispondenti.

Evaluate Recommender confronta le classificazioni nel set di dati "ground truth" con le valutazioni stimate del set di dati con punteggio. Calcola quindi l'errore assoluto medio (MAE) e l'errore quadratico medio medio (RMSE).

Valutare le raccomandazioni degli elementi

Quando si valutano le raccomandazioni per gli elementi, usare un set di dati con punteggio che include gli elementi consigliati per ogni utente:

• La prima colonna del set di dati deve contenere l'identificatore utente.
• Tutte le colonne successive devono contenere gli identificatori di elemento consigliati corrispondenti, ordinati in base al modo in cui un elemento pertinente è per l'utente.

Prima di connettere questo set di dati, è consigliabile ordinare il set di dati in modo che gli elementi più rilevanti vengano prima.

Evaluate Recommender calcola il guadagno cumulativo scontata normalizzato medio (NDCG) normalizzato e lo restituisce nel set di dati di output.

Poiché non è possibile conoscere la "verità di base" effettiva per gli elementi consigliati, Evaluate Recommender usa le classificazioni degli elementi utente nel set di dati di test come miglioramenti nel calcolo di NDCG. Per valutare, il componente di assegnazione dei punteggi consigliato deve produrre solo raccomandazioni per gli elementi con classificazioni "ground truth" (nel set di dati di test).

Passaggi successivi

Vedere il set di componenti disponibili per Azure Machine Learning.