Caratteristiche e limitazioni di Personalizza esperienze

Personalizza esperienze di Azure AI può funzionare in molti scenari. Per comprendere dove è possibile applicare Personalizza esperienze, assicurarsi che i requisiti dello scenario soddisfino le aspettative per il funzionamento di Personalizza esperienze. Per comprendere se Personalizza esperienze deve essere usato e come integrarlo nelle applicazioni, vedere Casi d'uso per Personalizza esperienze. Sono disponibili criteri e linee guida per la scelta di casi d'uso, la progettazione di funzionalità e funzioni di ricompensa per gli usi di Personalizza esperienze.

Prima di leggere questo articolo, è utile comprendere alcune informazioni generali sul funzionamento di Personalizza esperienze.

Selezionare le caratteristiche per Personalizza esperienze

La personalizzazione del contenuto dipende dalla disponibilità di informazioni utili sul contenuto e sull'utente. Per determinati settori e applicazioni, alcune caratteristiche degli utenti possono essere considerate direttamente o indirettamente discriminatorie e potenzialmente illegali. Vedere le linee guida per l'integrazione e l'uso responsabile di Personalizza esperienze sulla valutazione delle funzionalità da usare con Personalizza esperienze.

Calcolo delle ricompense per Personalizza esperienze

Personalizza esperienze apprende per migliorare le scelte di azione in base al punteggio di ricompensa fornito dalla logica di business dell'applicazione. Un punteggio di ricompensa ben strutturato rappresenterà a breve termine un obiettivo di business collegato a una missione dell'organizzazione. Ad esempio, in caso di ricompensa per i clic, Personalizza esperienze cercherà i clic a spese di tutto il resto, anche se ciò su cui viene fatto clic è fonte di distrazione per l’utente o non collegato a un risultato di business. Al contrario, un sito di notizie potrebbe voler impostare dei premi legati a qualcosa di più significativo rispetto ai clic, ad esempio "L'utente ha trascorso abbastanza tempo a leggere il contenuto?" o "L'utente ha fatto clic su articoli o riferimenti pertinenti?" Con Personalizza esperienze è possibile creare facilmente uno stretto collegamento tra metriche e ricompense. Tuttavia, è necessario prestare attenzione a non confondere il coinvolgimento degli utenti a breve termine con i risultati desiderati.

Conseguenze impreviste dei punteggi di ricompensa

Anche se creati con le migliori intenzioni, i punteggi di ricompensa possono generare conseguenze o risultati imprevisti a causa del modo in cui Personalizza esperienze classifica il contenuto.

Vedi gli esempi seguenti:

• Basando la ricompensa per la personalizzazione di contenuto video sulla percentuale di lunghezza del video visualizzata si tenderà probabilmente a classificare i video più brevi rispetto ai video più lunghi.
• La ricompensa per le condivisioni sui social media, senza analisi del sentiment in relazione alla modalità di condivisione o al contenuto stesso, potrebbe determinare la classificazione di contenuto offensivo, non moderato o provocatorio. Questo tipo di contenuto tende a suscitare molto coinvolgimento, ma è spesso dannoso.
• La ricompensa per l'azione sugli elementi dell'interfaccia utente che gli utenti non si aspettano di modificare potrebbero interferire con l'usabilità e la prevedibilità dell'interfaccia utente. Ad esempio, i pulsanti che cambiano posizione o scopo senza avviso potrebbero rendere più difficile per determinati gruppi di utenti rimanere produttivi.

Implementare queste procedure consigliate:

• Eseguire esperimenti offline con il sistema usando diversi approcci di ricompensa per comprendere l'impatto e gli effetti collaterali.
• Valutare le funzioni di ricompensa e chiedersi come una persona ingenua possa alterarne l'interpretazione, provocando risultati involontari o indesiderati.
• Archiviare le informazioni e gli asset usati per il funzionamento di Personalizza esperienze, come modelli, criteri di apprendimento e altri dati, in modo che i risultati possano essere riproducibili.

Linee guida generali per comprendere e migliorare le prestazioni

Poiché Personalizza esperienze si basa sull'apprendimento per rinforzo e apprende dai premi per fare scelte migliori nel tempo, le prestazioni non vengono misurate in termini di apprendimento supervisionato tradizionali usati nei classificatori, ad esempio precisione e richiamo. Le prestazioni di Personalizza esperienze vengono misurate direttamente come somma dei punteggi di ricompensa ricevuti dall'applicazione tramite l'API Reward.

Quando si usa Personalizza esperienze, l'interfaccia utente del prodotto nel portale di Azure fornisce informazioni sulle prestazioni in modo da poter monitorare e agire su di esso. Le prestazioni possono essere visualizzate nei modi seguenti:

• Se Personalizza esperienze è in modalità di apprendimento online, è possibile eseguire valutazioni offline.
• Se Personalizza esperienze è in modalità Apprendista, è possibile visualizzare le metriche delle prestazioni (eventi imitati e ricompensa imitati) nel riquadro Valutazione nel portale di Azure.

È consigliabile eseguire frequenti valutazioni offline per mantenere la supervisione. Questa attività consente di monitorare le tendenze e garantire l'efficacia. Ad esempio, è possibile decidere di inserire temporaneamente Personalizza esperienze in modalità Apprendista se le prestazioni dei premi hanno una riduzione.

Stime delle prestazioni di Personalizza esperienze illustrate in Valutazioni offline: limitazioni

Definiamo le "prestazioni" di Personalizza esperienze come premi totali ottenuti durante l'uso. Le stime delle prestazioni di Personalizza esperienze visualizzate nelle valutazioni offline vengono calcolate anziché misurate. È importante comprendere le limitazioni di queste stime:

• Le stime si basano su dati passati, quindi le prestazioni future possono variare in base all'evoluzione del mondo e degli utenti.
• Le stime per le prestazioni di base vengono calcolate probabilisticamente. Per questo motivo, la banda di attendibilità per la ricompensa media prevista è importante. La stima diventerà più precisa con l'aumentare degli eventi. Se si usa un numero minore di azioni in ogni chiamata rank, la stima delle prestazioni può aumentare la probabilità che Personalizza esperienze possa scegliere uno qualsiasi di essi (inclusa l'azione di base) per ogni evento.
• Personalizza esperienze esegue costantemente il training di un modello quasi in tempo reale per migliorare le azioni scelte per ogni evento e, di conseguenza, influirà sui premi totali ottenuti. Le prestazioni del modello variano nel tempo, a seconda dei dati di training precedenti recenti.
• L'esplorazione e la scelta dell'azione sono processi stocastici guidati dal modello di Personalizza esperienze. I numeri casuali usati per questi processi stocastici vengono sottoposti a seed dall'ID evento. Per garantire la riproducibilità di esplora-exploit e altri processi stocastici, usare lo stesso ID evento.
• Le prestazioni online possono essere limitate dall'esplorazione. L'abbassamento delle impostazioni di esplorazione limiterà la quantità di informazioni raccolte per rimanere al di sopra delle tendenze e dei modelli di utilizzo mutevoli, quindi l'equilibrio dipende da ogni caso d'uso. Alcuni casi d'uso meritano di iniziare con impostazioni di esplorazione più elevate e di ridurle nel tempo (ad esempio, iniziare con il 30% e ridurre al 10%).

Controllare i modelli esistenti che potrebbero influire accidentalmente su Personalizza esperienze

Le raccomandazioni esistenti, la segmentazione dei clienti e gli output del modello di propensione possono essere usati dall'applicazione come input per Personalizza esperienze. Personalizza esperienze impara a ignorare le funzionalità che non contribuiscono ai premi. Esaminare e valutare i modelli di propensione per determinare se sono bravi a prevedere i premi e contenere forti distorsioni che potrebbero generare danni come effetto collaterale. Ad esempio, cercare raccomandazioni che potrebbero essere basate su stereotipi dannosi. Prendere in considerazione l'uso di strumenti come FairLearn per facilitare il processo.

Valutazioni proattive durante il ciclo di vita del progetto

Valutare la possibilità di creare metodi con cui i membri del team, gli utenti e i titolari dell'azienda potranno segnalare le problematiche relative all'uso responsabile e un processo che dia priorità alla risoluzione di tali problematiche. Considerare le attività per l'uso responsabile come le altre attività trasversali nel ciclo di vita dell'applicazione, ad esempio quelle relative a esperienza utente, sicurezza o DevOps. Le attività correlate all'uso responsabile e ai relativi requisiti non devono essere superate. L'uso responsabile deve essere discusso e implementato in tutto il ciclo di vita dell'applicazione.

Passaggi successivi

• Uso e integrazione responsabili
• Valutazioni offline
• Funzionalità per contesto e azioni