Monitoraggio degli abusi

  • Articolo

Il servizio OpenAI di Azure rileva e mitiga le istanze di contenuto ricorrente e/o comportamenti che suggeriscono l'uso del servizio in modo che possa violare il Codice di comportamento o altri termini del prodotto applicabili. Informazioni dettagliate sulla modalità di gestione dei dati sono disponibili nella pagina Dati, privacy e sicurezza. Richiedere il monitoraggio dell'uso improprio modificato usando questo modulo: Revisione dell'accesso limitato di Azure OpenAI: monitoraggio dell'uso improprio modificato.

Componenti del monitoraggio degli abusi

Esistono diversi componenti per il monitoraggio degli abusi:

  • Classificazionedel contenuto: i modelli del classificatore rilevano una lingua e/o immagini dannose nelle richieste utente (input), nonché nei completamenti (output). Il sistema cerca le categorie di danni definite in Requisiti di contenuto e assegna i livelli di gravità, come descritto più dettagliatamente nella pagina Filtro contenuto.

  • Acquisizione di modelli di abuso: il monitoraggio degli abusi del servizio OpenAI di Azure esamina i modelli di utilizzo dei clienti e usa algoritmi ed euristiche per rilevare gli indicatori di potenziali abusi. I modelli rilevati considerano, ad esempio, la frequenza e la gravità in cui viene rilevato contenuto dannoso nelle richieste e nei completamenti di un cliente.

  • Revisione umana e decisione: quando le richieste e/o i completamenti vengono contrassegnati tramite la classificazione dei contenuti e l'acquisizione di criteri di abuso, come descritto in precedenza, i dipendenti Microsoft autorizzati possono valutare il contenuto contrassegnato e confermare o correggere la classificazione o la determinazione in base a linee guida e criteri predefiniti. È possibile accedere ai dati solo per la revisione umana solo da parte dei dipendenti Microsoft autorizzati tramite workstation di accesso sicuro (SAW) con l'approvazione della richiesta JIT (Just-In-Time) concessa dai responsabili del team. Per le risorse del servizio OpenAI di Azure distribuite nell'Area economica europea, i dipendenti Microsoft autorizzati si trovano nell'Area economica europea.

  • Notifica e azione: quando una soglia di comportamento offensivo è stata confermata in base ai tre passaggi precedenti, il cliente viene informato della determinazione tramite posta elettronica. Ad eccezione dei casi di abuso grave o ricorrente, i clienti in genere hanno la possibilità di spiegare o correggere e implementare meccanismi per prevenire la ricorrenza del comportamento di abuso. L'impossibilità di risolvere il comportamento o l'abuso ricorrente o grave può comportare la sospensione o la chiusura dell'accesso del cliente alle risorse e/o alle funzionalità OpenAI di Azure.

Passaggi successivi