Missbrauchsüberwachung

  • Artikel

Azure OpenAI Service erkennt und entschärft Fälle von wiederkehrenden Inhalten und/oder Verhaltensweisen, die auf eine Nutzung des Dienstes in einer Weise hindeuten, die gegen die Verhaltensregeln oder andere geltende Produktbedingungen verstoßen könnte. Details zum Umgang mit Daten finden Sie auf der Seite „Daten, Datenschutz und Sicherheit“. Wenden Sie sich für die geänderte Missbrauchsüberwachung mithilfe dieses Formulars an: Azure OpenAI Limited Access Review: Modified Abuse Monitoring.

Komponenten der Missbrauchsüberwachung

Es gibt mehrere Komponenten für die Missbrauchsüberwachung:

  • Inhaltsklassifizierung: Klassifizierermodelle erkennen verletzende Sprache und/oder Bilder in Benutzeräußerungen (Eingaben) und Vervollständigungen (Ausgaben). Das System sucht nach Kategorien von Schäden, die in den Inhaltsanforderungen definiert sind, und weist Schweregrade zu, wie auf der Seite „Inhaltsfilterung“ ausführlicher beschrieben.

  • Missbrauchsmustererfassung: Die Missbrauchsüberwachung von Azure OpenAI Service untersucht die Nutzungsmuster von Kunden und verwendet Algorithmen und Heuristiken, um Indikatoren für potenziellen Missbrauch zu erkennen. Erkannte Muster berücksichtigen beispielsweise die Häufigkeit und den Schweregrad der Erkennung schädlicher Inhalte in den Äußerungen und Vervollständigungen eines Kunden.

  • Menschliche Überprüfung und Entscheidung: Wenn Äußerungen und/oder Vervollständigungen wie oben beschrieben durch Inhaltsklassifizierung und Missbrauchsmustererfassung gekennzeichnet werden, können autorisierte Microsoft-Mitarbeiter die gekennzeichneten Inhalte bewerten und die Klassifizierung oder Bestimmung basierend auf vordefinierten Anleitungen und Richtlinien entweder bestätigen oder korrigieren. Der Zugriff auf Daten zur menschlichen Überprüfung ist nur autorisierten Microsoft-Mitarbeitern über sichere Zugriffsarbeitstationen (Secure Access Workstations, SAWs) mit Just-In-Time (JIT)-Anforderungsgenehmigung durch Teammanager gestattet. Für Azure OpenAI Service-Ressourcen, die im Europäischen Wirtschaftsraum bereitgestellt werden, befinden sich die autorisierten Microsoft-Mitarbeiter im Europäischen Wirtschaftsraum.

  • Benachrichtigung und Aktion: Wenn ein Schwellenwert für missbräuchliches Verhalten basierend auf den vorherigen drei Schritten bestätigt wurde, wird der Kunde per E-Mail über die Feststellung informiert. Mit Ausnahme von schwerwiegendem oder wiederkehrendem Missbrauch erhalten Kunden in der Regel die Möglichkeit, das missbräuchliche Verhalten zu erläutern oder zu beheben und Mechanismen zu implementieren, um eine Wiederholung zu verhindern. Ein Fehler bei der Behebung des Verhaltens – oder wiederkehrender oder schwerwiegender Missbrauch – kann dazu führen, dass der Zugriff des Kunden auf Azure OpenAI-Ressourcen und/oder -Funktionen ausgesetzt oder beendet wird.

Nächste Schritte