Überwachen von Azure OpenAI Service

Dieser Artikel beschreibt Folgendes:

• Die Arten von Überwachungsdaten, die Sie für diesen Dienst sammeln können
• Möglichkeiten zum Analysieren dieser Daten.

Wenn Sie über unternehmenskritische Anwendungen und Geschäftsprozesse verfügen, die auf Azure-Ressourcen basieren, müssen Sie diese überwachen und Warnungen für Ihr System abrufen. Der Azure Monitor-Dienst sammelt und aggregiert Metriken und Protokolle aus jeder Komponente Ihres Systems. Azure Monitor bietet Ihnen eine Übersicht über Verfügbarkeit, Leistung und Resilienz und benachrichtigt Sie über Probleme. Sie können das Azure-Portal, PowerShell, die Azure CLI, die REST-API oder Clientbibliotheken verwenden, um Überwachungsdaten einzurichten und anzuzeigen.

• Weitere Informationen zu Azure Monitor finden Sie unter Azure Monitor – Übersicht.
• Weitere Informationen zum Überwachen von Azure-Ressourcen im Allgemeinen finden Sie unter Überwachen von Azure-Ressourcen mit Azure Monitor.

Dashboards

Azure OpenAI bietet vordefinierte Dashboards für jede Ihrer Azure OpenAI-Ressourcen. Um auf die Überwachungsdashboards zuzugreifen, melden Sie sich bei https://portal.azure.com an und wählen Sie den Übersichtsbereich für eine Ihrer Azure OpenAI-Ressourcen aus.

Die Dashboards sind in vier Kategorien unterteilt: HTTP-Anforderungen, tokenbasierte Nutzung, PTU-Auslastung und Feinabstimmung.

Datensammlung und -routing in Azure Monitor

Azure OpenAI sammelt die gleichen Arten von Überwachungsdaten wie andere Azure-Ressourcen. Sie können Azure Monitor so konfigurieren, dass Daten in Aktivitäts-, Ressourcen und VM-Protokollen sowie in Form von Plattformmetriken generiert werden. Weitere Informationen finden Sie unter Daten aus Azure-Ressourcen überwachen.

Plattformmetriken und das Azure Monitor-Aktivitätsprotokoll werden automatisch gesammelt und gespeichert. Diese Daten können Daten mithilfe einer Diagnoseeinstellung an andere Speicherorte weitergeleitet werden. Azure Monitor-Ressourcenprotokolle werden erst erfasst und gespeichert, nachdem Sie eine Diagnoseeinstellung erstellt und dann die Protokolle an mindestens einen Speicherort weitergeleitet haben.

Wenn Sie eine Diagnoseeinstellung erstellen, legen Sie fest, welche Kategorien von Protokollen gesammelt werden sollen. Weitere Informationen zum Erstellen einer Diagnoseeinstellung mithilfe des Azure-Portals, der Azure CLI oder von PowerShell finden Sie unter Erstellen einer Diagnoseeinstellung zum Sammeln von Plattformprotokollen und -metriken in Azure.

Beachten Sie, dass durch die Verwendung von Diagnoseeinstellungen und das Senden von Daten an Azure Monitor-Protokolle weitere Kosten entstehen. Weitere Informationen finden Sie unter Kostenberechnungen und Optionen für Azure Monitor-Protokolle.

In den folgenden Abschnitten werden die Metriken und Protokolle behandelt, die Sie erfassen können.

Ressourcentypen

Azure verwendet das Konzept von Ressourcentypen und IDs, um alles in einem Abonnement zu identifizieren. Ähnliche organisiert Azure Monitor die Kernüberwachungsdaten in Metriken und Protokollen basierend auf Ressourcentypen, die auch als Namespaces bezeichnet werden. Für unterschiedliche Ressourcentypen stehen unterschiedliche Metriken und Protokolle zur Verfügung. Ihr Dienst ist möglicherweise mehr als einem Ressourcentyp zugeordnet.

Ressourcentypen sind auch Teil der Ressourcen-IDs für jede Ressource, die in Azure ausgeführt wird. Beispiel: Ein Ressourcentyp für eine VM ist Microsoft.Compute/virtualMachines. Eine Liste der Dienste und ihrer zugehörigen Ressourcentypen finden Sie unter Ressourcenanbieter.

Weitere Informationen zu den Ressourcentypen für Azure OpenAI finden Sie in der Azure OpenAI-Überwachungsdatenreferenz.

Datenspeicher

For Azure Monitor:

• Metrikdaten werden in der Azure Monitor-Metrikendatenbank gespeichert.
• Protokolldaten werden im Azure Monitor-Protokollspeicher gespeichert. Log Analytics ist ein Tool im Azure-Portal zum Abfragen dieses Speichers.
• Das Azure-Aktivitätsprotokoll ist ein separater Speicher mit eigener Schnittstelle im Azure-Portal.

Optional können Sie Metrik- und Aktivitätsprotokolldaten an den Azure Monitor-Protokollspeicher weiterleiten. Anschließend können Sie Log Analytics verwenden, um die Daten abzufragen und mit anderen Protokolldaten zu korrelieren.

Viele Dienste können Diagnoseeinstellungen verwenden, um Metrik- und Protokolldaten an andere Speicherorte außerhalb von Azure Monitor zu senden. Beispiele umfassen Azure Storage, gehostete Partnersysteme und Nicht-Azure-Partnersysteme, die Event Hubs verwenden.

Detaillierte Informationen dazu, wie Azure Monitor Daten speichert, finden Sie unter Azure Monitor-Datenplattform.

Azure Monitor-Plattformmetriken

Azure Monitor stellt Plattformmetriken für die meisten Dienste bereit. Diese Metriken sind:

• Einzeln für jeden Namespace definiert.
• In der Azure Monitor-Datenbank für Zeitreihenmetriken gespeichert.
• Einfach strukturiert und in der Lage, Warnmeldungen in Quasi-Echtzeit zu unterstützen.
• Verwendet zum Nachverfolgen der Leistung einer Ressource im Zeitverlauf.

Erfassung: Azure Monitor sammelt Plattformmetriken automatisch. Es ist keine Konfiguration erforderlich.

Routing: Sie können Plattformmetriken normalerweise auch an Azure Monitor-Protokolle/Log Analytics weiterleiten, damit Sie diese mit anderen Protokolldaten abfragen können. Weitere Informationen finden Sie in der Diagnoseeinstellung „Metriken“. Informationen zum Konfigurieren von Diagnoseeinstellungen für einen Dienst finden Sie unter Erstellen von Diagnoseeinstellungen in Azure Monitor.

Eine Liste aller Metriken, die für alle Ressourcen in Azure Monitor gesammelt werden können, finden Sie unter Unterstützte Metriken in Azure Monitor.

Azure OpenAI hat Gemeinsamkeiten mit einer Teilmenge von Azure KI Services. Eine Liste der verfügbaren Metriken für Azure OpenAI finden Sie unter Azure OpenAI-Überwachungsdatenreferenz.

Azure Monitor-Ressourcenprotokolle

Ressourcenprotokolle bieten Einblicke in Vorgänge, die von einer Azure-Ressourcen ausgeführt wurden. Protokolle werden automatisch generiert, aber Sie müssen sie an Azure Monitor-Protokolle weiterleiten, um sie zu speichern oder abzufragen. Protokolle sind in Kategorien organisiert. Ein bestimmter Namespace verfügt möglicherweise über mehrere Ressourcenprotokollkategorien.

Sammlung: Ressourcenprotokolle werden erst gesammelt und gespeichert, nachdem Sie eine Diagnoseeinstellung erstellt und die Protokolle an mindestens einen Speicherort weitergeleitet haben. Wenn Sie eine Diagnoseeinstellung erstellen, legen Sie fest, welche Kategorien von Protokollen gesammelt werden sollen. Es gibt mehrere Möglichkeiten zum Erstellen und Verwalten von Diagnoseeinstellungen, u. a. das Azure-Portal, programmgesteuert und über Azure Policy.

Routing: Der vorgeschlagene Standard besteht darin, Ressourcenprotokolle an Azure Monitor-Protokolle weiterzuleiten, damit Sie diese mit anderen Protokolldaten abfragen können. Andere Speicherorte wie z. B. Azure Storage, Azure Event Hubs und bestimmte Microsoft-Überwachungspartner sind ebenfalls verfügbar. Weitere Informationen finden Sie unter Azure-Ressourcenprotokolle und Ressourcenprotokollziele.

Ausführliche Informationen zum Sammeln, Speichern und Weiterleiten von Ressourcenprotokollen finden Sie unter Diagnoseeinstellungen in Azure Monitor.

Eine Liste aller verfügbaren Ressourcenprotokollkategorien in Azure Monitor finden Sie unter Unterstützte Ressourcenprotokolle in Azure Monitor.

Alle Ressourcenprotokolle in Azure Monitor enthalten dieselben Headerfelder, gefolgt von dienstspezifischen Feldern. Das allgemeine Schema wird in Azure Monitor-Ressourcenprotokollschema beschrieben.

Die verfügbaren Ressourcenprotokollkategorien, die zugehörigen Log Analytics-Tabellen und die Protokollschemas für Azure OpenAI finden Sie unter Azure OpenAI-Überwachungsdatenreferenz.

Azure-Aktivitätsprotokoll

Das Aktivitätsprotokoll enthält Ereignisse auf Abonnementebene, die Vorgänge für jede Azure-Ressource nachverfolgen, so wie sie von außerhalb dieser Ressource gesehen werden, z. B. das Erstellen einer neuen Ressource oder das Starten einer VM.

Sammlung: Aktivitätsprotokollereignisse werden automatisch generiert und in einem separaten Speicher für die Anzeige im Azure-Portal gesammelt.

Routing: Sie können Aktivitätsprotokolldaten an Azure Monitor-Protokolle senden, damit Sie diese zusammen mit anderen Protokolldaten analysieren können. Andere Speicherorte wie z. B. Azure Storage, Azure Event Hubs und bestimmte Microsoft-Überwachungspartner sind ebenfalls verfügbar. Weitere Informationen zum Weiterleiten von Aktivitätsprotokollen finden Sie unter Übersicht über das Azure-Aktivitätsprotokoll.

Analysieren von Überwachungsdaten

Es gibt viele Tools zum Analysieren von Überwachungsdaten.

Azure Monitor-Tools

Azure Monitor unterstützt die folgenden grundlegenden Tools:

• Metriken-Explorer, ein Tool im Azure-Portal, mit dem Sie Metriken für Azure-Ressourcen anzeigen und analysieren können. Weitere Informationen finden Sie unter Analysieren von Metriken mit dem Azure Monitor-Metrik-Explorer.

• Log Analytics, ein Tool im Azure-Portal, mit dem Sie Protokolldaten mithilfe der KQL-Abfragesprache abfragen und analysieren können. Weitere Informationen finden Sie unter Erste Schritte mit Protokollabfragen in Azure Monitor.

• Das Aktivitätsprotokoll, das über eine Benutzeroberfläche im Azure-Portal für die Anzeige und einfache Suchvorgänge verfügt. Um ausführlichere Analysen durchzuführen, müssen Sie die Daten an Azure Monitor-Protokolle weiterleiten und komplexere Abfragen in Log Analytics ausführen.

Zu den Tools, die eine komplexere Visualisierung ermöglichen, gehören:

• Dashboards, mit denen Sie verschiedene Typen von Daten in einen einzelnen Bereich im Azure-Portal kombinieren können.
• Arbeitsmappen, anpassbare Berichte, die Sie im Azure-Portal erstellen können. Arbeitsmappen können Text, Metriken und Protokollabfragen enthalten.
• Grafana, ein Tool auf einer offenen Plattform, das für operationale Dashboards ideal ist. Sie können Grafana verwenden, um Dashboards zu erstellen, die Daten aus mehreren anderen Quellen als Azure Monitor enthalten.
• Power BI ist ein Geschäftsanalysedienst, der interaktive Visualisierungen für verschiedene Datenquellen bereitstellt. Sie können Power BI für den automatischen Import von Protokolldaten aus Azure Monitor konfigurieren, um diese Visualisierungen zu nutzen.

Konfigurieren von Diagnoseeinstellungen

Alle Metriken können mit Diagnoseeinstellungen in Azure Monitor exportiert werden. Zum Analysieren von Protokollen und Metrikdaten mit Azure Monitor Log Analytics-Abfragen müssen Sie Diagnoseeinstellungen für Ihre Azure OpenAI-Ressource und Ihren Log Analytics-Arbeitsbereich konfigurieren.

Nachdem Sie die Diagnoseeinstellungen konfiguriert haben, können Sie mit Metriken und Protokolldaten für Ihre Azure OpenAI-Ressource in Ihrem Log Analytics-Arbeitsbereich arbeiten.

Exporttools für Azure Monitor

Sie können Daten aus Azure Monitor in andere Tools abrufen, indem Sie die folgenden Methoden verwenden:

• Metriken: Verwenden Sie die REST-API für Metriken, um Metrikdaten aus der Azure Monitor-Metrikendatenbank zu extrahieren. Die API unterstützt Filterausdrücke, um die abgerufenen Daten zu verfeinern. Weitere Informationen finden Sie in der Referenz zur Azure Monitor-REST-API.

• Protokolle: Verwenden Sie die REST-API oder die zugeordneten Clientbibliotheken.

• Eine weitere Option ist der Arbeitsbereichsdatenexport.

Informationen zu den ersten Schritten mit der REST-API für Azure Monitor finden Sie in der exemplarischen Vorgehensweise für die Azure-Überwachungs-REST-API.

Kusto-Abfragen

Sie können Überwachungsdaten im Azure Monitor Logs / Log Analytics Store mithilfe der Kusto-Abfragesprache (KQL) analysieren.

Eine Liste häufiger Abfragen für alle Dienste finden Sie unter Log Analytics-Abfrageschnittstelle.

Nachdem Sie ein Azure OpenAI-Modell bereitgestellt haben, können Sie einige Vervollständigungsaufrufe senden, indem Sie die Playground-Umgebung in Azure AI Studio verwenden.

Jeder Text, den Sie im „Vervollständigungen“-Playground oder im „Chatvervollständigungen“-Playground eingeben, generiert Metriken und Protokolldaten für Ihre Azure OpenAI-Ressource. Im Log Analytics-Arbeitsbereich für Ihre Ressource können Sie die Überwachungsdaten mithilfe der Abfragesprache Kusto abfragen.

1. Wählen Sie auf der Seite Ihrer Azure OpenAI-Ressource im linken Bereich unter Überwachung die Option Protokolle aus.

2. Wählen Sie den Log Analytics-Arbeitsbereich aus, den Sie mit Diagnosen für Ihre Azure OpenAI-Ressource konfiguriert haben.

3. Wählen Sie auf der Log Analytics-Arbeitsbereich-Seite im linken Bereich unter Übersicht die Option Protokolle aus.

   Das Azure-Portal zeigt standardmäßig ein Fenster Abfragen-Fenster mit Beispielabfragen und Vorschlägen an. Sie können dieses Fenster schließen.

Geben Sie für die folgenden Beispiele die Kusto-Abfrage oben im Abfragefenster in den Bearbeitungsbereich ein, und wählen Sie dann Ausführen aus. Die Abfrageergebnisse werden unter dem Abfragetext angezeigt.

Die folgende Kusto-Abfrage ist nützlich für eine erste Analyse von Azure-Diagnose (AzureDiagnostics)-Daten zu Ihrer Ressource:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Durch diese Abfrage wird ein Beispiel mit 100 Einträgen zurückgegeben und eine Teilmenge der verfügbaren Datenspalten in den Protokollen angezeigt. Sie können in den Abfrageergebnissen den Pfeil neben dem Tabellennamen auswählen, um alle verfügbaren Spalten und zugehörigen Datentypen anzuzeigen.

Um alle verfügbaren Datenspalten anzuzeigen, können Sie die Zeile mit den Eingrenzungsparametern (| project ...) aus der Abfrage entfernen:

AzureDiagnostics
| take 100

Führen Sie die folgende Abfrage aus, um die Azure-Metrikdaten (AzureMetrics) für Ihre Ressource zu untersuchen:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Durch diese Abfrage wird ein Beispiel mit 100 Einträgen zurückgegeben und eine Teilmenge der verfügbaren Spalten der Azure-Metrikdaten angezeigt:

Alerts

Azure Monitor-Warnungen informieren Sie proaktiv, wenn bestimmte Bedingungen in Ihren Überwachungsdaten auftreten. Warnungen ermöglichen Ihnen, Probleme in Ihrem System zu identifizieren und zu beheben, bevor Ihre Kunden sie bemerken. Weitere Informationen finden Sie unter Azure Monitor-Warnungen.

Es gibt viele Quellen allgemeiner Warnungen für Azure-Ressourcen. Beispiele für häufige Warnungen für Azure-Ressourcen finden Sie in den Beispielabfragen für Protokollwarnungen. Die Website Azure Monitor-Baselinewarnungen (Azure Monitor Baseline Alerts, AMBA) stellt eine halbautomatisierte Methode für die Implementierung wichtiger Metrikwarnungen der Plattform, Dashboards und Richtlinien bereit. Die Website gilt für eine fortlaufend erweiterte Teilmenge von Azure-Diensten, einschließlich aller Dienste, die Teil der Azure-Zielzone (Azure Landing Zone, ALZ) sind.

Mit dem allgemeinen Warnungsschema wird die Benutzeroberfläche für Warnungsbenachrichtigungen in Azure Monitor standardisiert. Weitere Informationen finden Sie unter Allgemeines Warnungsschema.

Warnungstypen

Sie können zu jeder Metrik oder Protokolldatenquelle der Azure Monitor-Datenplattform Warnungen erhalten. Es gibt viele verschiedene Typen von Warnungen, abhängig von den Diensten, die Sie überwachen, und den Überwachungsdaten, die Sie sammeln. Verschiedene Typen von Warnungen haben jeweils ihre Vor- und Nachteile. Weitere Informationen finden Sie unter Auswählen des richtigen Warnungsregeltyps.

In der folgenden Liste werden die Typen von Azure Monitor-Warnungen beschrieben, die Sie erstellen können:

• Metrikwarnungen bewerten Ressourcenmetriken in regelmäßigen Abständen. Metriken können Plattformmetriken, benutzerdefinierte Metriken, in Metriken konvertierte Protokolle aus Azure Monitor oder Application Insights-Metriken sein. Metrikwarnungen können auch mehrere Bedingungen und dynamische Schwellwerte anwenden.
• Protokollwarnungen ermöglichen es Benutzern, eine Log Analytics-Abfrage zum Auswerten von Ressourcenprotokollen in vordefinierten Frequenz zu verwenden.
• Aktivitätsprotokollwarnungen werden ausgelöst, wenn ein neues Aktivitätsprotokollereignis eintritt, das definierte Bedingungen erfüllt. Resource Health- und Service Health-Warnungen sind Aktivitätsprotokollwarnungen, die über die Dienst- und Ressourcenintegrität berichten.

Einige Azure-Dienste unterstützen auch intelligente Erkennungswarnungen, Prometheus-Warnungen oder empfohlene Warnungsregeln.

Einige Dienste können Sie im großen Stil überwachen, indem Sie dieselbe Metrikwarnungsregel auf mehrere Ressourcen desselben Typs anwenden, die sich in derselben Azure-Region befinden. Für jede überwachte Ressource werden einzelne Benachrichtigungen gesendet. Unterstützte Azure-Dienste und -Clouds finden Sie unter Überwachen mehrerer Ressourcen mit einer Warnungsregel.

Einrichten von Warnungen

Die Anforderungen von Organisationen hinsichtlich Warnungen variieren und können sich im Laufe der Zeit ändern. Im Allgemeinen sollten alle Warnungen handlungsrelevant und im Falle ihres Auftretens mit einer bestimmten beabsichtigten Reaktion verknüpft sein. Wenn eine Warnung keine sofortige Reaktion erfordert, sollte die Bedingung eher mithilfe eines Berichts als einer Warnung erfasst werden. In manchen Anwendungsfällen muss möglicherweise immer eine Warnung ausgegeben werden, wenn bestimmte Fehlerbedingungen vorhanden sind. In anderen Fällen benötigen Sie möglicherweise Warnungen für Fehler, die einen bestimmten Schwellenwert für einen festgelegten Zeitraum überschreiten.

Fehler unterhalb bestimmter Schwellenwerte können häufig durch die regelmäßige Analyse von Daten in Azure Monitor-Protokollen ausgewertet werden. Wenn Sie Ihre Protokolldaten im Zeitverlauf analysieren, stellen Sie möglicherweise fest, dass eine bestimmte Bedingung innerhalb eines erwarteten Zeitraums nicht auftritt. Sie können diese Bedingung mithilfe von Warnungen nachverfolgen. Manchmal ist das Fehlen eines Ereignisses in einem Protokoll ein ebenso wichtiges Signal wie ein Fehler.

Je nachdem, welche Art von Anwendung Sie unter Verwendung von Azure OpenAI entwickeln, bietet Azure Monitor Application Insights ggf. weitere Vorteile bei der Überwachung auf Anwendungsebene.

Azure OpenAI-Warnungsregeln

Sie können Warnungen für alle Metriken, Protokolleinträge und Aktivitätsprotokolleinträge festlegen, die in der Azure OpenAI-Überwachungsdatenreferenz aufgeführt sind.

Advisor-Empfehlungen

Wenn in einigen Diensten während eines Ressourcenvorgangs kritische Bedingungen oder unmittelbar bevorstehende Änderungen auftreten, wird auf der Dienstseite Übersicht im Portal eine Warnung angezeigt. Weitere Informationen und empfohlene Korrekturen für die Warnung finden Sie in Advisor-Empfehlungen unter Überwachung im linken Menü. Während des normalen Betriebs werden keine Advisor-Empfehlungen angezeigt.

Weitere Informationen zu Azure Advisor finden Sie unter Azure Advisor – Übersicht.

Zugehöriger Inhalt

• Eine Referenz der Metriken, Protokolle und anderer wichtiger Werte, die für Azure OpenAI erstellt wurden, finden Sie unter Azure OpenAI-Überwachungsdatenreferenz.
• Allgemeine Informationen zur Überwachung von Azure-Ressourcen finden Sie unter Überwachen von Azure-Ressourcen mit Azure Monitor.
• Informationen zu Protokollen finden Sie unter Grundlegendes zu Protokollsuchvorgängen in Azure Monitor-Protokollen.