Überwachung mit Azure Managed Prometheus und Grafana

Cluster- und Dienstüberwachung ist integraler Bestandteil jeder Organisation. Azure HDInsight auf AKS verfügt über integrierte Überwachungserfahrungen mit Azure-Diensten. In diesem Artikel verwenden wir den verwalteten Prometheus-Dienst mit Azure Grafana-Dashboards für die Überwachung.

Azure Managed Prometheus ist ein Dienst, der Ihre Cloudumgebungen überwacht. Die Überwachung dient der Aufrechterhaltung der Verfügbarkeit, Leistung und der Workload-Metriken Ihrer Umgebungen. Sie sammelt Daten, die von Ressourcen in Ihren Azure-Instanzen und von anderen Überwachungstools generiert werden. Die Daten werden verwendet, um Analysen für mehrere Quellen bereitstellen zu können.

Azure Managed Grafana ist eine Datenvisualisierungsplattform, die auf der Grafana-Software von Grafana Labs basiert. Sie wurde als vollständig verwalteter Azure-Dienst entwickelt, der von Microsoft betrieben und unterstützt wird. Grafana hilft Ihnen, Metriken, Protokolle und Ablaufverfolgungen auf einer einzigen Benutzeroberfläche zusammenzuführen. Durch die umfassende Unterstützung für Datenquellen und Diagrammfunktionen können Sie die Telemetriedaten Ihrer Anwendung und Infrastruktur in Echtzeit anzeigen und analysieren.

In diesem Artikel werden die Details zum Aktivieren des Überwachungsfeatures in HDInsight auf AKS behandelt.

Voraussetzungen

• Ein Azure Managed Prometheus-Arbeitsbereich. Sie können sich diesen Arbeitsbereich als einzigartige Azure Monitor-Protokollumgebung mit eigenem Datenrepository, eigenen Datenquellen und eigenen Lösungen vorstellen. Die Anweisungen finden Sie unter Erstellen eines Azure Managed Prometheus-Arbeitsbereichs.
• Ein Azure Managed Grafana-Arbeitsbereich. Die Anweisungen finden Sie unter Erstellen eines Azure Managed Grafana-Arbeitsbereichs.
• Ein HDInsight auf AKS-Cluster. Derzeit können Sie Azure Managed Prometheus mit den folgenden HDInsights für AKS-Clustertypen verwenden:
  • Apache Spark™
  • Apache Flink®
  • Trino

Anweisungen zum Erstellen von HDInsight auf AKS-Clustern finden Sie unter Erste Schritte bei der Verwendung von Azure HDInsight auf AKS.

Aktivieren der von Azure verwalteten Prometheus und Grafana

Die Azure Managed Prometheus- und Grafana-Überwachung muss auf Clusterpoolebene konfiguriert werden, um sie auf Clusterebene zu aktivieren. Sie müssen verschiedene Phasen berücksichtigen, während Sie die Überwachungslösung aktivieren.

Während der Erstellung des Clusterpools

Derzeit kann Managed Prometheus NICHT während der Erstellungszeit des Clusterpools aktiviert werden. Sie können ihn nach der Erstellung des Clusterpools konfigurieren.

Nach Erstellung der Clusterpools

Die Überwachung kann über die Registerkarte Integrationen in einer vorhandenen Clusterpoolansicht aktiviert werden, die im Azure-Portal verfügbar ist. Sie können bereits erstellte Arbeitsbereiche verwenden oder einen neuen erstellen, während Sie die Überwachung für den Clusterpool konfigurieren.

Verwenden des vordefinierten Arbeitsbereichs

1. Klicken Sie auf Konfigurieren, um die Azure Prometheus-Überwachung zu aktivieren.

   

2. Klicken Sie auf Erweiterte Einstellungen, um Ihre vordefinierten Arbeitsbereiche anzufügen.

   

   

Erstellen des Azure Prometheus- und Grafana-Arbeitsbereichs beim Aktivieren der Überwachung im Clusterpool

Sie können die Arbeitsbereiche über die HDI auf der Seite des AKS-Clusterpools erstellen.

1. Klicken Sie auf Konfigurieren neben der Option Azure Prometheus.

   

2. Klicken Sie auf Neuen Arbeitsbereich erstellen für Azure Managed Prometheus.

   

3. Geben Sie den Namen und die Region ein und klicken Sie auf für Prometheus Erstellen.

   

4. Klicken Sie auf Neuen Arbeitsbereich erstellen für Azure Managed Grafana.

5. Geben Sie den Namen und die Region ein und klicken Sie auf Für Grafana Erstellen.

   

   Hinweis

   1. Managed Grafana kann nur aktiviert werden, wenn Managed Prometheus aktiviert ist.
   2. Sobald der Azure Managed Prometheus-Arbeitsbereich und der Azure Managed Grafana-Arbeitsbereich aus dem HDInsight im AKS-Clusterpool aktiviert sind, kann er nicht wieder vom Clusterpool deaktiviert werden. Er muss von der Clusterebene deaktiviert werden.

Während der Clustererstellung

Aktivieren von Azure Managed Prometheus während der Clustererstellung

1. Nachdem der Clusterpool erstellt und Azure Managed Prometheus aktiviert wurde, muss der Benutzer einen HDI auf AKS-Cluster im selben Clusterpool erstellen.

2. Navigieren Sie während des Clustererstellungsprozesses zur Seite Integration und aktivieren Sie Azure Prometheus.

   

Nach Clustererstellung

Sie können Azure Managed Prometheus auch nach HDI bei der AKS-Clustererstellung aktivieren

1. Navigieren Sie zur Registerkarte Integrationen auf der Clusterseite.

2. Aktivieren Sie Azure Prometheus Monitoring mit der Umschaltfläche und klicken Sie auf Speichern.

   

   Hinweis

   Ebenso können Sie die Azure Prometheus-Überwachung deaktivieren, indem Sie die Umschaltfläche deaktivieren und auf Speichern klicken.

Aktivieren erforderlicher Berechtigungen

Um Azure Managed Prometheus und Azure Managed Grafana über das HDInsight im AKS-Portal anzuzeigen, müssen Sie über bestimmte folgende Berechtigungen verfügen.

Benutzerberechtigung: Zum Anzeigen von Azure Managed Grafana ist die Rolle „Grafana Viewer“ für den Benutzer im Azure Managed Grafana-Arbeitsbereich, Access Control (IAM) erforderlich. Hier erfahren Sie, wie Sie den Benutzerzugriff gewähren.

1. Öffnen Sie den Grafana-Arbeitsbereich, der im Clusterpool konfiguriert ist.

2. Wählen Sie die Rolle als Grafana Viewer aus

3. Wählen Sie den Benutzernamen aus, der auf das Grafana-Dashboard zugreift.

4. Wählen Sie den Benutzer aus, und klicken Sie auf Überprüfen+ Zuweisen

   Hinweis

   Wenn der Benutzer Azure Managed Prometheus vor dem Erstellen von Grafana Identity erstellt, ist die zusätzliche Berechtigung des Monitoring Readers erforderlich.

5. Auf der Seite Grafana-Arbeitsbereich (die mit dem Cluster verknüpfte) wird die Berechtigung Überwachungsleseberechtigter auf der Registerkarte Identität bereitgestellt.

   

6. Klicken Sie auf Rollenzuweisung hinzufügen.

7. Wählen Sie die folgenden Parameter aus

   1. Bereich als Abonnement
   2. Die Bezeichnung für das Abonnement.
   3. Rolle als Monitoring Reader

   

   Hinweis

   Weitere Rollen für Grafana-Benutzer finden Sie hier.

Anzeigen von Metriken

Wir verwenden in diesem Fall einen Apache Spark-Cluster™ als Beispiel und gehen davon aus, dass nur wenige Aufträge im Cluster ausgeführt werden, um die Metriken zu erhalten.

Gehen Sie folgendermaßen vor, um die Grafana-Beispielvorlagen zu verwenden:

1. Laden Sie die Beispielvorlage von hier für die jeweiligen Workloads herunter (laden Sie in diesem Fall die Apache Spark-Vorlage herunter).

2. Melden Sie sich über Ihren Cluster beim Grafana-Dashboard an.

   

3. Klicken Sie nach dem Öffnen der Grafana Dashboard-Seite auf „Neu“ > „Importieren“.

   

4. Klicken Sie auf die JSON-Datei „Upload Dashboard“, laden Sie die Apache Spark Grafana-Vorlage hoch, die Sie heruntergeladen haben, und klicken Sie auf Importieren.

   

5. Nachdem der Upload abgeschlossen ist, können Sie auf das Dashboard klicken, um die Metriken anzuzeigen.

   

Verweis

• Apache, Apache Spark, Spark und zugehörige Open Source-Projektnamen sind Handelsmarken der Apache Software Foundation (ASF).