Log Analytics-Migrationshandbuch für Azure HDInsight-Cluster

Azure HDInsight ist ein unternehmensfähiger, verwalteter Clusterdienst. Dieser Dienst führt Open-Source-Analyseframeworks wie Apache Spark, Hadoop, HBase und Kafka in Azure aus. Azure HDInsight wurde in andere Azure-Dienste integriert, damit Kunden ihre Big Data-Analyseanwendungen besser verwalten können.

Log Analytics bietet ein Tool im Azure-Portal, mit dem Protokollabfragen bearbeitet und ausgeführt werden können. Die Abfragen stammen aus Daten, die von Azure Monitor-Protokollen gesammelt wurden, und analysieren ihre Ergebnisse interaktiv. Kunden können Log Analytics-Abfragen verwenden, um Datensätze abzurufen, die bestimmten Kriterien entsprechen. Sie können auch Abfragen verwenden, um Trends zu identifizieren, Muster zu analysieren und Einblicke in ihre Daten zu gewinnen.

Azure HDInsight hat die Integration in Log Analytics im Jahr 2017 aktiviert. HDInsight-Kunden haben dieses Feature schnell eingeführt, um ihre HDInsight-Cluster zu überwachen und die Protokolle in den Clustern abzufragen. Während dieses Feature immer häufiger eingeführt wurde, haben Kunden ihr Feedback zur Integration gegeben:

• Kunden können nicht entscheiden, welche Protokolle gespeichert werden sollen, und das Speichern aller Protokolle kann teuer werden.
• Aktuelle HDInsight-Schemaprotokolle folgen nicht konsistenten Benennungskonventionen, und einige Tabellen wiederholen sich.
• Kunden wünschen sich ein sofort einsatzbereites Dashboard, um den KPI ihrer HDInsight-Cluster einfach zu überwachen.
• Kunden müssen zu Log Analytics springen, um einfache Abfragen auszuführen.

Lösungsübersicht

Unter Berücksichtigung des Kundenfeedbacks hat das Azure HDInsight-Team in die Integration in Azure Monitor investiert. Diese Integration ermöglicht:

• Eine neue Gruppe von Tabellen im Log Analytics-Arbeitsbereich von Kunden. Die neuen Tabellen werden über eine neue Log Analytics-Pipeline bereitgestellt.
• Höhere Zuverlässigkeit
• Schnellere Übermittlung der Clusterprotokolldatei
• Ressourcenbasierte Tabellengruppierung und Standardabfragen

Vorteile der neuen Azure Monitor Integration

Dieses Dokument beschreibt die Änderungen an der Azure Monitor Integration und enthält bewährte Methoden für die Verwendung der neuen Tabellen.

Neu gestaltete Schemata: Die Schemaformatierung für die neue Azure Monitor-Integration ist besser organisiert und leicht verständlich. Es gibt zwei Drittel weniger Schemata, um so viel Mehrdeutigkeit in den Legacy-Schemata wie möglich zu beseitigen.

Selektive Protokollierung: Über Log Analytics sind Protokolle und Metriken verfügbar. Damit Sie Kosten bei der Überwachung einsparen, veröffentlichen wir ein neues Feature für die selektive Protokollierung. Verwenden Sie dieses Feature, um verschiedene Protokolle und Metrikquellen zu aktivieren und zu deaktivieren. Bei diesem Feature müssen Sie nur für das bezahlen, was Sie verwenden. Weitere Details finden Sie unter Selektive Protokollierung

Integration des Clusterportals für Protokolle: Der Bereich Protokolle ist neu im HDInsight-Clusterportal. Jeder Benutzer mit Zugriff auf den Cluster kann in diesem Bereich eine beliebige Tabelle abfragen, an welche die Clusterressource Datensätze sendet. Benutzer benötigen keinen Zugriff mehr auf den Log Analytics-Arbeitsbereich, um die Datensätze für eine bestimmte Clusterressource anzeigen zu können.

Integration des Insights-Clusterportals: Der Bereich Erkenntnisse ist ebenfalls neu im HDInsight-Clusterportal. Nachdem Sie die neue Azure Monitor-Integration aktivieren, können Sie den Bereich Erkenntnisse auswählen und ein für den Clustertyp spezifisches Dashboard für Out-of-Box-Protokolle und Metriken wird automatisch aufgefüllt. Diese Dashboards wurden aus unseren vorherigen Azure-Lösungen überarbeitet. Sie bieten Ihnen tiefe Einblicke in die Leistung und Integrität Ihres Clusters.

Kundenszenarien

In den folgenden Abschnitten wird beschrieben, wie Kunden das neue Azure Monitor in verschiedenen Szenarien verwenden können. Im Abschnitt Neue Azure Monitor-Integration aktivieren wird beschrieben, wie Sie die neue Azure Monitor-Integration aktivieren und verwenden. Der Abschnitt Migrieren von Azure Monitor Classic zum neuen Azure Monitor-Integration enthält zusätzliche Informationen für Benutzer, die von der alten Azure Monitor-Integration abhängen.

Aktivieren einer neuen Azure Monitor-Integration

Aktivieren Sie die neue Integration, indem Sie zur Portalseite Ihres Clusters navigieren und im Menü auf der linken Seite nach unten scrollen, bis Sie den Abschnitt Überwachung erreichen. Wählen Sie im Abschnitt Überwachung die Option Integration überwachen aus. Wählen Sie dann Aktivieren aus, dann Sie können den Log Analytics-Arbeitsbereich auswählen, an den Ihre Protokolle gesendet werden sollen. Wählen Sie Speichern aus, nachdem Sie Ihren Arbeitsbereich ausgewählt haben.

Zugriff auf die neuen Tabellen

Es gibt zwei Möglichkeiten, auf die neuen Tabellen zuzugreifen.

Ansatz 1:

Die erste Möglichkeit, auf die neuen Tabellen zuzugreifen, ist der Log Analytics-Arbeitsbereich.

1. Wechseln Sie zum Log Analytics-Arbeitsbereich, den Sie beim Aktivieren der Integration ausgewählt haben.
2. Scrollen Sie im Menü auf der linken Seite des Bildschirms nach unten und wählen Sie Protokolle aus. Ein Abfrage-Editor für Protokolle wird mit einer Liste aller Tabellen im Arbeitsbereich angezeigt.
3. Wenn die Tabellen nach Lösung gruppiert sind, befinden sich die neuen HDI-Tabellen im Abschnitt Protokollverwaltung.
4. Wenn Sie die Tabellen nach Ressourcentyp gruppiert sind, befinden sich die Tabellen im Abschnitt HDInsight-Cluster, wie in der folgenden Abbildung dargestellt.

Ansatz 2:

Die zweite Möglichkeit, auf die neuen Tabellen zuzugreifen, ist der Zugriff auf das Clusterportal.

1. Navigieren Sie zur Portalseite Ihres Clusters, und scrollen Sie im Menü auf der linken Seite nach unten, bis der Abschnitt Überwachung angezeigt wird. In diesem Abschnitt wird der Bereich Protokolle angezeigt.
2. Wählen Sie Protokolle aus, dann wird ein Abfrage-Editor für Protokolle angezeigt. Der Editor enthält alle Protokolle, die der Clusterressource zugeordnet sind. Sie haben die Protokolle an den Log Analytics-Arbeitsbereich gesendet, als Sie die Integration aktiviert haben. Diese Protokolle bieten rollenbasierte Zugriffskontrolle (RBAC). Mit RBAC können Benutzer, die Zugriff auf den Cluster haben (aber nicht auf den Arbeitsbereich), die Protokolle sehen, die dem Cluster zugeordnet sind.

Zum Vergleich zeigen die folgenden Screenshots die Ansicht des Legacy-Integrationsarbeitsbereichs und die neue Ansicht des Integrationsarbeitsbereichs:

Arbeitsbereichsansicht der Legacyintegration

Arbeitsbereichsansicht der neuen Integration

Verwenden der neuen Tabellen

Diese Integrationen können Ihnen helfen, die neuen Tabellen zu verwenden:

Standardabfragen für neue Tabellen

Legen Sie im Abfrage-Editor für Protokolle den Umschalter auf Abfragen oberhalb der Tabellenliste fest. Stellen Sie sicher, dass Sie die Abfragen nach Ressourcentyp gruppieren und dass kein Filter für einen anderen Ressourcentyp als HDInsight-Cluster festgelegt ist. Die folgende Abbildung zeigt, wie die Ergebnisse aussehen, wenn sie nach Ressourcentyp und nach HDInsight-Clustern gefiltert sind. Wählen Sie einfach eine Option aus, die im Abfrageprotokoll-Editor angezeigt wird. Lesen Sie unbedingt die Kommentare, die in den Abfragen enthalten sind, da sie einige Informationen wie Ihren Clusternamen eingeben müssen, damit die Abfrage erfolgreich ausgeführt werden kann.

Erstellen Ihrer eigenen Abfragen

Sie können Ihre eigenen Abfragen im Abfrageprotokoll-Editor eingeben. Abfragen, die für die alten Tabellen verwendet werden, sind für die neuen Tabellen nicht gültig, da viele der neuen Tabellen über neue, verbesserte Schemata verfügen. Die Standardabfragen sind hervorragende Verweise zum Strukturieren von Abfragen für die neuen Tabellen.

Einblicke

Erkenntnisse sind clusterspezifische Visualisierungsdashboards, die mithilfe von Azure-Arbeitsmappen erstellt wurden. Diese Dashboards bieten Ihnen detaillierte Diagramme und Visualisierungen zur Ausführung Ihres Clusters. Die Dashboards verfügen über Abschnitte für jeden Clustertyp, YARN, Systemmetriken und Komponentenprotokolle. Sie können auf das Dashboard Ihres Clusters zugreifen, indem Sie die Seite Ihres Clusters im Portal aufrufen, nach unten zum Abschnitt Überwachung scrollen und den Bereich Erkenntnisse auswählen. Das Dashboard wird automatisch geladen, wenn Sie die neue Integration aktiviert haben. Warten Sie einige Sekunden, bis die Diagramme geladen werden, während sie die Protokolle abfragen.

Benutzerdefinierte Azure-Arbeitsmappen

Sie können eigene Azure-Arbeitsmappen mit benutzerdefinierten Diagrammen und Visualisierungen erstellen. Scrollen Sie auf der Portalseite Ihres Clusters nach unten zum Abschnitt Überwachung und wählen Sie im Menü auf der linken Seite den Bereich Arbeitsmappen aus. Sie können entweder eine leere Vorlage verwenden oder eine der Vorlagen im Abschnitt HDInsight-Cluster verwenden. Es gibt eine Vorlage für jeden Clustertyp. Vorlagen sind nützlich, wenn Sie bestimmte Anpassungen speichern möchten, die von HDInsight Insights standardmäßig nicht zur Verfügung stehen. Sie können gerne Anforderungen für neue Features in HDInsight senden, wenn Sie der Meinung sind, dass ihnen etwas fehlt.

Alerts

Sie können Ihren Clustern und Arbeitsbereichen im Protokollabfrage-Editor benutzerdefinierte Warnungen hinzufügen. Wechseln Sie zum Protokollabfrage-Editor, indem Sie im Cluster- oder Arbeitsbereichsportal auf den Bereich Protokolle klicken. Führen Sie eine Abfrage aus und wählen Sie dann Neue Warnungsregel aus, wie im folgenden Screenshot gezeigt. Weitere Informationen finden Sie unter Konfigurieren von Warnungen.

Vorteile der neuen Azure Monitor-Integration

Wenn Sie die klassische Azure Monitor-Integration verwenden, müssen Sie einige Anpassungen an den neuen Tabellenformaten vornehmen, nachdem Sie zum neuen Azure Monitor wechseln.

Um die neue Azure Monitor-Integration zu aktivieren, führen Sie die Schritte aus, die im Abschnitt Aktivieren einer neuen Azure Monitor-Integration beschrieben werden.

Abfragen in Log Analytics ausführen

Da sich das neue Tabellenformat vom vorherigen unterscheidet, müssen Ihre Abfragen überarbeitet werden, damit Sie unsere neuen Tabellen verwenden können. Nachdem Sie die neue Azure Monitor-Integration aktiviert haben, können Sie die Tabellen und Schemata durchsuchen, um die Felder zu identifizieren, die in Ihren alten Abfragen verwendet wurden.

Wir stellen eine Mapping-Tabelle zwischen der alten Tabelle und der neuen Tabelle zur Verfügung, damit Sie schnell die neuen Felder finden können, die Sie zum Migrieren Ihrer Dashboards und Abfragen verwenden müssen.

Standardabfragen: Wir haben Standardabfragen erstellt, die zeigen, wie die neuen Tabellen für häufige Situationen verwendet werden. Die Standardabfragen zeigen auch, welche Informationen in den einzelnen Tabellen verfügbar sind. Sie können auf die Standardabfragen zugreifen, indem Sie die Anweisungen im Abschnitt Standardabfragen für neue Tabellen in diesem Artikel befolgen.

Aktualisieren von Dashboards für HDInsight-Cluster

Wenn Sie mehrere Dashboards erstellt haben, um Ihre HDInsight-Cluster zu überwachen, müssen Sie die Abfrage hinter der Tabelle anpassen, sobald Sie die neue Azure Monitor-Integration aktivieren. Der Tabellen- oder Feldname kann sich in der neuen Integration ändern, aber alle Informationen, die Sie in der alten Integration haben, sind enthalten.

Informationen zum Aktualisieren der Abfrage hinter den Dashboards finden Sie in der Mapping-Tabelle zwischen der alten Tabelle/dem alten Schema und der neuen Tabelle bzw. dem neuen Schema.

Out-of-Box-Dashboards

Wir haben außerdem die sofort einsatzbereiten Dashboards auf Clusterebene verbessert. Rechts oben in jedem Diagramm befindet sich eine Schaltfläche, mit der Sie die zugrundeliegende Abfrage anzeigen können, die die Informationen erzeugt. Das Diagramm ist eine hervorragende Möglichkeit, sich mit der effektiven Abfrage der neuen Tabellen vertraut zu machen.

Aktivieren beider Integrationen zur Beschleunigung der Migration

Sie können sowohl die klassische als auch die neue Azure Monitor-Integration gleichzeitig in einem Cluster aktivieren, der für beide Integrationen geeignet ist, um schnell zur neuen Azure Monitor-Integration zu migrieren. Die neue Integration ist für alle Cluster verfügbar, die nach Mitte September 2020 erstellt wurden.

Auf diese Weise können Sie problemlos einen direkten Vergleich für die von Ihnen verwendeten Abfragen ausführen.

Aktivieren der klassischen Integration

Wenn Sie einen Cluster verwenden, der nach Mitte September 2020 erstellt wurde, wird die neue Portalumgebung im Portal Ihres Clusters angezeigt. Um die neue Pipeline zu aktivieren, führen Sie die Schritte aus, die im Abschnitt Aktivieren einer neuen Azure Monitor-Integration beschrieben werden. Um die klassische Integration in diesem Cluster zu aktivieren, wechseln Sie zur Portalseite Ihres Clusters. Wählen Sie den Abschnitt Monitor-Integration im Bereich Überwachung auf der linken Seite ihrer Clusterportalseite aus. Wählen Sie Konfigurieren von Clustern fürHDInsight-Clusterintegration (klassisch) aus. Ein Seitenkontext wird mit einem Umschalter angezeigt, den Sie verwenden können, um die klassische Azure Monitor-Integration zu aktivieren und zu deaktivieren.

Das Erstellen neuer Cluster mit der klassischen Azure Monitor-Integration ist nach dem 1. Januar 2023 nicht mehr verfügbar.

Veröffentlichungs- und Supportzeitachse

• Die klassische Azure Monitoring-Integration ist nach dem 15. Oktober 2021 nicht mehr verfügbar. Sie können die klassische Azure Monitoring-Integration nach diesem Datum nicht mehr aktivieren.
• Die klassische Erfassung der Azure Monitoring-Integration funktioniert nach dem 31. August 2024 nicht mehr.
• HDInsight-Cluster mit Azure Monitor-Integration (Vorschau) werden nicht über den 1. Februar 2025 hinaus unterstützt.
• Die vorhandene Azure Monitor-Integration (Vorschau) funktioniert weiterhin bis zum 31. Januar 2025. Die Azure Monitor-Integration (Vorschau) wird nur eingeschränkt unterstützt.
  • Wenn die Lösung eine Imageänderung erfordert, sollten Kunden zur neuen Integration wechseln.
  • Die Cluster der Azure Monitor-Integration (Vorschau) werden mit Ausnahme kritischer Sicherheitsprobleme von Microsoft nicht gepatcht.

Anhang: Tabellenzuordnung

Die Zuordnungen der Protokolltabellen aus der klassischen Azure Monitor-Integration zu den neuen finden Sie unter Zuordnung der Protokolltabellen.

Zugehöriger Inhalt

Abfragen von Azure Monitor-Protokollen zum Überwachen von HDInsight-Clustern