Verwenden von Synapse Studio zum Überwachen Ihrer Apache Spark-Anwendungen

  • Artikel

Mit Azure Synapse Analytics können Sie mithilfe von Apache Spark Notebooks, Aufträge und andere Arten von Anwendungen in ihren Apache Spark-Pools in Ihrem Arbeitsbereich ausführen.

In diesem Artikel wird erläutert, wie Sie Ihre Apache Spark-Anwendungen überwachen, was es Ihnen gestattet, den aktuellen Status, die aktuellen Probleme und den Fortschritt im Auge zu behalten.

Anzeigen von Apache Spark-Anwendungen

Sie können alle Apache Spark-Anwendungen unter Überwachen ->Apache Spark-Anwendungen anzeigen.

Screenshot: Apache Spark-Anwendungen

Anzeigen abgeschlossener Apache Spark-Anwendungen

Öffnen Sie Überwachen, und wählen Sie dann Apache Spark-Anwendungen aus. Um die Details zu abgeschlossenen Apache Spark-Anwendungen anzuzeigen, wählen Sie die Apache Spark-Anwendung aus.

Screenshot: Details zum abgeschlossenen Auftrag

  1. Überprüfen Sie Abgeschlossene Aufgaben, Status und Gesamtdauer.

  2. Aktualisieren Sie den Auftrag.

  3. Klicken Sie auf Anwendungen vergleichen, um das Vergleichsfeature zu verwenden. Weitere Informationen zu diesem Feature finden Sie unter Vergleichen von Apache Spark-Anwendungen.

  4. Klicken Sie auf Spark-Verlaufsserver, um die Seite „Verlaufsserver“ zu öffnen.

  5. Überprüfen Sie die Informationen unter Zusammenfassung.

  6. Überprüfen Sie die Diagnose auf der Registerkarte Diagnose.

  7. Überprüfen Sie die Protokolle. Sie können die vollständigen Livy-, Prelaunch- und Driver-Protokolle einsehen, indem Sie in der Dropdownliste verschiedene Optionen auswählen. Sie können die gewünschten protokollierten Informationen auch direkt über eine Stichwortsuche abrufen. Klicken Sie auf Protokoll herunterladen, um die Protokollinformationen lokal herunterzuladen. Aktivieren Sie das Kontrollkästchen Fehler und Warnungen filtern, um die gewünschten Fehler und Warnungen herauszufiltern.

  8. Sie sehen eine Übersicht Ihres Auftrags in dem generierten Auftragsdiagramm. Standardmäßig werden in dem Diagramm alle Aufträge angezeigt. Sie können diese Ansicht anhand der Auftrags-ID filtern.

  9. Standardmäßig ist die Anzeige Status ausgewählt. Sie können den Datenfluss überprüfen, indem Sie Progress (Fortschritt)/Read (Gelesen)/Written (Geschrieben)/Duration (Dauer) in der Dropdownliste Views (Ansicht) auswählen.

  10. Klicken Sie zur Wiedergabe des Auftrags auf die Schaltfläche Wiedergabe. Sie können jederzeit auf die Schaltfläche Beenden klicken, um den Vorgang anzuhalten.

  11. Vergrößern oder verkleinern Sie den Auftragsgraphen über die Scrollleiste. Sie können auch Zoom anpassen auswählen, um ihn an den Bildschirm anzupassen.

Screenshot: Abgeschlossener Auftrag

  1. Der Auftragsdiagrammknoten zeigt die folgenden Informationen zu den einzelnen Phasen an:

    • Auftrags-ID

    • Nummer der Aufgabe

    • Dauer

    • Zeilenanzahl

    • Gelesene Daten: die Summe der Eingabegröße und der Shuffle-Lesegröße

    • Geschriebene Daten: die Summe der Ausgabegröße und Größe der Shuffleschreibvorgänge

    • Phasennummer

      Screenshot: Auftragsgraphknoten

  2. Wenn Sie mit der Maus auf einen Auftrag zeigen, werden die Auftragsdetails in der QuickInfo angezeigt:

    • Symbol des Auftragsstatus: Wenn der Auftragsstatus „Erfolgreich“ ist, wird ein grünes „√“ angezeigt. Wenn der Auftrag ein Problem erkennt, wird ein gelbes „!“ angezeigt.

    • Auftrags-ID

    • Allgemeiner Teil:

      • Fortschritt
      • Dauer
      • Gesamtanzahl der Aufgaben

    • Datenteil:

      • Gesamtanzahl der Zeilen
      • Lesegröße
      • Geschriebene Größe

    • Teil „Schiefe“:

      • Datenschiefe
      • Zeitabweichung

    • Phasennummer

      Screenshot: QuickInfo für einen Auftrag

  3. Klicken Sie auf Phasennummer, um alle im Auftrag enthaltenen Phasen aufzuklappen. Klicken Sie neben der Auftrags-ID auf Zuklappen, um alle Phasen des Auftrags zuzuklappen.

  4. Klicken Sie im Graphen einer Phase auf Details anzeigen, um die Details für die Phase anzuzeigen.

    Screenshot: Erweiterte Phasen

Überwachen des Status von Apache Spark-Anwendungen

Öffnen Sie Überwachen, und wählen Sie dann Apache Spark-Anwendungen aus. Um die Details zu den ausgeführten Apache Spark-Anwendungen anzuzeigen, wählen Sie die übermittelte Apache Spark-Anwendung aus. Wenn die Apache Spark-Anwendung noch ausgeführt wird, können Sie den Fortschritt überwachen.

Screenshot: Ausgewählter ausgeführter Auftrag

  1. Überprüfen Sie Abgeschlossene Aufgaben, Status und Gesamtdauer.

  2. Brechen Sie die Apache Spark-Anwendung ab.

  3. Aktualisieren Sie den Auftrag.

  4. Klicken Sie auf die Schaltfläche für die Spark-Benutzeroberfläche, um zur Seite „Spark-Auftrag“ zu wechseln.

  5. Für Auftragsdiagramm, Zusammenfassung, Diagnose, Protokolle. Sie sehen eine Übersicht Ihres Auftrags in dem generierten Auftragsdiagramm. Weitere Informationen finden Sie in den Schritten 5-15 unter Anzeigen abgeschlossener Apache Spark-Anwendungen.

Screenshot: Ausführen eines Auftrags

Anzeigen abgebrochener Apache Spark-Anwendungen

Öffnen Sie Überwachen, und wählen Sie dann Apache Spark-Anwendungen aus. Um die Details zu abgebrochenen Apache Spark-Anwendungen anzuzeigen, wählen Sie die Apache Spark-Anwendung aus.

Screenshot: Abgebrochener Auftrag

  1. Überprüfen Sie Abgeschlossene Aufgaben, Status und Gesamtdauer.

  2. Aktualisieren Sie den Auftrag.

  3. Klicken Sie auf Anwendungen vergleichen, um das Vergleichsfeature zu verwenden. Weitere Informationen zu diesem Feature finden Sie unter Vergleichen von Apache Spark-Anwendungen.

  4. Öffnen Sie den Link zum Apache Spark-Verlaufsserver, indem Sie auf Spark-Verlaufsserver klicken.

  5. Sehen Sie sich das Diagramm an. Sie sehen eine Übersicht Ihres Auftrags in dem generierten Auftragsdiagramm. Weitere Informationen finden Sie in den Schritten 5-15 unter Anzeigen abgeschlossener Apache Spark-Anwendungen.

Screenshot: Details zum abgebrochenen Auftrag

Debuggen von Fehlern bei Apache Spark-Anwendungen

Öffnen Sie Überwachen, und wählen Sie dann Apache Spark-Anwendungen aus. Um die Details zu fehlerhaften Apache Spark-Anwendungen anzuzeigen, wählen Sie die Apache Spark-Anwendung aus.

Screenshot: Fehlerhafter Auftrag

  1. Überprüfen Sie Abgeschlossene Aufgaben, Status und Gesamtdauer.

  2. Aktualisieren Sie den Auftrag.

  3. Klicken Sie auf Anwendungen vergleichen, um das Vergleichsfeature zu verwenden. Weitere Informationen zu diesem Feature finden Sie unter Vergleichen von Apache Spark-Anwendungen.

  4. Öffnen Sie den Link zum Apache Spark-Verlaufsserver, indem Sie auf Spark-Verlaufsserver klicken.

  5. Sehen Sie sich das Diagramm an. Sie sehen eine Übersicht Ihres Auftrags in dem generierten Auftragsdiagramm. Weitere Informationen finden Sie in den Schritten 5-15 unter Anzeigen abgeschlossener Apache Spark-Anwendungen.

Screenshot: Details zum fehlerhaften Auftrag

Anzeigen von Ein- und Ausgabedaten

Wählen Sie eine Apache Spark-Anwendung aus, und klicken Sie auf die Registerkarte Eingabedaten/Ausgabedaten, um die Datumsangaben der Ein- und Ausgabe für die Apache Spark-Anwendung anzuzeigen. Diese Funktion kann Sie beim Debuggen des Spark-Auftrags unterstützen. Die Datenquelle unterstützt außerdem drei Speichermethoden: „gen1“, „gen2“ und „blob“.

Registerkarte „Eingabedaten“

  1. Klicken Sie auf die Schaltfläche Eingabe kopieren, um die Eingabedatei in die lokale Datei einzufügen.

  2. Klicken Sie auf die Schaltfläche In CSV exportieren, um die Eingabedatei im CSV-Format zu exportieren.

  3. Sie können Dateien nach Eingabeschlüsselwörtern im Suchfeld durchsuchen (Schlüsselwörter umfassen Dateiname, Leseformat und Pfad).

  4. Sie können die Eingabedateien sortieren, indem Sie auf Name, Leseformat und Pfad klicken.

  5. Zeigen Sie mit dem Mauszeiger auf eine Eingabedatei, damit das Symbol der Schaltfläche Herunterladen/Pfad kopieren/Mehr angezeigt wird.

Screenshot: Registerkarte „Eingabe“

  1. Klicken Sie auf die Schaltfläche Mehr. Im Kontextmenü wird Pfad kopieren/Im Explorer anzeigen/Eigenschaften angezeigt.

    Screenshot: Eingabemenü „Mehr“

    • Pfad kopieren: kann den vollständigen Pfad und den relativen Pfad kopieren.

    • Im Explorer anzeigen: kann zum verknüpften Speicherkonto springen („Daten -> Verknüpft“).

    • Eigenschaften: Anzeigen der grundlegenden Eigenschaften der Datei (Dateiname/Dateipfad/Leseformat/Größe/Änderungszeipunkt).

      Screenshot der Eigenschaften

Registerkarte „Ausgabedaten“

Enthält dieselben Features wie die Registerkarte „Eingabe“.

Screenshot: Ausgabedaten

Vergleichen von Apache Spark-Anwendungen

Es gibt zwei Möglichkeiten, Anwendungen zu vergleichen. Sie können vergleichen, indem Sie eine Vergleichsanwendung auswählen, oder klicken Sie auf die Schaltfläche Im Notebook vergleichen, um sie im Notebook anzuzeigen.

Vergleichen nach Anwendung

Klicken Sie auf die Schaltfläche Anwendungen vergleichen, und wählen Sie eine Anwendung aus, um die Leistung zu vergleichen. Sie können den Unterschied zwischen den beiden Anwendungen erkennen.

Screenshot: Vergleichen von Anwendungen

Screenshot: Details zum Vergleichen von Anwendungen

  1. Zeigen Sie mit der Maus auf eine Anwendung, woraufhin das Symbol Anwendungen vergleichen angezeigt wird.

  2. Klicken Sie auf das Symbol Anwendungen vergleichen, woraufhin die Seite „Anwendungen vergleichen“ angezeigt wird.

  3. Klicken Sie auf die Schaltfläche Anwendung auswählen, um die Seite Vergleichsanwendung auswählen zu öffnen.

  4. Bei der Auswahl der Vergleichsanwendung müssen Sie entweder die Anwendungs-URL eingeben oder eine Auswahl aus der wiederkehrenden Liste treffen. Klicken Sie dann auf die Schaltfläche OK.

    Screenshot: Auswählen der Vergleichsanwendung

  5. Das Vergleichsergebnis wird auf der Seite „Anwendungen vergleichen“ angezeigt.

    Screenshot: Ergebnis des Vergleichs

Vergleichen im Notebook

Klicken Sie auf der Seite Anwendungen vergleichen auf die Schaltfläche Im Notebook vergleichen, um das Notebook zu öffnen. Der Standardname der IPYNB-Datei ist Wiederkehrende Anwendungsanalyse.

Screenshot: Vergleichen im Notebook

In der Datei „Notebook: Wiederkehrende Anwendungsanalyse“ können Sie den Vergleich direkt nach dem Festlegen von Spark-Pool und Sprache ausführen.

Screenshot: Wiederkehrende Anwendungsanalyse

Nächste Schritte

Weitere Informationen zum Überwachen von Pipelineausführungen finden Sie im Artikel Überwachen von Pipelineausführungen mithilfe von Synapse Studio.