Usare Synapse Studio per monitorare le applicazioni di Apache Spark

  • Articolo

Con Azure Synapse Analytics è possibile usare Apache Spark per eseguire notebook, processi e altri tipi di applicazioni nei pool di Apache Spark nell'area di lavoro.

Questo articolo illustra come monitorare le applicazioni Apache Spark, consentendo di tenere sotto controllo lo stato più recente, i problemi e lo stato di avanzamento.

Visualizzare le applicazioni Apache Spark

È possibile visualizzare tutte le applicazioni Apache Spark da Monitoraggio ->applicazioni Apache Spark.

Screenshot of Apache Spark applications.

Visualizzare le applicazioni Apache Spark completate

Aprire Monitoraggio e quindi selezionare Applicazioni Apache Spark. Per visualizzare i dettagli sulle applicazioni Apache Spark completate, selezionare l'applicazione Apache Spark.

Screenshot of completed job details.

  1. Controllare le attività completate, lo statoe la durata totale.

  2. Aggiornare il processo.

  3. Fare clic su Confronta applicazioni per usare la funzionalità di confronto. Per altre informazioni su questa funzionalità, vedere Confrontare le applicazioni Apache Spark.

  4. Fare clic sul server cronologia Spark per aprire la pagina Server cronologia.

  5. Controllare le informazioni di Riepilogo.

  6. Controllare la diagnostica nella scheda Diagnostica.

  7. Controllare i log. È possibile visualizzare il log completo dei log Livy, Preavvio e Driver log selezionando diverse opzioni nell'elenco a discesa. È anche possibile recuperare direttamente le informazioni di log necessarie eseguendo la ricerca di parole chiave. Fare clic su Scarica log per scaricare le informazioni di log in locale e selezionare la casella di controllo Filtra errori e avvisi per filtrare gli errori e gli avvisi necessari.

  8. È possibile visualizzare una panoramica del processo nel grafico del processo generato. Per impostazione predefinita, il grafico mostra tutti i processi. È possibile filtrare questa visualizzazione in base all'ID processo.

  9. Per impostazione predefinita, la visualizzazione Stato è selezionata. È possibile controllare il flusso di dati selezionando Stato/Letti/Scritti/Durata nell'elenco a discesa Visualizza.

  10. Per riprodurre il processo, fare clic sul pulsante Riproduzione. È possibile fare clic sul pulsante Arresta in qualsiasi momento per arrestarlo.

  11. Usare la barra di scorrimento per ingrandire e ridurre il grafico del processo, è anche possibile selezionare Adatta alla finestra per adattarlo allo schermo.

Screenshot of completed job.

  1. Il nodo del grafico del processo visualizza le informazioni seguenti per ogni fase:

    • ID processo

    • Numero attività

    • Durata

    • Numero di righe

    • Dati letti: la somma delle dimensioni di input e delle dimensioni dei dati casuali letti

    • Dati scritti: la somma delle dimensioni di output e delle dimensioni dei dati casuali scritti

    • Numero fase

      Screenshot of job graph node.

  2. Passare il puntatore del mouse su un processo e i dettagli del processo verranno visualizzati nella descrizione comando:

    • Icona dello stato del processo: se lo stato del processo ha esito positivo, verrà visualizzato come verde "√"; se il processo rileva un problema, verrà visualizzato un "!" giallo

    • ID processo

    • Parte generale:

      • Avanzamento
      • Durata
      • Numero totale di attività

    • Parte dati:

      • Numero totale righe
      • Dimensioni di lettura
      • Dimensioni di scrittura

    • Parte asimmetria:

      • Asimmetria dei dati
      • Sfasamento dell'ora

    • Numero fase

      Screenshot of tooltip hovering over a job.

  3. Fare clic su Numero fase per espandere tutte le fasi contenute nel processo. Fare clic su Comprimi accanto all'ID processo per comprimere tutte le fasi del processo.

  4. Fare clic su Visualizza dettagli in un grafico di fase, quindi verranno visualizzati i dettagli di una fase.

    Screenshot of stages expanded.

Monitorare lo stato dell'applicazione Apache Spark

Aprire Monitoraggio e quindi selezionare Applicazioni Apache Spark. Per visualizzare i dettagli sulle applicazioni Apache Spark in esecuzione, selezionare l'applicazione Apache Spark inviata. Se l'applicazione di Apache Spark è ancora in esecuzione, è possibile monitorare lo stato di avanzamento.

Screenshot of selected running job

  1. Controllare le attività completate, lo statoe la durata totale.

  2. Annullare l'applicazione Apache Spark.

  3. Aggiornare il processo.

  4. Fare clic sul pulsante Interfaccia utente Spark per passare alla pagina Processo Spark.

  5. Per Grafico processi, Riepilogo, Diagnostica, Log. È possibile visualizzare una panoramica del processo nel grafico del processo generato. Vedere i passaggi da 5 a 15 di Visualizzazione delle applicazioni Apache Spark completate.

Screenshot of running job.

Visualizzare le applicazioni Apache Spark annullate

Aprire Monitoraggio e quindi selezionare Applicazioni Apache Spark. Per visualizzare i dettagli sulle applicazioni Apache Spark annullate, selezionare l'applicazione Apache Spark.

Screenshot of canceled job.

  1. Controllare le attività completate, lo statoe la durata totale.

  2. Aggiornare il processo.

  3. Fare clic su Confronta applicazioni per usare la funzionalità di confronto. Per altre informazioni su questa funzionalità, vedere Confrontare le applicazioni Apache Spark.

  4. Aprire il collegamento al server cronologia Apache facendo clic su Server cronologia Spark.

  5. Visualizzare il grafico. È possibile visualizzare una panoramica del processo nel grafico del processo generato. Vedere i passaggi da 5 a 15 di Visualizzazione delle applicazioni Apache Spark completate.

Screenshot of canceled job details.

Debug dell'applicazione Apache Spark non riuscita

Aprire Monitoraggio e quindi selezionare Applicazioni Apache Spark. Per visualizzare i dettagli sulle applicazioni Apache Spark non riuscite, selezionare l'applicazione Apache Spark.

Screenshot of failed job.

  1. Controllare le attività completate, lo statoe la durata totale.

  2. Aggiornare il processo.

  3. Fare clic su Confronta applicazioni per usare la funzionalità di confronto. Per altre informazioni su questa funzionalità, vedere Confrontare le applicazioni Apache Spark.

  4. Aprire il collegamento al server cronologia Apache facendo clic su Server cronologia Spark.

  5. Visualizzare il grafico. È possibile visualizzare una panoramica del processo nel grafico del processo generato. Vedere i passaggi da 5 a 15 di Visualizzazione delle applicazioni Apache Spark completate.

Screenshot of failed job details.

Visualizzare i dati di input/output

Selezionare un'applicazione Apache Spark e fare clic sulla scheda dati di input/output per visualizzare le date dell'input e dell'output per l'applicazione Apache Spark. Questa funzione consente di eseguire il debug del processo Spark. E l'origine dati supporta tre metodi di archiviazione: gen1, gen2 e BLOB.

Scheda dei dati di input

  1. Fare clic sul pulsante Copia input per incollare il file di input nel file locale.

  2. Fare clic sul pulsante Esporta in CSV per esportare il file di input in formato CSV.

  3. È possibile cercare i file in base alle parole chiave di input nella casella di ricerca (le parole chiave includono il nome del file, il formato di lettura e il percorso).

  4. È possibile ordinare i file di input facendo clic su Nome, Formato di lettura e percorso.

  5. Usare il mouse per passare il puntatore su un file di input, verrà visualizzata l'icona del pulsante Scarica/Copia percorso/Altro.

Screenshot of input tab.

  1. Fare clic sul pulsante Altro. Copia percorso/Mostra in esplora risorse/Proprietà verrà visualizzato nel menu di scelta rapida.

    Screenshot of more input menu.

    • Copia percorso: può copiare il percorso completo e il percorso relativo.

    • Mostra in Esplora risorse: può passare all'account di archiviazione collegato (collegato ai dati >).

    • Proprietà: mostra le proprietà di base del file (Nome file/Percorso file/Formato di lettura/Dimensioni/Modifica).

      Screenshot of properties.

Scheda dei dati di output

Visualizza le stesse funzionalità della scheda di input.

Screenshot of output data.

Confrontare le applicazioni Apache Spark

Esistono due modi per confrontare le applicazioni. È possibile confrontare scegliendo Confronta applicazione oppure facendo clic sul pulsante Confronta nel notebook per visualizzarlo nel notebook.

Confrontare in base all'applicazione

Fare clic sul pulsante Confronta applicazioni e scegliere un'applicazione per confrontare le prestazioni. È possibile vedere la differenza tra le due applicazioni.

Screenshot of compare applications.

Screenshot of details to compare applications.

  1. Usare il mouse per passare il puntatore del mouse su un'applicazione e quindi viene visualizzata l'icona Confronta applicazioni.

  2. Fare clic sull'icona Confronta applicazioni e verrà visualizzata la pagina Confronta applicazioni.

  3. Fare clic sul pulsante Scegli applicazione per aprire la pagina Scegli applicazione di confronto.

  4. Quando si sceglie l'applicazione di confronto, è necessario immettere l'URL dell'applicazione o scegliere dall'elenco ricorrente. Fare quindi clic sul pulsante OK.

    Screenshot of choose comparison application.

  5. Il risultato del confronto verrà visualizzato nella pagina delle applicazioni di confronto.

    Screenshot of comparison result.

Confrontare nel notebook

Fare clic sul pulsante Confronta in Notebook nella pagina Confronta applicazioni per aprire il notebook. Il nome predefinito del file con estensione ipynb è Analisi applicazioni ricorrente.

Screenshot of compare in notebook.

Nel file Notebook: Analisi applicazioni ricorrente è possibile eseguirlo direttamente dopo aver impostato il pool di Spark e il linguaggio.

Screenshot of recurrent application analytics.

Passaggi successivi

Per altre informazioni sul monitoraggio delle esecuzioni della pipeline, vedere l'articolo Monitorare le esecuzioni della pipeline usando Synapse Studio.