Log e metriche di diagnostica per il gestore dell'orchestrazione del flusso di lavoro

Articolo
10/03/2024

Nota

Il gestore dell'orchestrazione del flusso di lavoro dispone di tecnologia Apache Airflow.

L'articolo illustra i passaggi necessari per:

Abilitare i log e le metriche di diagnostica per il gestore dell'orchestrazione del flusso di lavoro in Azure Data Factory.
Visualizzare log e metriche di Azure.
Eseguire una query .
Monitorare le metriche e impostare il sistema di avvisi in caso di errore DAG (Direct Acyclic Graph).

Prerequisiti

È necessaria una sottoscrizione di Azure. Se non si ha una sottoscrizione di Azure, creare un account Azure gratuito prima di iniziare.

Abilitare log e metriche di diagnostica per il gestore dell'orchestrazione del flusso di lavoro

Aprire la risorsa di Data Factory e selezionare Impostazioni di diagnostica nel riquadro più a sinistra. Quindi selezionare Aggiungi impostazione di diagnostica.
Compilare il nome delle Impostazioni di diagnostica. Selezionare le categorie seguenti per i log di Airflow:
- Log di esecuzione delle attività di Airflow
- Log dei ruoli di lavoro di Airflow
- Log di elaborazione DAG di Airflow
- Log dell'utilità di pianificazione di Airflow
- Log Web di Airflow
- Se si seleziona AllMetrics, diventano disponibili diverse metriche di Data Factory per monitorare o generare avvisi. Tali metriche includono le metriche per l'attività di Data Factory e il runtime di integrazione del gestore dell'orchestrazione del flusso di lavoro, ad esempio AirflowIntegrationRuntimeCpuUsage e AirflowIntegrationRuntimeMemory.
In Dettagli della destinazione selezionare la casella di controllo Invia all'area di lavoro Log Analytics.
Seleziona Salva.

Visualizzare i log

Dopo aver aggiunto le impostazioni di diagnostica, è possibile trovarle elencate nella sezione Impostazioni di diagnostica. Per accedere e visualizzare i log, selezionare l'area di lavoro Log Analytics configurata.
Nella sezione Ottimizzare l'esperienza di Log Analytics, selezionare Visualizza log.
Si viene indirizzati all'area di lavoro Log Analytics in cui è possibile vedere che le tabelle selezionate sono state importate automaticamente nell'area di lavoro.

Altri collegamenti utili per lo schema:

Scrivere una query

Si inizierà con la query più semplice che restituisce tutti i record in ADFAirflowTaskLogs. È possibile fare doppio clic sul nome della tabella per aggiungerlo a una finestra di query. È anche possibile immettere il nome della tabella direttamente nella finestra.
Per limitare i risultati della ricerca, ad esempio filtrandoli in base a un ID attività specifico, è possibile usare la query seguente:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Analogamente, è possibile creare query personalizzate in base alle esigenze usando qualsiasi tabella disponibile in LogManagement.

Per altre informazioni, vedi:

Monitorare le metriche

Data Factory offre metriche complete per i runtime di integrazione Airflow, consentendo di monitorare in modo efficace le prestazioni del runtime di integrazione Airflow e stabilire meccanismi di avviso in base alle esigenze.

Aprire la risorsa di Data Factory.
Nel riquadro più a sinistra, nella sezione Monitoraggio selezionare Metriche.
Selezionare Ambito>Spazio dei nomi delle metrica>Metriche da monitorare.
Esaminare il grafico multilinea che mostra la Percentuale CPU del runtime di integrazione e le Dimensioni del contenitore DAG del runtime di integrazione.
È possibile configurare una regola di avviso che si attiva quando le metriche soddisfano condizioni specifiche. Per altre informazioni, vedere Panoramica degli avvisi di Monitoraggio di Azure.
Selezionare Salva nel dashboard quando il grafico è stato completato altrimenti il grafico scompare.

Metriche di Airflow

Per visualizzare le metriche disponibili per il gestore dell'orchestrazione del flusso di lavoro, visualizzare le metriche Airflow elencate nella tabella Metriche supportate.

Condividi tramite