Raccogliere log e metriche delle applicazioni Apache Spark con Hub eventi di Azure (anteprima)

L'estensione dell'emettitore di diagnostica Apache Spark di Fabric è una libreria che consente alle applicazioni Apache Spark di generare log, registri eventi e metriche in varie destinazioni, tra cui Azure Log Analytics, Archiviazione di Azure e Hub eventi di Azure.

Questa esercitazione illustra come usare l'estensione dell'emettitore di diagnostica Apache Spark di Fabric per inviare log, registri eventi e metriche delle applicazioni Apache Spark negli Hub eventi di Azure.

Raccogliere log e metriche negli Hub eventi di Azure

Passaggio 1: creare un'istanza di Hub eventi di Azure

Per raccogliere i log di diagnostica e le metriche, è possibile usare l'istanza degli Hub eventi di Azure esistente. Se non è disponibile, è possibile creare un hub eventi.

Passaggio 2: Creare un artefatto dell'ambiente Fabric con la configurazione di Apache Spark

Opzione 1: Configurare una stringa di connessione con Hub eventi di Azure

1. Creare un artefatto dell'ambiente di Fabric in Fabric

2. Aggiungere le proprietà Spark seguenti con i valori appropriati all'artefatto dell'ambiente oppure selezionare Aggiungi da .yml nella barra multifunzione per scaricare il file yaml di esempio che contiene già le proprietà seguenti.

   spark.synapse.diagnostic.emitters: MyEventHub
   spark.synapse.diagnostic.emitter.MyEventHub.type: "AzureEventHub"
   spark.synapse.diagnostic.emitter.MyEventHub.categories: "Log,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyEventHub.secret: <connection-string>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Inserire i parametri <connection-string> nel file di configurazione. Per altre informazioni, vedere le configurazioni di Hub eventi di Azure.

Opzione 2: configurare con Azure Key Vault

Per configurare Azure Key Vault per archiviare la chiave dell'area di lavoro:

1. Creare e andare all'insieme di credenziali delle chiavi nel portale di Azure.

2. Nella pagina di impostazioni dell'insieme di credenziali delle chiavi selezionare Segreti, poi Genera importazione.

3. Nella schermata Crea un segreto selezionare i seguenti valori:

   • Nome: immettere un nome per il segreto.
   • Valore: immettere per <connection-string> il segreto.
   • Lasciare invariati gli altri valori predefiniti. Selezionare Crea.

4. Creare un artefatto dell'ambiente di Fabric in Fabric.

5. Aggiungere le seguenti proprietà Spark. In alternativa, selezionare Aggiungi da .yml sulla barra multifunzione per scaricare il file yaml di esempio, che include le proprietà spark seguenti.

   spark.synapse.diagnostic.emitters: MyEventHub
   spark.synapse.diagnostic.emitter.MyEventHub.type: "AzureEventHub"
   spark.synapse.diagnostic.emitter.MyEventHub.categories: "Log,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyEventHub.secret.keyVault: <AZURE_KEY_VAULT_NAME>
   spark.synapse.diagnostic.emitter.MyEventHub.secret.keyVault.secretName: <AZURE_KEY_VAULT_SECRET_KEY_NAME>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Inserire i parametri seguenti nel file di configurazione: <AZURE_KEY_VAULT_NAME>, <AZURE_KEY_VAULT_SECRET_KEY_NAME>. Per altri dettagli su questi parametri, si veda Configurazioni di Hub eventi di Azure.

6. Salva e pubblica le modifiche.

Passaggio 3: Collegare l'artefatto dell'ambiente ai notebook o alle definizioni dei processi Spark oppure impostarlo come predefinito per l'area di lavoro

Per collegare l'ambiente a notebook o a definizioni di processi Spark:

1. Passare alla definizione specifica del notebook o del processo Spark in Fabric.
2. Selezionare il menu Ambiente nella scheda Home e selezionare l'ambiente con le proprietà di diagnostica di Spark configurate.
3. La configurazione viene applicata all'avvio di una Sessione Spark.

Per impostare l'ambiente dell'area di lavoro come predefinito:

1. Passare a Impostazioni dell'area di lavoro in Fabric.
2. Trovare le impostazioni di Spark nelle impostazioni dell'area di lavoro (Impostazione area di lavoro -> Impostazioni Ingegneria/Scienza dei dati -> Impostazioni Spark).
3. Selezionare la scheda Ambiente e scegliere l'ambiente con le proprietà Spark di diagnostica configurate e fare clic su Salva.

Configurazioni disponibili

Esempio di dati di log

Di seguito è riportato un record di log di esempio in formato JSON:

{
  "timestamp": "2024-09-06T03:09:37.235Z",
  "category": "Log|EventLog|Metrics",
  "fabricLivyId": "<fabric-livy-id>",
  "applicationId": "<application-id>",
  "applicationName": "<application-name>",
  "executorId": "<driver-or-executor-id>",
  "fabricTenantId": "<my-fabric-tenant-id>",
  "capacityId": "<my-fabric-capacity-id>",
  "artifactType": "SynapseNotebook|SparkJobDefinition",
  "artifactId": "<my-fabric-artifact-id>",
  "fabricWorkspaceId": "<my-fabric-workspace-id>",
  "fabricEnvId": "<my-fabric-environment-id>",
  "executorMin": "<executor-min>",
  "executorMax": "<executor-max>",
  "isHighConcurrencyEnabled": "true|false",
  "properties": {
    // The message properties of logs, events and metrics.
    "timestamp": "2024-09-06T03:09:37.235Z",
    "message": "Initialized BlockManager: BlockManagerId(1, vm-04b22223, 34319, None)",
    "logger_name": "org.apache.spark.storage.BlockManager",
    "level": "INFO",
    "thread_name": "dispatcher-Executor"
    //...
  }
}

Aree di lavoro di Fabric con Rete virtuale gestita

Creare un endpoint privato gestito per l'Hub eventi di Azure di destinazione. Per istruzioni dettagliate, si veda Creare e usare endpoint privati gestiti in Microsoft Fabric - Microsoft Fabric.

Dopo l'approvazione dell'endpoint privato gestito, gli utenti possono iniziare a generare log e metriche nell'Hub eventi di Azure di destinazione.

Passaggi successivi

• Creare una definizione del processo Apache Spark
• Creare, configurare e utilizzare un ambiente in Microsoft Fabric
• Creare e utilizzare endpoint privati gestiti in Microsoft Fabric
• Sviluppare, eseguire e gestire notebook di Microsoft Fabric
• Monitorare le applicazioni Spark