Usare i log di Monitoraggio di Azure per monitorare i cluster HDInsight

  • Articolo

Informazioni su come abilitare i log di Monitoraggio di Azure per monitorare le operazioni del cluster Hadoop in HDInsight e su come aggiungere una soluzione di monitoraggio di HDInsight.

I log di Monitoraggio di Azure sono un servizio di Monitoraggio di Azure che consente di monitorare gli ambienti cloud e locali per mantenerne la disponibilità e le prestazioni. Il monitoraggio raccoglie i dati generati dalle risorse negli ambienti cloud e locali e da altri strumenti di monitoraggio. I dati vengono usati per consentire l'analisi in più origini.

Nota

Questo articolo è stato aggiornato di recente in modo da usare il termine log di Monitoraggio di Azure anziché Log Analytics. I dati di log vengono comunque archiviati in un'area di lavoro Log Analytics e vengano ancora raccolti e analizzati dallo stesso servizio Log Analytics. Si sta procedendo a un aggiornamento della terminologia per riflettere meglio il ruolo dei log in Monitoraggio di Azure. Per informazioni dettagliate, vedere Modifiche della terminologia di Monitoraggio di Azure.

Se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.

Importante

La nuova esperienza di Monitoraggio di Azure è disponibile in tutte le aree come funzionalità di anteprima.

Prerequisiti

  • Un'area di lavoro Log Analytics. Un'area di lavoro è un ambiente dei log di Monitoraggio di Azure univoco con un proprio repository dei dati, origini dati e soluzioni proprie. Per istruzioni, vedere Creare un'area di lavoro Log Analytics.

  • Un cluster HDInsight di Azure. Attualmente, è possibile usare i log di Monitoraggio di Azure con i tipi di cluster HDInsight seguenti:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark

    Per istruzioni su come creare un cluster HDInsight, vedere Introduzione ad Azure HDInsight.

  • Se si usa PowerShell, è necessario il modulo Az. Verificare di avere l'ultima versione. Se necessario, eseguire Update-Module -Name Az.

  • Se si vuole usare l'interfaccia della riga di comando di Azure e non è ancora stata installata, vedere Installare l'interfaccia della riga di comando di Azure.

Nota

La nuova esperienza di Monitoraggio di Azure è disponibile in tutte le aree solo come funzionalità di anteprima. È consigliabile posizionare sia il cluster HDInsight che l'area di lavoro Log Analytics nella stessa area per ottenere prestazioni migliori.

Abilitare Monitoraggio di Azure tramite il portale

In questa sezione si configura un cluster Hadoop HDInsight esistente per usare un'area di lavoro di Azure Log Analytics per monitorare i processi, i log di debug e così via.

  1. Selezionare il proprio cluster nel portale di Azure. Il cluster viene aperto in una nuova pagina del portale.

  2. A sinistra, in Monitoraggio selezionare Integrazione monitoraggio.

  3. Nella visualizzazione principale, in Integrazione dei cluster Monitoraggio di Azure per HDInsight selezionare Abilita.

  4. Nell'elenco a discesa Selezionare un'area di lavoro, selezionare un'area di lavoro Log Analytics esistente.

  5. Seleziona Salva. Sono necessari alcuni minuti per salvare l'impostazione.

    Abilitare il monitoraggio per i cluster HDInsight.

Se si vuole disabilitare Monitoraggio di Azure, è possibile eseguire le stesse operazioni in questo portale.

Abilitare Monitoraggio di Azure tramite Azure PowerShell

È possibile abilitare i log di Monitoraggio di Azure usando il cmdlet Enable-AzHDInsightAzureMonitor del modulo Az di Azure PowerShell.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Per disabilitare, usare il cmdlet Disable-AzHDInsightAzureMonitor:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Abilitare Monitoraggio di Azure tramite l'interfaccia della riga di comando di Azure

È possibile abilitare i log di Monitoraggio di Azure usando il comando az hdinsight azure-monitor enable dell'interfaccia della riga di comando di Azure.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Per disabilitare, usare il comando az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Usare le informazioni dettagliate disponibili con HDInsight per monitorare un singolo cluster

HDInsight offre una cartella di lavoro specifica del carico di lavoro che consente di ottenere rapidamente informazioni dettagliate. Questa cartella di lavoro raccoglie importanti metriche sulle prestazioni dal cluster HDInsight e fornisce le visualizzazioni e i dashboard per gli scenari più comuni. Le informazioni dettagliate predefinite offrono una vista completa di un singolo cluster HDInsight, inclusi l'utilizzo delle risorse e lo stato dell'applicazione.

Cartelle di lavoro di HDInsight disponibili:

  • Cartella di lavoro Spark di HDInsight
  • Cartella di lavoro Kafka di HDInsight
  • Cartella di lavoro HBase di HDInsight
  • Cartella di lavoro Hive/LLAP di HDInsight

Screenshot della cartella di lavoro Spark Screenshot della cartella di lavoro Spark.

Configurazione dei contatori delle prestazioni

Monitoraggio di Azure supporta la raccolta e l'analisi delle metriche delle prestazioni per i nodi del cluster. Pe altre informazioni, vedere Origini dati delle prestazioni di Linux in Monitoraggio di Azure.

Controllo dei cluster

HDInsight supporta il controllo del cluster con i log di Monitoraggio di Azure tramite l'importazione dei tipi di log seguenti:

  • log_gateway_audit_CL: questa tabella contiene i log di controllo dei nodi del gateway del cluster con tentativi di accesso riusciti e non riusciti.
  • log_auth_CL: questa tabella contiene i log SSH con tentativi di accesso riusciti e non riusciti.
  • log_ambari_audit_CL: questa tabella contiene i log di controllo di Ambari.
  • ranger_audit_logs_CL: questa tabella contiene i log di controllo di Apache Ranger nei cluster ESP.

Per i mapping delle tabelle di log dall'integrazione classica di Monitoraggio di Azure a quella nuova, vedere Mapping delle tabelle dei log.

Aggiornare l'agente di Log Analytics (OMS) usato dall'integrazione di Monitoraggio di Azure di HDInsight

Quando l'integrazione di Monitoraggio di Azure è abilitata in un cluster, l'agente di Log Analytics o l'agente di Operations Management Suite (OMS) viene installato nel cluster e non viene aggiornato a meno che non si disabiliti e poi riabiliti l'integrazione di Monitoraggio di Azure. Completare i passaggi seguenti se è necessario aggiornare l'agente OMS nel cluster. Se si è protetti da un firewall, potrebbe essere necessario completare i prerequisiti per i cluster protetti da un firewall prima di completare questi passaggi.

  1. Selezionare il proprio cluster nel portale di Azure. Il cluster viene aperto in una nuova pagina del portale.
  2. A sinistra, in Monitoraggio selezionare Monitoraggio di Azure.
  3. Prendere nota del nome dell'area di lavoro Log Analytics corrente.
  4. Nella visualizzazione principale, in Integrazione di Monitoraggio di Azure, disabilitare l'interruttore e quindi selezionare Salva.
  5. Dopo aver salvato l'impostazione, riabilitare l'interruttore Integrazione di Monitoraggio di Azure, assicurarsi che sia selezionata la stessa area di lavoro Log Analytics e quindi selezionare Salva.

Se in un cluster è abilitata l'integrazione di Monitoraggio di Azure, l'aggiornamento dell'agente OMS aggiornerà anche la versione di OMI (Open Management Infrastructure). È possibile controllare la versione di OMI nel cluster eseguendo il comando seguente:

 sudo /opt/omi/bin/omiserver –version

Passaggi successivi