Informazioni di riferimento sui dati di monitoraggio di Azure HDInsight
Questo articolo contiene tutte le informazioni di riferimento sul monitoraggio per questo servizio.
Vedere Monitorare HDInsight per informazioni dettagliate sui dati che è possibile raccogliere per Azure HDInsight e su come usarli.
Metrica
Questa sezione elenca tutte le metriche della piattaforma raccolte automaticamente per questo servizio. Queste metriche fanno anche parte dell'elenco globale di tutte le metriche della piattaforma supportate nel Monitoraggio di Azure.
Per informazioni sulla conservazione delle metriche, vedere Informazioni generali sulle metriche del Monitoraggio di Azure.
Metriche supportate per Microsoft.HDInsight/clusters
La tabella seguente elenca le metriche disponibili per il tipo di risorsa Microsoft.HDInsight/clusters.
- Potrebbero non essere presenti tutte le colonne in ogni tabella.
- Alcune colonne potrebbero superare l'area di visualizzazione della pagina. Selezionare Espandi tabella per visualizzare tutte le colonne disponibili.
Intestazioni di tabella
- Categoria: gruppo o classificazione delle metriche.
- Metrica: nome visualizzato della metrica come visualizzato nella portale di Azure.
- Nome nell'API REST: nome della metrica indicato nell'API REST.
- Unità: Unità di misura.
- Aggregazione: tipo di aggregazione predefinito. Valori validi: Medio (Avg), Minimo (Min), Massimo (Max), Totale (Sum), Conteggio.
- Dimensioni - Dimensioni disponibili per la metrica.
- Intervalli di tempo - Intervalli in cui viene campionata la metrica. Ad esempio,
PT1M
indica che la metrica viene campionata ogni minuto,PT30M
ogni 30 minuti,PT1H
ogni ora e così via. - Esportazione DS: indica se la metrica è esportabile nei log di Monitoraggio di Azure tramite le impostazioni di diagnostica. Per informazioni sull'esportazione delle metriche, vedere Creare impostazioni di diagnostica nel Monitoraggio di Azure.
Categoria | Metric | Nome nell'API REST | Unità | Aggregazione | Dimensioni | Intervalli di tempo | Esportazione DS |
---|---|---|---|---|---|---|---|
Disponibilità | Richieste di gateway categorizzate Numero di richieste del gateway per categoria (1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
Count | Count, Total (Sum) | HttpStatus |
PT1M, PT1H, P1D | Sì |
Disponibilità | Richieste di gateway Numero di richieste del gateway |
GatewayRequests |
Count | Count, Total (Sum) | HttpStatus |
PT1M, PT1H, P1D | Sì |
Disponibilità | Richiesta consumer proxy RESTThroughput Numero di richieste consumer al proxy REST Kafka |
KafkaRestProxy.ConsumerRequest.m1_delta |
Conteggio al secondo | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Richieste non riuscite del consumer proxy REST Eccezioni delle richieste consumer |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
Conteggio al secondo | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Richiesta consumer proxy RESTLatency Latenza dei messaggi in una richiesta consumer tramite proxy REST Kafka |
KafkaRestProxy.ConsumerRequestTime.p95 |
Millisecondi | Media | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Backlog richiesta consumer proxy REST Lunghezza coda proxy REST consumer |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
Millisecondi | Media | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | REST proxy Producer MessageThroughput Numero di messaggi producer tramite proxy REST Kafka |
KafkaRestProxy.MessagesIn.m1_delta |
Conteggio al secondo | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | REST proxy Consumer MessageThroughput Numero di messaggi consumer tramite proxy REST Kafka |
KafkaRestProxy.MessagesOut.m1_delta |
Conteggio al secondo | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Connessione simultanea proxy REST Numero di connessioni simultanee tramite proxy REST Kafka |
KafkaRestProxy.OpenConnections |
Count | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | REST proxy Producer RequestThroughput Numero di richieste producer al proxy REST Kafka |
KafkaRestProxy.ProducerRequest.m1_delta |
Conteggio al secondo | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Richieste non riuscite del producer proxy REST Eccezioni della richiesta producer |
KafkaRestProxy.ProducerRequestFail.m1_delta |
Conteggio al secondo | Totale (somma) | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Richiesta producer proxy RESTLatency Latenza dei messaggi in una richiesta producer tramite proxy REST Kafka |
KafkaRestProxy.ProducerRequestTime.p95 |
Millisecondi | Media | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Backlog della richiesta producer proxy REST Lunghezza della coda del proxy REST producer |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
Millisecondi | Media | Machine , Topic |
PT1M, PT1H, P1D | Sì |
Disponibilità | Numero di ruoli di lavoro attivi Number of Active Workers (Numero di ruoli di lavoro) |
NumActiveWorkers |
Count | Media, Massimo, Minimo | MetricName |
PT1M, PT1H, P1D | Sì |
Disponibilità | CPU in sospeso Richieste CPU in sospeso in YARN |
PendingCPU |
Count | Media, Massimo, Minimo | <none> | PT1M, PT1H, P1D | Sì |
Disponibilità | Memoria in sospeso Richieste di memoria in sospeso in YARN |
PendingMemory |
Count | Media, Massimo, Minimo | <none> | PT1M, PT1H, P1D | Sì |
Dimensioni delle metriche
Per informazioni sulle dimensioni delle metriche, vedere Metriche multidimensionali.
Questo servizio ha le dimensioni seguenti associate alle relative metriche.
Le dimensioni per la tabella Microsoft.HDInsight/clusters includono:
- HttpStatus
- Computer
- Argomento
- MetricName
Log risorse
Questa sezione elenca i tipi di log delle risorse che si possono raccogliere per questo servizio. La sezione esegue il pull dall'elenco di tutti i tipi di categoria dei log delle risorse supportati nel Monitoraggio di Azure.
HDInsight non usa i log delle risorse o le impostazioni di diagnostica di Monitoraggio di Azure. I log vengono raccolti da altri metodi, incluso l'uso dell'agente di Log Analytics.
Tabelle di log di Monitoraggio di Azure
Questa sezione elenca tutte le tabelle dei log del Monitoraggio di Azure pertinenti a questo servizio che sono disponibili per la query da parte di Log Analytics mediante le query di Kusto. Le tabelle contengono i dati dei log delle risorse ed eventualmente altro, a seconda di ciò che viene raccolto e indirizzato verso di esse.
Cluster HDInsight
Microsoft.HDInsight/Clusters
I log e le metriche disponibili variano a seconda del tipo di cluster HDInsight.
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
Mapping delle tabelle di log
La nuova integrazione di Monitoraggio di Azure implementa nuove tabelle nell'area di lavoro Log Analytics. Le tabelle seguenti illustrano i mapping delle tabelle di log dall'integrazione classica di Monitoraggio di Azure a quella nuova.
Nella colonna Nuova tabella viene visualizzato il nome della nuova tabella. La riga Descrizione descrive il tipo di log/metriche disponibili in questa tabella. La colonna tabella classica è un elenco di tutte le tabelle dell'integrazione classica di Monitoraggio di Azure i cui dati sono ora presenti nella nuova tabella.
Nota
Alcune tabelle sono completamente nuove e non basate sulle tabelle precedenti.
Tabelle generali del carico di lavoro
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightAmbariSystemMetrics | Metriche di sistema raccolte da Ambari. Le metriche provengono ora da ogni nodo del cluster (ad eccezione dei nodi perimetrali) anziché solo dai due nodi head. Ogni metrica è ora una colonna e ogni metrica viene segnalata una volta per ogni record. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL |
HDInsightAmbariClusterAlerts | Avvisi del cluster Ambari da ogni nodo del cluster (ad eccezione dei nodi perimetrali). Ogni avviso è un record in questa tabella. | metrics_cluster_alerts_CL |
HDInsightSecurityLogs | Record dei log di controllo e autenticazione di Ambari. | log_ambari_audit_CL, log_auth_CL |
HDInsightRangerAuditLogs | Tutti i record del log di controllo ranger per i cluster ESP. | ranger_audit_logs_CL |
HDInsightGatewayAuditLogs_CL | Informazioni di controllo sui nodi del gateway. Stesso formato della tabella classica e ancora disponibile nella sezione Log personalizzati. | log_gateway_Audit_CL |
Carico di lavoro Spark
Nota
Le tabelle correlate all'applicazione Spark sono state sostituite con 11 nuove tabelle Spark che forniscono informazioni più approfondite sui carichi di lavoro Spark.
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightSparkLogs | Tutti i log correlati a Spark e al relativo componente correlato: Livy e Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL |
HDInsightSparkApplicationEvents | Informazioni sugli eventi per le applicazioni Spark, tra cui ora di invio e completamento, ID app e AppName. Utile per tenere traccia dell'avvio e del completamento delle applicazioni. | |
HDInsightSparkBlockManagerEvents | Informazioni sugli eventi correlate a Gestione blocchi di Spark. Include informazioni come l'utilizzo della memoria dell'executor. | |
HDInsightSparkEnvironmentEvents | Informazioni sugli eventi correlate all'ambiente in cui viene eseguita un'applicazione, tra cui modalità di distribuzione Spark, master e informazioni sull'executor. | |
HDInsightSparkExecutorEvents | Informazioni sugli eventi sull'utilizzo dell'executor Spark per da un'applicazione. | |
HDInsightSparkExtraEvents | Informazioni sugli eventi che non rientrano in nessun'altra tabella Spark. | |
HDInsightSparkJobEvents | Informazioni sui processi Spark, inclusi i relativi orari di inizio e fine, i risultati e le fasi associate. | |
HDInsightSparkSqlExecutionEvents | Informazioni sugli eventi sulle query SPARK SQL, incluse le informazioni sul piano e la descrizione e l'ora di inizio e fine. | |
HDInsightSparkStageEvents | Informazioni sugli eventi per fasi spark, inclusi i tempi di inizio e di completamento, lo stato dell'errore e le informazioni dettagliate sull'esecuzione. | |
HDInsightSparkStageTaskAccumulables | Metriche delle prestazioni per fasi e attività. | |
HDInsightTaskEvents | Informazioni sugli eventi per Attività Spark, inclusi l'ora di inizio e di completamento, le fasi associate, lo stato di esecuzione e il tipo di attività. | |
HDInsightJupyterNotebookEvents | Informazioni sugli eventi per Jupyter Notebooks. |
Carico di lavoro Hadoop/YARN
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightHadoopAndYarnMetrics | Metriche JMX dai framework Hadoop e YARN. Contiene tutte le stesse metriche JMX delle tabelle dei log personalizzati precedenti, oltre a metriche più importanti: Server sequenza temporale, Gestione nodi e Server cronologia processi. Contiene una metrica per record. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL |
HDInsightHadoopAndYarnLogs | Tutti i log generati dai framework Hadoop e YARN. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL |
Carico di lavoro Hive/LLAP
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightHiveAndLLAPMetrics | Metriche JMX dai framework Hive e LLAP. Contiene tutte le stesse metriche JMX delle tabelle dei log personalizzati precedenti, una metrica per record. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL |
HDInsightHiveAndLLAPLogs | Log generati da Hive, LLAP e i relativi componenti correlati: WebHCat e Zeppelin. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL |
Carico di lavoro Kafka
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightKafkaMetrics | Metriche JMX di Kafka. Contiene tutte le stesse metriche JMX delle tabelle dei log personalizzati precedenti, oltre ad altre metriche importanti. Una metrica per record. | metrics_kafka_CL |
HDInsightKafkaLogs | Tutti i log generati dai broker Kafka. | log_kafkaserver_CL, log_kafkacontroller_CL |
Carico di lavoro HBase
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightHBaseMetrics | Metriche JMX da HBase. Contiene tutte le stesse metriche JMX delle tabelle precedenti. A differenza delle tabelle precedenti, ogni riga contiene una metrica. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL |
HDInsightHBaseLogs | Log da HBase e dai relativi componenti: Phoenix e HDFS. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL |
Carico di lavoro Oozie
Nuova tabella | Descrizione | Tabella classica |
---|---|---|
HDInsightOozieLogs | Tutti i log generati dal framework Oozie. | Log_oozie_CL |
Log attività
Nella tabella collegata sono elencate le operazioni che possono essere registrate nel log attività per questo servizio. Queste operazioni sono un sottoinsieme di tutte le possibili operazioni del provider di risorse nel log attività.
Per altre informazioni sullo schema delle voci del log attività, vedere Schema del log attività.
Contenuto correlato
- Per una descrizione del monitoraggio di HDInsight, vedere Monitorare HDInsight .
- Per informazioni dettagliate sul monitoraggio delle risorse di Azure, vedere Monitora le risorse di Azure con il Monitoraggio di Azure.