Referens för Azure HDInsight-övervakningsdata

  • Artikel

Den här artikeln innehåller all övervakningsreferensinformation för den här tjänsten.

Mer information om de data som du kan samla in för Azure HDInsight och hur du använder dem finns i Övervaka HDInsight .

Mått

I det här avsnittet visas alla automatiskt insamlade plattformsmått för den här tjänsten. Dessa mått är också en del av den globala listan över alla plattformsmått som stöds i Azure Monitor.

Information om kvarhållning av mått finns i Översikt över Azure Monitor-mått.

Mått som stöds för Microsoft.HDInsight/kluster

I följande tabell visas de mått som är tillgängliga för resurstypen Microsoft.HDInsight/clusters.

  • Alla kolumner kanske inte finns i varje tabell.
  • Vissa kolumner kan ligga utanför sidans visningsområde. Välj Expandera tabell för att visa alla tillgängliga kolumner.

Tabellrubriker

  • Kategori – måttgruppen eller klassificeringen.
  • Mått – Måttets visningsnamn som det visas i Azure Portal.
  • Namn i REST API – måttnamnet som anges i REST-API:et.
  • Enhet – måttenhet.
  • Sammansättning – standardaggregeringstypen. Giltiga värden: Genomsnitt (genomsnitt), Minimum (Min), Maximum (Max), Total (Sum), Count.
  • Dimensionsdimensioner - som är tillgängliga för måttet.
  • Tidsintervall - Intervall där måttet samplas. Indikerar till exempel PT1M att måttet samplas varje minut, PT30M var 30:e minut, PT1H varje timme och så vidare.
  • DS-export – Om måttet kan exporteras till Azure Monitor-loggar via diagnostikinställningar. Information om hur du exporterar mått finns i Skapa diagnostikinställningar i Azure Monitor.
Kategori Mått Namn i REST API Enhet Aggregering Dimensioner Tidsintervall DS-export
Tillgänglighet Kategoriserade gatewaybegäranden

Antal gatewaybegäranden efter kategorier (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Antal Antal, totalt (summa) HttpStatus PT1M, PT1H, P1D Ja
Tillgänglighet Gateway-begäranden

Antal gatewaybegäranden		 GatewayRequests Antal Antal, totalt (summa) HttpStatus PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Consumer RequestThroughput

Antal konsumentbegäranden till Kafka REST-proxy		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Consumer Unsuccessful Requests

Undantag för konsumentbegäran		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Consumer RequestLatency

Svarstid för meddelanden i en konsumentbegäran via Kafka REST-proxy		 KafkaRestProxy.ConsumerRequestTime.p95 Millisekunder Genomsnitt Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet Rest Proxy Förfrågningslogg för konsumentbegäran

Rest-proxykölängd för konsument		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Millisekunder Genomsnitt Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Producer MessageThroughput

Antal producentmeddelanden via Kafka REST-proxy		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Consumer MessageThroughput

Antal konsumentmeddelanden via Kafka REST-proxy		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST-proxyn ConcurrentConnections

Antal samtidiga anslutningar via Kafka REST-proxy		 KafkaRestProxy.OpenConnections Antal Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Producer RequestThroughput

Antal producentbegäranden till Kafka REST-proxy		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet MISSLYCKADE BEGÄRANden för REST-proxyproducent

Undantag för producentbegäran		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Totalt (summa) Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST-proxyproducent requestLatency

Meddelandesvarstid i en producentbegäran via Kafka REST-proxy		 KafkaRestProxy.ProducerRequestTime.p95 Millisekunder Genomsnitt Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet REST proxy Producer Request Backlog

Rest-proxykölängd för producent		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Millisekunder Genomsnitt Machine, Topic PT1M, PT1H, P1D Ja
Tillgänglighet Antal aktiva arbetare

Antal aktiva arbetare		 NumActiveWorkers Antal Genomsnitt, Max, Minimum MetricName PT1M, PT1H, P1D Ja
Tillgänglighet Väntande PROCESSOR

Väntande CPU-begäranden i YARN		 PendingCPU Antal Genomsnitt, Max, Minimum <ingen> PT1M, PT1H, P1D Ja
Tillgänglighet Väntande minne

Väntande minnesbegäranden i YARN		 PendingMemory Antal Genomsnitt, Max, Minimum <ingen> PT1M, PT1H, P1D Ja

Måttdimensioner

Information om vilka måttdimensioner som finns i Flerdimensionella mått.

Den här tjänsten har följande dimensioner associerade med sina mått.

Dimensioner för tabellen Microsoft.HDInsight/clusters är:

  • HttpStatus
  • Dator
  • Område
  • MetricName

Resursloggar

I det här avsnittet visas de typer av resursloggar som du kan samla in för den här tjänsten. Avsnittet hämtar från listan över alla kategorityper för resursloggar som stöds i Azure Monitor.

HDInsight använder inte Azure Monitor-resursloggar eller diagnostikinställningar. Loggar samlas in med andra metoder, inklusive användning av Log Analytics-agenten.

Tabeller för Azure Monitor-loggar

I det här avsnittet visas tabellerna för Azure Monitor-loggar som är relevanta för den här tjänsten, som är tillgängliga för frågor av Log Analytics med kusto-frågor. Tabellerna innehåller resursloggdata och eventuellt mer beroende på vad som samlas in och dirigeras till dem.

HDInsight-kluster

Microsoft.HDInsight/Clusters

Tillgängliga loggar och mått varierar beroende på din HDInsight-klustertyp.

Loggtabellmappning

Den nya Azure Monitor-integreringen implementerar nya tabeller på Log Analytics-arbetsytan. Följande tabeller visar loggtabellmappningar från den klassiska Azure Monitor-integreringen till den nya.

Kolumnen Ny tabell visar namnet på den nya tabellen. Raden Beskrivning beskriver typen av loggar/mått som är tillgängliga i den här tabellen. Den klassiska tabellkolumnen är en lista över alla tabeller från den klassiska Azure Monitor-integreringen vars data nu finns i den nya tabellen.

Kommentar

Vissa tabeller är helt nya och inte baserade på tidigare tabeller.

Allmänna arbetsbelastningstabeller

Ny tabell beskrivning Klassisk tabell
HDInsightAmbariSystemMetrics Systemmått som samlas in från Ambari. Måtten kommer nu från varje nod i klustret (förutom kantnoder) i stället för bara de två huvudnoderna. Varje mått är nu en kolumn och varje mått rapporteras en gång per post. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Ambari-klusteraviseringar från varje nod i klustret (förutom gränsnoder). Varje avisering är en post i den här tabellen. metrics_cluster_alerts_CL
HDInsightSecurityLogs Poster från Ambari-gransknings- och autentiseringsloggarna. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Alla poster från Ranger-granskningsloggen för ESP-kluster. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Gateway-noderna granskar information. Samma format som den klassiska tabellen och finns fortfarande i avsnittet Anpassade loggar. log_gateway_Audit_CL

Spark-arbetsbelastning

Kommentar

Spark-programrelaterade tabeller har ersatts med 11 nya Spark-tabeller som ger mer detaljerad information om dina Spark-arbetsbelastningar.

Ny tabell beskrivning Klassisk tabell
HDInsightSparkLogs Alla loggar relaterade till Spark och dess relaterade komponent: Livy och Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Händelseinformation för Spark-program, inklusive sändnings- och slutförandetid, app-ID och AppName. Användbart för att hålla reda på när program startades och slutfördes.
HDInsightSparkBlockManagerEvents Händelseinformation relaterad till Sparks Block Manager. Innehåller information som användning av körminne.
HDInsightSparkEnvironmentEvents Händelseinformation som är relaterad till miljön som ett program kör i, inklusive Spark Deploy Mode, Master och information om executor.
HDInsightSparkExecutorEvents Händelseinformation om Spark Executor-användningen för av ett program.
HDInsightSparkExtraEvents Händelseinformation som inte passar in i någon annan Spark-tabell.
HDInsightSparkJobEvents Information om Spark-jobb, inklusive start- och sluttider, resultat och associerade faser.
HDInsightSparkSqlExecutionEvents Händelseinformation om Spark SQL-frågor, inklusive deras planinformation och beskrivning samt start- och sluttider.
HDInsightSparkStageEvents Händelseinformation för Spark-steg, inklusive start- och slutförandetider, felstatus och detaljerad körningsinformation.
HDInsightSparkStageTaskAccumulables Prestandamått för steg och uppgifter.
HDInsightTaskEvents Händelseinformation för Spark-uppgifter, inklusive start- och slutförandetid, associerade steg, körningsstatus och aktivitetstyp.
HDInsightJupyterNotebookEvents Händelseinformation för Jupyter Notebooks.

Hadoop/YARN-arbetsbelastning

Ny tabell beskrivning Klassisk tabell
HDInsightHadoopAndYarnMetrics JMX-mått från Hadoop- och YARN-ramverken. Innehåller samma JMX-mått som de tidigare tabellerna för anpassade loggar, plus viktigare mått: Tidslinjeserver, Nodhanteraren och Jobbhistorikserver. Innehåller ett mått per post. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Alla loggar som genereras från Hadoop- och YARN-ramverken. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Hive/LLAP-arbetsbelastning

Ny tabell beskrivning Klassisk tabell
HDInsightHiveAndLLAPMetrics JMX-mått från Hive- och LLAP-ramverken. Innehåller samma JMX-mått som de tidigare tabellerna för anpassade loggar, ett mått per post. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Loggar som genereras från Hive, LLAP och deras relaterade komponenter: WebHCat och Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Kafka-arbetsbelastning

Ny tabell beskrivning Klassisk tabell
HDInsightKafkaMetrics JMX-mått från Kafka. Innehåller samma JMX-mått som de gamla tabellerna för anpassade loggar, plus andra viktiga mått. Ett mått per post. metrics_kafka_CL
HDInsightKafkaLogs Alla loggar som genereras från Kafka Brokers. log_kafkaserver_CL, log_kafkacontroller_CL

HBase-arbetsbelastning

Ny tabell beskrivning Klassisk tabell
HDInsightHBaseMetrics JMX-mått från HBase. Innehåller samma JMX-mått från föregående tabeller. Till skillnad från föregående tabeller innehåller varje rad ett mått. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Loggar från HBase och dess relaterade komponenter: Phoenix och HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Oozie-arbetsbelastning

Ny tabell beskrivning Klassisk tabell
HDInsightOozieLogs Alla loggar som genereras från Oozie-ramverket. Log_oozie_CL

Aktivitetslogg

Den länkade tabellen visar de åtgärder som kan registreras i aktivitetsloggen för den här tjänsten. Dessa åtgärder är en delmängd av alla möjliga resursprovideråtgärder i aktivitetsloggen.

Mer information om schemat för aktivitetsloggposter finns i Aktivitetsloggschema.

Relaterat innehåll