Referência de dados de monitoramento do Azure HDInsight

  • Artigo

Este artigo contém todas as informações de referência de monitoramento para este serviço.

Consulte Monitorar o HDInsight para obter detalhes sobre os dados que você pode coletar para o Azure HDInsight e como usá-los.

Métricas

Esta seção lista todas as métricas da plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas da plataforma com suporte no Azure Monitor.

Para obter informações sobre retenção de métricas, consulte Visão geral das métricas do Azure Monitor.

Métricas com suporte para Microsoft.HDInsight/clusters

A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.HDInsight/clusters.

  • Nem todas as colunas podem estar presentes em todas as tabelas.
  • Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para exibir todas as colunas disponíveis.

Títulos de tabela

  • Categoria: o grupo ou classificação de métricas.
  • Métrica: o nome de exibição da métrica como aparece no portal do Azure.
  • Nome na API REST: o nome da métrica, conforme mencionado na API REST.
  • Unidade: unidade de medida
  • Agregação: o tipo de agregação padrão. Valores válidos: Médio (Méd.), Mínimo (Mín.), Máximo (Máx.), Total (Soma), Contagem.
  • Dimensões: as Dimensões disponíveis para a métrica.
  • Intervalos de agregação: os Intervalos em que a métrica é amostrada. Por exemplo, PT1M indica que a métrica é amostrada a cada minuto, PT30M a cada 30 minutos, PT1H a cada hora e assim por diante.
  • Exportação de DS: se a métrica é exportável para os Logs do Azure Monitor via configurações de diagnóstico. Para obter mais informações sobre exportação de métricas, consulte as Criar configurações de diagnóstico no Azure Monitor.
Categoria Metric Nome na API REST Unidade Agregação Dimensões Granularidade de tempo Exportação de DS
Disponibilidade Solicitações de gateway categorizadas

Número de solicitações de gateway por categorias (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Count Contagem, Total (Soma) HttpStatus PT1M, PT1H, P1D Sim
Disponibilidade Solicitações de gateway

Número de solicitações de gateway		 GatewayRequests Count Contagem, Total (Soma) HttpStatus PT1M, PT1H, P1D Sim
Disponibilidade Proxy REST RequestThroughput do consumidor

Número de solicitações do consumidor para o proxy REST do Kafka		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Solicitações malsucedidas do consumidor de proxy REST

Exceções de solicitação do consumidor		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Proxy REST RequestLatency do consumidor

Latência de mensagem em uma solicitação do consumidor por meio do proxy REST do Kafka		 KafkaRestProxy.ConsumerRequestTime.p95 Milissegundos Média Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Lista de pendências de solicitação do consumidor do proxy REST

Tamanho da fila do proxy REST do consumidor		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milissegundos Média Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Produtor de proxy REST MessageThroughput

Número de mensagens do produtor por meio do proxy REST do Kafka		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Proxy REST MessageThroughput do consumidor

Número de mensagens do consumidor por meio do proxy REST do Kafka		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade REST proxy ConcurrentConnections

Número de conexões simultâneas por meio do proxy REST do Kafka		 KafkaRestProxy.OpenConnections Count Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade RequestThroughput do produtor do proxy REST

Número de solicitações do produtor para o proxy REST do Kafka		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Solicitações malsucedidas do produtor de proxy REST

Exceções de solicitação do produtor		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Total (Soma) Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Proxy REST Produtor RequestLatency

Latência de mensagem em uma solicitação do produtor por meio do proxy REST do Kafka		 KafkaRestProxy.ProducerRequestTime.p95 Milissegundos Média Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Lista de pendências de solicitação do produtor de proxy REST

Tamanho da fila do proxy REST do produtor		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milissegundos Média Machine, Topic PT1M, PT1H, P1D Sim
Disponibilidade Número de trabalhadores ativos

Número de Trabalhos Ativos		 NumActiveWorkers Count Médio, Máximo, Mínimo MetricName PT1M, PT1H, P1D Sim
Disponibilidade CPU pendente

Solicitações de CPU pendentes em YARN		 PendingCPU Count Médio, Máximo, Mínimo <none> PT1M, PT1H, P1D Sim
Disponibilidade Memória pendente

Solicitações de memória pendentes em YARN		 PendingMemory Count Médio, Máximo, Mínimo <none> PT1M, PT1H, P1D Sim

Dimensões de métrica

Para obter mais informações sobre o que são dimensões de métrica, confira Métricas multidimensionais.

Este serviço tem as dimensões a seguir associadas a essas métricas.

As dimensões da tabela Microsoft.HDInsight/clusters incluem:

  • HttpStatus
  • Computador
  • Tópico
  • MetricName

Logs de recursos

Esta seção lista os tipos de logs de recursos que você pode coletar para o este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.

O HDInsight não usa logs de recursos do Azure Monitor ou configurações de diagnóstico. Os logs são coletados por outros métodos, incluindo o uso do agente do Log Analytics.

Tabelas de Logs do Azure Monitor

Esta seção lista todas as tabelas dos Logs do Azure Monitor relevantes para este serviço e disponíveis para consulta pela análise de logs usando o Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para elas.

Clusters do HDInsight

Microsoft.HDInsight/Clusters

Os logs e as métricas disponíveis variam dependendo do tipo de cluster do HDInsight.

Mapeamento de tabela de log

A nova integração do Azure Monitor implementa novas tabelas no workspace do Log Analytics. As tabelas a seguir mostram os mapeamentos da tabela de log da integração clássica do Azure Monitor para a nova.

A coluna Nova tabela mostra o nome da nova tabela. A linha Descrição descreve o tipo de logs/métricas disponíveis nesta tabela. A coluna Tabela clássica é uma lista de todas as tabelas da integração clássica do Azure Monitor cujos dados agora estão presentes na nova tabela.

Observação

Algumas tabelas são completamente novas e não se baseiam em tabelas anteriores.

Tabelas de carga de trabalho geral

Nova tabela Descrição Tabela clássica
HDInsightAmbariSystemMetrics Métricas do sistema coletadas do Ambari. As métricas agora são provenientes de cada nó no cluster (exceto os nós de borda) em vez de apenas os dois nós de cabeçalho. Agora, cada métrica é uma coluna e cada métrica é relatada uma vez por registro. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Alertas de cluster do Ambari de cada nó no cluster (exceto para nós de borda). Cada alerta é um registro dessa tabela. metrics_cluster_alerts_CL
HDInsightSecurityLogs Registros dos logs de auditoria e autenticação do Ambari. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Todos os registros do log de auditoria do Ranger para clusters ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Os nós do Gateway auditam informações. Mesmo formato da tabela clássica e ainda localizado na seção Logs personalizados. log_gateway_Audit_CL

Carga de trabalho do Spark

Observação

As tabelas relacionadas ao aplicativo Spark foram substituídas por 11 novas tabelas do Spark que fornecem informações mais detalhadas sobre suas cargas de trabalho do Spark.

Nova tabela Descrição Tabela clássica
HDInsightSparkLogs Todos os logs relacionados ao Spark e seu componente relacionado: Livy e Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Informações de eventos para aplicativos do Spark, incluindo tempo de envio e conclusão, ID do aplicativo e AppName. Útil para acompanhar quando os aplicativos foram iniciados e concluídos.
HDInsightSparkBlockManagerEvents Informações do evento relacionadas ao Gerenciador de Blocos do Spark. Inclui informações como o uso de memória do executor.
HDInsightSparkEnvironmentEvents Informações de eventos relacionadas ao ambiente em que um aplicativo é executado, incluindo o Modo de Implantação do Spark, o Mestre e informações sobre o Executor.
HDInsightSparkExecutorEvents Informações de evento sobre o uso do Spark Executor por um Aplicativo.
HDInsightSparkExtraEvents Informações de evento que não se encaixam em nenhuma outra tabela do Spark.
HDInsightSparkJobEvents Informações sobre trabalhos do Spark, incluindo horários de início e término, resultado e estágios associados.
HDInsightSparkSqlExecutionEvents Informações de eventos em consultas do Spark SQL, incluindo informações e descrição do plano e horários de início e término.
HDInsightSparkStageEvents Informações de evento para Estágios do Spark, incluindo seus horários de início e conclusão, status de falha e informações detalhadas de execução.
HDInsightSparkStageTaskAccumulables Métricas de desempenho para estágios e tarefas.
HDInsightTaskEvents Informações de evento para Tarefas do Spark, incluindo hora de início e conclusão, estágios associados, status de execução e tipo de tarefa.
HDInsightJupyterNotebookEvents Informações sobre eventos para Jupyter Notebooks.

Carga de trabalho do Hadoop/do YARN

Nova tabela Descrição Tabela clássica
HDInsightHadoopAndYarnMetrics Métricas JMX dos frameworks Hadoop e YARN. Contém todas as mesmas métricas JMX que as tabelas de Logs personalizados anteriores, além de métricas mais importantes: Servidor de linha do tempo, Gerenciador de nós e Servidor de histórico de trabalhos. Contém uma métrica por registro. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Todos os logs gerados a partir das estruturas Hadoop e YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Carga de trabalho do Hive/do LLAP

Nova tabela Descrição Tabela clássica
HDInsightHiveAndLLAPMetrics Métricas JMX das estruturas Hive e LLAP. Contém todas as mesmas métricas JMX que as tabelas de Logs Personalizados anteriores, uma métrica por registro. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Logs gerados a partir do Hive, LLAP e seus componentes relacionados: WebHCat e Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Carga de trabalho do Kafka

Nova tabela Descrição Tabela clássica
HDInsightKafkaMetrics Métricas JMX do Kafka. Contém todas as mesmas métricas JMX que as antigas tabelas de Logs Personalizados, além de outras métricas importantes. Uma métrica por registro. metrics_kafka_CL
HDInsightKafkaLogs Todos os logs gerados a partir dos Kafka Brokers. log_kafkaserver_CL, log_kafkacontroller_CL

Carga de trabalho do HBase

Nova tabela Descrição Tabela clássica
HDInsightHBaseMetrics Métricas JMX do HBase. Contém todas as mesmas métricas JMX das tabelas anteriores. Em contraste com as tabelas anteriores, cada linha contém uma métrica. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Logs do HBase e seus componentes relacionados: Phoenix e HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Carga de trabalho do Oozie

Nova tabela Descrição Tabela clássica
HDInsightOozieLogs Todos os logs gerados a partir da estrutura Oozie. Log_oozie_CL

Log de atividades

A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações do provedor de recursos possíveis no log de atividades.

Para obter mais informações sobre o esquema de entradas do log de atividades, confira Esquema do log de atividades.

Conteúdo relacionado