Monitorar a ingestão, os comandos, as consultas e as tabelas do Azure Data Explorer usando logs de diagnóstico

  • Artigo

O Azure Data Explorer é um serviço de análise de dados rápido e totalmente gerenciado para análise em tempo real de grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais. Os logs de diagnóstico do Azure Monitor fornecem dados sobre a operação dos recursos do Azure. O Azure Data Explorer usa os logs de diagnóstico para obter insights sobre a ingestão, os comandos, as consultas e as tabelas. Exporte os logs de operação para o Armazenamento do Azure, o hub de eventos ou o Log Analytics a fim de monitorar a ingestão, os comandos e o status da consulta. Os logs do Armazenamento do Azure e dos Hubs de Eventos do Azure podem ser roteados para uma tabela no cluster do Azure Data Explorer para análise posterior.

Importante

Os dados do log de diagnóstico podem conter dados confidenciais. Restrinja as permissões do destino dos logs de acordo com suas necessidades de monitoramento.

Observação

No portal do Azure, os dados brutos de métricas das páginas Métricas e Insights são armazenados no Azure Monitor. As consultas nessas páginas consultam diretamente os dados de métricas brutas para fornecer os resultados mais precisos. Ao usar a funcionalidade de configurações de diagnóstico, você pode migrar os dados brutos de métricas para o workspace do Log Analytics. Durante a migração, a precisão de alguns dados pode ser perdida devido ao arredondamento; portanto, os resultados da consulta podem variar ligeiramente dos dados originais. A margem de erro é inferior a um por cento.

Pré-requisitos

Configurar logs de diagnóstico para um cluster do Azure Data Explorer

Os logs de diagnóstico podem ser usados para configurar a coleta dos seguintes dados de log:

Observação

  • Os logs de ingestão têm suporte para ingestão em fila para o URI de ingestão de dados usando as bibliotecas de cliente Kusto e conectores de dados.
  • Não há suporte para logs de ingestão para ingestão de streaming, ingestão direta para o URI do cluster, ingestão de consultas ou comandos .set-or-append.

Observação

Os logs de ingestão com falha só são relatados no estado final de uma operação de ingestão, ao contrário da métrica Resultado da ingestão, que é emitida para falhas transitórias que são repetidas internamente.

  • Operações de ingestão bem-sucedidas: esses logs trazem informações sobre as operações de ingestão concluídas com êxito.
  • Operações de ingestão com falha: esses logs trazem informações detalhadas sobre as operações de ingestão com falha, incluindo os detalhes de erros.
  • Operações de envio em lote de ingestão: esses logs trazem estatísticas detalhadas dos lotes prontos para ingestão (duração, tamanho do lote, contagem de blobs e tipos de envio em lote).

Você pode optar por enviar os dados de log para um workspace do Log Analytics, uma conta de armazenamento ou transmiti-los para um hub de eventos.

Habilitar logs de diagnóstico

Os logs de diagnóstico estão desabilitados por padrão. Use as seguintes etapas para habilitar logs de diagnóstico para seu cluster:

  1. No portal do Azure, selecione o recurso de cluster que você deseja monitorar.

  2. Em Monitoramento, selecione Configurações de diagnóstico.

    Adicione os logs de diagnóstico.

  3. Selecione Adicionar configuração de diagnóstico.

  4. Na janela Configurações de diagnóstico:

    Captura de tela da tela de Configurações de diagnóstico, na qual você configura quais dados de monitoramento coletar para o cluster do Azure Data Explorer.

    1. Insira um Nome da configuração de diagnóstico.
    2. Selecione um ou mais destinos: um workspace do Log Analytics, uma conta de armazenamento ou um hub de eventos.
    3. Selecione os logs a serem coletados: Ingestão bem-sucedida, Ingestão com falha, Envio em lote de ingestão, Comando, Consulta, Estatísticas de uso da tabela, Detalhes da tabela ou Diário.
    4. Selecione as métricas a serem coletadas (opcional).
    5. Escolha Salvar para salvar as novas métricas e configurações de logs de diagnóstico.

Depois que as configurações estiverem prontas, os logs começarão a aparecer nos destinos configurados (uma conta de armazenamento, um hub de eventos ou um workspace do Log Analytics).

Observação

Se você enviar logs para um workspace do Log Analytics, os logs SucceededIngestion, FailedIngestion, IngestionBatching, Command, Query, TableUsageStatistics, TableDetails e Journal serão armazenados nas tabelas do Log Analytics denominadas: SucceededIngestion, FailedIngestion, ADXIngestionBatching, ADXCommand, ADXQuery, ADXTableUsageStatistics, ADXTableDetails e ADXJournal respectivamente.

Esquema de logs de diagnóstico

Todos os logs de diagnóstico do Azure Monitor compartilham o esquema de nível superior. Os eventos do Azure Data Explorer têm suas próprias propriedades exclusivas descritas nas seguintes referências de esquema:

Conteúdo relacionado