Regras de coleta de dados (DCRs) no Azure Monitor

  • Artigo

As regras de coleta de dados (DCRs) fazem parte de um processo de coleta de dados semelhante ao ETL que melhora os métodos de coleta de dados herdados para o Azure Monitor. Esse processo usa um pipeline de ingestão de dados comum, o pipeline do Azure Monitor, para todas as fontes de dados e um método padrão de configuração que é mais gerenciável e escalável do que outros métodos. As vantagens específicas da recolha de dados baseada em DCR incluem o seguinte:

  • Método consistente para configuração de diferentes fontes de dados.
  • Capacidade de aplicar uma transformação para filtrar ou modificar dados de entrada antes de serem armazenados.
  • Opções de configuração escaláveis que suportam a infraestrutura como processos de código e DevOps.
  • Opção de pipeline de borda em seu próprio ambiente para fornecer escalabilidade high-end, configurações de rede em camadas e conectividade periódica.

A coleta de dados usando o pipeline do Azure Monitor é mostrada no diagrama abaixo. Cada cenário de recolha é definido num DCR que especifica como os dados devem ser processados e para onde devem ser enviados. O pipeline do Azure Monitor em si consiste em dois componentes:

  • O pipeline de nuvem é um componente do Azure Monitor que está automaticamente disponível em sua assinatura do Azure. Ele não requer nenhuma configuração e não aparece no portal do Azure. Ele representa o caminho de processamento dos dados enviados para o Azure Monitor. O DCR fornece instruções sobre como o pipeline de nuvem deve processar os dados que recebe.
  • O pipeline de borda é um componente opcional que estende o pipeline do Azure Monitor para seu próprio data center. Ele permite a coleta e o roteamento em escala de dados de telemetria antes de serem entregues ao pipeline de nuvem. Consulte Pipeline de borda para obter detalhes sobre o valor desse componente.

Diagrama que mostra o fluxo de dados para o pipeline do Azure Monitor.

Usando regras de coleta de dados

As regras de coleta de dados (DCRs) são armazenadas no Azure para que possam ser implantadas e gerenciadas centralmente como qualquer outro recurso do Azure. Eles são conjuntos de instruções que dão suporte à coleta de dados usando o pipeline do Azure Monitor. Eles fornecem uma maneira consistente e centralizada de definir e personalizar diferentes cenários de coleta de dados. Dependendo do cenário, os DCRs especificam detalhes como quais dados devem ser coletados, como transformar esses dados e para onde enviá-los.

Há duas maneiras fundamentais pelas quais os DCRs são especificados para um cenário específico de coleta de dados, conforme descrito nas seções a seguir.

Associações de regras de coleta de dados (DCRA)

As associações de regras de coleta de dados (DCRAs) são usadas para associar um DCR a um recurso monitorado. Esta é uma relação muitos-para-muitos, onde um único DCR pode ser associado a vários recursos e um único recurso pode ser associado a vários DCRs. Isso permite que você desenvolva uma estratégia para manter seu monitoramento em conjuntos de recursos com diferentes requisitos.

Diagrama que mostra DCRAs conectados a um DCR.

Por exemplo, o diagrama a seguir ilustra a coleta de dados para o agente do Azure Monitor (AMA) em execução em uma máquina virtual. Quando o agente é instalado, ele se conecta ao Azure Monitor para recuperar quaisquer DCRs associados a ele. Nesse cenário, o DCR especifica eventos e dados de desempenho a serem coletados, que o agente usa para determinar quais dados coletar da máquina e enviar para o Azure Monitor. Depois que os dados são entregues, o pipeline de nuvem executa qualquer transformação especificada no DCR para filtrar e modificar os dados e, em seguida, envia os dados para o espaço de trabalho e a tabela especificados.

Diagrama que mostra o aplicativo especificando DCR em uma chamada de API.

Ingestão direta

Com a ingestão direta, um DCR específico é especificado para processar os dados recebidos. Por exemplo, o diagrama a seguir ilustra dados de um aplicativo personalizado usando a API de ingestão de logs. Cada chamada de API especifica o DCR que processará seus dados. O DCR compreende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estejam no formato da tabela de destino e especifica um espaço de trabalho e uma tabela para enviar os dados transformados.

Diagrama que mostra a operação básica para DCR usando a API de ingestão de logs.

Transformações

As transformações permitem modificar os dados de entrada antes de serem armazenados no Azure Monitor. Você pode filtrar dados desnecessários para reduzir os custos de ingestão, remover dados confidenciais que não devem ser persistentes no espaço de trabalho do Log Analytics ou formatar dados para garantir que correspondam ao esquema de seu destino. As transformações são consultas KQL definidas no DCR que são executadas no pipeline de nuvem.

Pontos finais

Os dados enviados para o pipeline de nuvem devem ser enviados para a URL de um ponto de extremidade específico. Dependendo do cenário, isso pode ser um ponto de extremidade público, um ponto de extremidade fornecido pelo próprio DCR ou um ponto de extremidade de coleta de dados (DCE) que você cria em sua assinatura do Azure. Consulte Pontos de extremidade de coleta de dados no Azure Monitor para obter detalhes sobre os pontos de extremidade usados em diferentes cenários de coleta de dados.

Pipeline de borda

O pipeline de borda estende o pipeline do Azure Monitor para seu próprio data center. Ele permite a coleta em escala e o roteamento de dados de telemetria antes de serem entregues ao Azure Monitor na nuvem do Azure.

Os casos de uso específicos para o pipeline de borda do Azure Monitor são:

  • Escalabilidade. O pipeline de borda pode lidar com grandes volumes de dados de recursos monitorados que podem ser limitados por outros métodos de coleta, como o agente do Azure Monitor.
  • Conectividade periódica. Alguns ambientes podem ter conectividade não confiável com a nuvem ou podem ter longos períodos inesperados sem conexão. O pipeline de borda pode armazenar dados em cache localmente e sincronizar com a nuvem quando a conectividade é restaurada.
  • Rede em camadas. Em alguns ambientes, a rede é segmentada e os dados não podem ser enviados diretamente para a nuvem. O pipeline de borda pode ser usado para coletar dados de recursos monitorados sem acesso à nuvem e gerenciar a conexão com o Azure Monitor na nuvem.

Cenários de recolha de dados

A tabela a seguir descreve os cenários de coleta de dados com suporte no momento usando DCRs e o pipeline do Azure Monitor. Consulte os links em cada entrada para obter detalhes sobre sua configuração.

Cenário Description
Máquinas virtuais Instale o agente do Azure Monitor em uma VM e associe-o a um ou mais DCRs que definem os eventos e os dados de desempenho a serem coletados do sistema operacional cliente. Você pode executar essa configuração usando o portal do Azure para não precisar editar diretamente o DCR.

Consulte Coletar dados com o Azure Monitor Agent.
Quando você habilita insights de VM em uma máquina virtual, ele implanta o agente do Azure Monitor para telemetria do cliente VM. O DCR é criado para que você colete automaticamente um conjunto predefinido de dados de desempenho.

Consulte Visão geral de Habilitar VM Insights.
Informações de contentores Quando você habilita as informações de contêiner em seu cluster Kubernetes, ele implanta uma versão em contêiner do agente do Azure Monitor para enviar logs do cluster para um espaço de trabalho do Log Analytics. O DCR é criado para você automaticamente, mas talvez seja necessário modificá-lo para personalizar as configurações da coleção.

Consulte Configurar a coleta de dados em Insights de contêiner usando a regra de coleta de dados.
API de ingestão de log A API de ingestão de logs permite que você envie dados para um espaço de trabalho do Log Analytics a partir de qualquer cliente REST. A chamada de API especifica o DCR para aceitar seus dados e especifica o ponto de extremidade do DCR. O DCR compreende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estejam no formato da tabela de destino e especifica um espaço de trabalho e uma tabela para enviar os dados transformados.

Consulte API de ingestão de logs no Azure Monitor.
Hubs de Eventos do Azure Envie dados para um espaço de trabalho do Log Analytics a partir dos Hubs de Eventos do Azure. O DCR define o fluxo de entrada e define a transformação para formatar os dados para seu espaço de trabalho e tabela de destino.

Consulte Tutorial: Ingerir eventos dos Hubs de Eventos do Azure para os Logs do Azure Monitor (Visualização Pública).
DCR de transformação do espaço de trabalho O DCR de transformação do espaço de trabalho é um DCR especial associado a um espaço de trabalho do Log Analytics e permite que você execute transformações nos dados que estão sendo coletados usando outros métodos. Você cria um único DCR para o espaço de trabalho e adiciona uma transformação a uma ou mais tabelas. A transformação é aplicada a quaisquer dados enviados para essas tabelas por meio de um método que não usa um DCR.

Consulte DCR de transformação de espaço de trabalho no Azure Monitor.

Regiões DCR

As regras de recolha de dados estão disponíveis em todas as regiões públicas onde os espaços de trabalho do Log Analytics e as nuvens do Azure Government e China são suportados. As nuvens com ar comprimido ainda não são suportadas. Um DCR é criado e armazenado em uma região específica e o backup é feito na região emparelhada dentro da mesma geografia. O serviço é implantado em todas as três zonas de disponibilidade dentro da região. Por esse motivo, é um serviço com redundância de zona, o que aumenta ainda mais a disponibilidade.

A residência de dados de região única é um recurso de visualização para permitir o armazenamento de dados de clientes em uma única região e, atualmente, está disponível apenas na Região do Sudeste Asiático (Cingapura) do Geo Ásia-Pacífico e na Região Brasil Sul (Estado de São Paulo) do Geo Brasil. A residência de região única é habilitada por padrão nessas regiões.

Próximos passos

Consulte os seguintes artigos para obter informações adicionais sobre como trabalhar com DCRs.