Regras de coleta de dados (DCRs) no Azure Monitor

  • Artigo

As regras de coleta de dados (DCRs) fazem parte de um processo de coleta de dados semelhante a ETL, que melhora os métodos de coleta de dados herdados para o Azure Monitor. Esse processo usa um pipeline de ingestão de dados, o pipeline do Azure Monitor, para todas as fontes de dados e um método padrão de configuração mais gerenciável e escalonável do que outros métodos. As vantagens específicas da coleta de dados baseada em DCR incluem o seguinte:

  • Método consistente para configuração de diferentes fontes de dados.
  • Capacidade de aplicar uma transformação para filtrar ou modificar dados de entrada antes de serem armazenados.
  • Opções de configuração escalonáveis que dão suporte à infraestrutura como processos de código e DevOps.
  • Opção de pipeline de borda no seu próprio ambiente para fornecer escalabilidade de alto nível, configurações de rede em camadas e conectividade periódica.

A coleta de dados usando o pipeline do Azure Monitor é mostrada no diagrama abaixo. Cada cenário de coleta é definido em uma DCR que especifica como os dados devem ser processados e para onde devem ser enviados. O pipeline do Azure Monitor em si consiste em dois componentes:

  • O pipeline de nuvem é um componente do Azure Monitor que está disponível automaticamente em sua assinatura do Azure. Ele não requer configuração e não aparece no portal do Azure. Ele representa o caminho de processamento dos dados enviados para o Azure Monitor. A DCR fornece instruções sobre como o pipeline de nuvem deve processar os dados recebidos.
  • O pipeline de borda é um componente opcional que estende o pipeline do Azure Monitor para seu próprio data center. Ele habilita a coleta em escala e o roteamento de dados de telemetria antes de serem enviados para o pipeline de nuvem. Consulte pipeline de borda para obter detalhes sobre o valor desse componente.

Diagrama que mostra o fluxo de dados do pipeline do Azure Monitor.

Usar regras de coleta de dados

As regras de coleta de dados (DCRs) são armazenadas no Azure para que possam ser implantadas e gerenciadas centralmente, como qualquer outro recurso do Azure. Elas são conjuntos de instruções que dão suporte à coleta de dados usando o pipeline do Azure Monitor. Elas fornecem uma maneira consistente e centralizada de definir e personalizar diferentes cenários de coleta de dados. Dependendo do cenários, as DCRs especificam detalhes como quais dados devem ser coletados, como transformar esses dados e para onde enviá-los.

Há duas maneiras fundamentais de especificar DCRs para um cenário de coleta de dados específico, conforme descrito nas seções a seguir.

Associações de regras de coleta de dados (DCRA)

As associações de regras de coleta de dados (DCRAs) são usadas para associar uma DCR a um recurso monitorado. Essa é uma relação muitos para muitos, em que uma única DCR pode ser associada a vários recursos e um único recurso pode ser associado a várias DCRs. Isso permite que você desenvolva uma estratégia para manter o monitoramento entre conjuntos de recursos com requisitos diferentes.

Diagrama que mostra DCRAs conectadas a um DCR.

Por exemplo, o diagrama a seguir ilustra a coleta de dados para o agente do Azure Monitor (AMA) em execução em uma máquina virtual. Quando o agente é instalado, ele se conecta ao Azure Monitor para recuperar as DCRs associadas a ele. Nesse cenário, a DCR especifica os eventos e dados de desempenho a serem coletados, que são os que o agente usa para determinar quais dados coletar no computador e enviar para o Azure Monitor. Depois que os dados são entregues, o pipeline de nuvem executa as transformações especificadas na DCR para filtrar e modificar os dados e, em seguida, envia os dados para o workspace e tabela especificados.

Diagrama que mostra o aplicativo especificando o DCR em uma chamada à API.

Ingestão direta

Com a ingestão direta, uma DCR é especificada para processar os dados de entrada. Por exemplo, o diagrama a seguir ilustra dados de um aplicativo personalizado usando a API de ingestão de logs. Cada chamada à API especifica a DCR que processará seus dados. O DCR entende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estejam no formato da tabela de destino e especifica um workspace e uma tabela para enviar os dados transformados.

Diagrama que mostra a operação básica para DCR usando a API de ingestão de logs.

Transformações

As transformações permitem modificar os dados de entrada antes que sejam armazenados no Azure Monitor. Você pode filtrar dados desnecessários para reduzir os custos de ingestão, remover dados confidenciais que não devem ser mantidos no workspace do Log Analytics ou formatar dados para garantir que eles correspondam ao esquema de seu destino. As transformações são consultas KQL definidas na DCR que são executadas no pipeline de nuvem.

Pontos de extremidade

Os dados enviados ao pipeline de nuvem devem ser enviados para o URL de um ponto de extremidade específico. Dependendo do cenário, pode ser um ponto de extremidade público, um ponto de extremidade fornecido pela própria DCR ou um ponto de extremidade de coleta de dados (DCE) criado em sua assinatura do Azure. Consulte Pontos de extremidade de coleta de dados no Azure Monitor para obter detalhes sobre os pontos de extremidade usados em diferentes cenários de coleta de dados.

Pipeline de borda

O pipeline de borda estende o pipeline do Azure Monitor para seu próprio data center. Ele habilita a coleta em escala e o roteamento de dados de telemetria antes de serem entregues ao Azure Monitor na nuvem do Azure.

Os casos de uso específicos do pipeline de borda do Azure Monitor são:

  • Escalabilidade. O pipeline de borda pode lidar com grandes volumes de dados de recursos monitorados, que podem ser limitados por outros métodos de coleção, como o agente do Azure Monitor.
  • Conectividade periódica. Alguns ambientes podem ter uma conectividade não confiável com a nuvem ou podem ter longos períodos inesperados sem conexão. O pipeline de borda pode armazenar dados em cache localmente e ser sincronizado com a nuvem quando a conectividade for restaurada.
  • Rede em camadas. Em alguns ambientes, a rede é segmentada e os dados não podem ser enviados diretamente para a nuvem. O pipeline de borda pode ser usado para coletar dados de recursos monitorados sem acesso à nuvem e gerenciar a conexão com o Azure Monitor na nuvem.

Cenários de coleta de dados

A tabela a seguir descreve os cenários de coleta de dados com suporte no momento usando DCRs e o pipeline do Azure Monitor. Consulte os links em cada entrada para obter detalhes sobre sua configuração.

Cenário Descrição
Máquinas virtuais Instale o agente do Azure Monitor em uma VM e associe-o a uma ou mais DCRs que definem os eventos e os dados de desempenho a serem coletados do sistema operacional cliente. Você pode executar essa configuração usando o portal do Azure para não precisar editar diretamente a DCR.

Confira Coletar dados com o agente do Azure Monitor.
Quando você habilita os insights de VM em uma máquina virtual, ele implanta o agente do Azure Monitor para telemetria do cliente de VM. O DCR é criado para você coletar automaticamente um conjunto predefinido de dados de desempenho.

Consulte Visão geral de habilitação de insights da VM.
Insights do contêiner Quando você habilita insights de contêiner em seu cluster do Kubernetes, ele implanta uma versão em contêineres do agente do Azure Monitor para enviar logs do cluster para um workspace do Log Analytics. A DCR é criada automaticamente para você, mas talvez seja necessário modificá-la para personalizar as configurações da coleção.

Consulte Configurar a coleta de dados nos insights do Contêiner usando a regra da coleta de dados.
API de ingestão de logs A API de ingestão de Logs permite que você envie dados para um workspace do Log Analytics de qualquer cliente REST. A chamada à API especifica a DCR para aceitar seus dados e especifica o ponto de extremidade da DCR. O DCR entende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estejam no formato da tabela de destino e especifica um workspace e uma tabela para enviar os dados transformados.

Confira a API de ingestão de logs no Azure Monitor.
Hubs de eventos do Azure Enviar dados para um workspace do Log Analytics dos Hubs de Eventos do Azure. A DCR define o fluxo de entrada e define a transformação para formatar os dados para seu workspace e tabela de destino.

Consulte Tutorial: como ingerir eventos dos Hubs de Eventos do Azure nos Logs do Azure Monitor (Visualização Pública).
DCR de transformação do workspace A DCR de transformação do workspace é uma DCR especial associada a um workspace do Log Analytics e permite que você execute transformações nos dados coletados usando outros métodos. Você cria uma única DCR para o workspace e adiciona uma transformação a uma ou mais tabelas. A transformação é aplicada a todos os dados enviados a essas tabelas por meio de um método que não usa uma DCR.

Consulte a DCR de transformação do Workspace no Azure Monitor.

Regiões de DCR

As regras de coleta de dados estão disponíveis em todas as regiões públicas em que há suporte para workspaces do Log Analytics, além das nuvens do Azure Governamental e da China. Nuvens desconectadas ainda não são compatíveis. Uma DCR é criada e armazenada em uma região específica e o backup é feito para a região emparelhada dentro da mesma área geográfica. O serviço é implantado nas três zonas de disponibilidade dentro da região. Por esse motivo, é um serviço com redundância de zona, o que aumenta ainda mais a disponibilidade.

Residência de dados de região única é uma versão prévia do recurso para habilitar o armazenamento de dados do cliente em apenas uma região e está disponível atualmente apenas na região do Sudeste da Ásia (Singapura), na área geográfica do Pacífico Asiático e na região Sul do Brasil (Estado de São Paulo). A residência de região única é habilitada por padrão nessas regiões.

Próximas etapas

Confira os artigos a seguir para obter mais informações sobre como trabalhar com DCRs.