Transformação e ingestão de dados personalizados no Microsoft Sentinel

O Log Analytics do Azure Monitor serve como a plataforma subjacente ao workspace do Microsoft Sentinel. Por padrão, os logs ingeridos no Microsoft Sentinel são armazenados no Log Analytics por padrão. Do Microsoft Sentinel, você pode acessar os logs armazenados e executar consultas de KQL (linguagem de consulta Kusto) para detectar ameaças e monitorar sua atividade de rede.

O processo de ingestão de dados personalizado do Log Analytics fornece um alto nível de controle sobre os dados que são ingeridos. Ele usa DCRs (regras de coleta de dados) para coletar seus dados e manipulá-los mesmo antes de serem armazenados em seu workspace. Isso permite filtrar e enriquecer tabelas padrão e criar tabelas altamente personalizáveis para armazenar dados de fontes que produzem formatos de log exclusivos.

O Microsoft Sentinel oferece duas ferramentas para controlar esse processo:

• A API de ingestão de logs permite que você envie logs de formato personalizado de qualquer fonte de dados para seu workspace do Log Analytics e armazene esses logs em determinadas tabelas padrão específicas ou em tabelas de formato personalizado criadas por você. Você tem controle total sobre a criação dessas tabelas personalizadas, até a especificação dos nomes e tipos de coluna. Você cria DCRs (regras de coleta de dados) para definir, configurar e aplicar transformações a esses fluxos de dados.

• A transformação da coleta de dados usa DCRs para aplicar consultas KQL básicas a logs padrão de entrada (e certos tipos de logs personalizados) antes que eles sejam armazenados em seu workspace. Essas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com análises ou dados externos ou mascarar informações confidenciais ou pessoais.

Essas duas ferramentas serão explicadas em mais detalhes abaixo.

Casos de uso e cenários de exemplo

Filtragem

A transformação de tempo de ingestão fornece a capacidade de filtrar dados irrelevantes mesmo antes de ele ser armazenado primeiro em seu workspace.

Você pode filtrar no nível de registro (linha), especificando critérios para quais registros incluir, ou no nível de campo (coluna), removendo o conteúdo de campos específicos. A filtragem de dados irrelevantes pode:

• Ajudar a reduzir os custos, conforme você reduz os requisitos de armazenamento
• Aprimorar o desempenho, pois são necessários menos ajustes no tempo de consulta

A transformação de dados de tempo de ingestão dá suporte a cenários de vários workspaces.

Normalização

A transformação em tempo de ingestão também permite normalizar logs quando ingeridos em tabelas internas ou normalizadas por ASIM do cliente. O uso da normalização em tempo de ingestão aprimora o desempenho das consultas normalizadas.

Para obter mais informações sobre a normalização em tempo de ingestão usando transformações, consulte Normalização em tempo de ingestão.

Enriquecimento e marcação

A transformação de tempo de ingestão também permite aprimorar a análise, enriquecendo seus dados com colunas extras adicionadas à transformação KQL configurada. Colunas extras podem incluir dados analisados ou calculados de colunas existentes ou dados extraídos de estruturas de dados criadas imediatamente.

Por exemplo, você pode adicionar informações extras, como dados de RH externos, uma descrição de evento expandido ou classificações que dependem do usuário, do local ou do tipo de atividade.

Mascaramento

As transformações de tempo de ingestão também podem ser usadas para mascarar ou remover informações pessoais. Por exemplo, você pode usar a transformação de dados para mascarar tudo exceto os últimos dígitos de um número do seguro social ou número de cartão de crédito, ou pode substituir outros tipos de dados pessoais por texto aleatório, padrão ou dados fictícios. Mascarar suas informações pessoais no momento da ingestão para aumentar a segurança em toda a rede.

Fluxo de ingestão de dados no Microsoft Sentinel

A imagem a seguir mostra onde a transformação de dados de tempo de ingestão entra no fluxo de ingestão de dados no Microsoft Sentinel.

O Microsoft Sentinel coleta dados para o workspace do Log Analytics de várias fontes.

• Os dados de conectores de dados internos são processados no Log Analytics usando certa combinação de fluxos de trabalho codificados e transformações de tempo de ingestão no DCR do workspace. Esses dados podem ser armazenados em tabelas padrão ou em um conjunto específico de tabelas personalizadas.
• Os dados ingeridos diretamente no ponto de extremidade da API de ingestão de logs são processados por um DCR padrão, que pode incluir uma transformação de tempo de ingestão. Esses dados podem ser armazenados em tabelas padrão ou personalizadas de qualquer tipo.

Suporte a DCR no Microsoft Sentinel

Em Log Analytics, as DCRs (regras de coleta de dados) determinam o fluxo de dados para diferentes fluxos de entrada. Um fluxo de dados inclui: o fluxo de dados a ser transformado (padrão ou personalizado), workspace de destino, a transformação de KQL e a tabela de saída. Para fluxos de entrada padrão, a tabela de saída é igual ao fluxo de entrada.

O suporte para DCRs no Microsoft Sentinel inclui:

• DCRs padrão, atualmente compatível apenas com fluxos de trabalho e conectores baseados em AMA usando a nova API de ingestão de logs.

  Cada conector ou fluxo de trabalho de origem de log pode ter uma DCR padrão própria dedicada, embora vários conectores ou fontes também possam compartilhar uma DCR padrão comum.

• DCRs de transformação de workspace, para fluxos de trabalho que atualmente não dão suporte a DCRs padrão.

  Uma DCR de transformação de workspace atende a todos os fluxos de trabalho compatíveis em um workspace que não são atendidos por DCRs padrão. Um workspace pode ter apenas uma DCR de transformação de workspace, mas essa DCR contém transformações separadas para cada fluxo de entrada. Além disso, as DCRs de transformação do workspace são compatíveis apenas com um conjunto específico de tabelas.

O suporte do Microsoft Sentinel para transformação de tempo de ingestão depende do tipo de conector de dados que você está usando. Para obter informações mais detalhadas sobre logs personalizados, transformação de tempo de ingestão e regras de coleta de dados, consulte os artigos vinculados na seção Próximas etapas no final deste artigo.

Suporte a DCR para conectores de dados do Microsoft Sentinel

A seguinte tabela descreve o suporte a DCR para tipos de conectores de dados do Microsoft Sentinel:

Suporte à transformação de dados para conectores de dados personalizados

Se você tiver criado conectores de dados personalizados para o Microsoft Sentinel, poderá usar DCRs para configurar como os dados serão analisados e armazenados no Log Analytics em seu workspace.

No momento, somente as seguintes tabelas são compatíveis com a ingestão de logs personalizados:

• WindowsEvent
• SecurityEvent
• CommonSecurityLog
• syslog
• ASimAuditEventLogs
• ASimAuthenticationEventLogs
• ASimDnsActivityLogs
• ASimFileEventLogs
• ASimNetworkSessionLogs
• ASimWebSessionLogs

Para obter mais informações, veja Tabelas que oferecem suporte a transformações de tempo de ingestão.

Limitações

Atualmente, a transformação de dados de tempo de ingestão tem os seguintes problemas conhecidos para conectores de dados do Microsoft Sentinel:

• As transformações de dados usando DCRs de transformação de workspace têm suporte apenas por tabela, não por conector.

  Só pode haver um DCR de transformação de workspace para um workspace inteiro. Dentro desse DCR, cada tabela pode usar um fluxo de entrada separado com uma transformação própria. A divisão de dados para vários destinos (workspaces do Log Analytics) com uma DCR de transformação de workspace não é possível. Os conectores de dados baseados em AMA usam a configuração que você define na DCR associada para fluxos e transformações de entrada e saída e ignoram a DCR de transformação do workspace.

• Há suporte para as seguintes configurações somente via API:

  • DCRs padrão para conectores baseados em AMA, como Eventos de Segurança do Windows e Eventos Encaminhados do Windows.

  • DCRs padrão para ingestão de logs personalizados para uma tabela padrão.

• Pode levar até 60 minutos para que as configurações de transformação de dados se apliquem.

• Sintaxe KQL: nem todos os operadores são compatíveis. Para obter mais informações, configure limitações do KQL e recursos de KQL compatíveis na documentação do Azure Monitor.

• Só é possível enviar logs de uma fonte de dados específica para um espaço de trabalho. Para enviar dados de uma única fonte de dados para vários workspaces (destinos) com um DCR padrão, crie um DCR por workspace.

Próximas etapas

Introdução à configuração da transformação de dados de tempo de ingestão no Microsoft Sentinel.

Saiba mais sobre os tipos de conector de dados do Microsoft Sentinel. Para obter mais informações, consulte:

• Conectores de dados do Microsoft Azure Sentinel
• Encontrar o conector de dados do Microsoft Azure Sentinel

Para obter informações mais detalhadas sobre a transformação de tempo de ingestão, a API de logs personalizados e as regras de coleta de dados, confira os seguintes artigos na documentação do Azure Monitor:

• Transformações de coleta de dados nos Logs do Azure Monitor
• API de ingestão de logs nos Logs do Azure Monitor
• Regras de coleta de dados do Azure Monitor