Ingerir mensagens syslog e CEF para o Microsoft Sentinel com o Azure Monitor Agent

Artigo
06/28/2024
Aplica-se a:

Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Este artigo descreve como usar o Syslog via AMA e o Common Event Format (CEF) via conectores AMA para filtrar e ingerir rapidamente mensagens syslog, incluindo mensagens em Common Event Format (CEF), de máquinas Linux e de dispositivos e dispositivos de rede e segurança. Para saber mais sobre esses conectores de dados, consulte Syslog and Common Event Format (CEF) via conectores AMA para Microsoft Sentinel.

Nota

O Container Insights agora suporta a coleta automática de eventos Syslog de nós Linux em seus clusters AKS. Para saber mais, consulte Coleção Syslog com Container Insights.

Pré-requisitos

Antes de começar, você deve ter os recursos configurados e as permissões apropriadas atribuídas, conforme descrito nesta seção.

Pré-requisitos do Microsoft Sentinel

Instale a solução Microsoft Sentinel apropriada e certifique-se de que tem as permissões para concluir os passos neste artigo.

Instale a solução apropriada a partir do hub de conteúdo no Microsoft Sentinel. Para obter mais informações, consulte Descobrir e gerenciar conteúdo pronto para uso do Microsoft Sentinel.
Identifique qual conector de dados a solução Microsoft Sentinel requer — Syslog via AMA ou Common Event Format (CEF) via AMA e se você precisa instalar a solução Syslog ou Common Event Format . Para cumprir este pré-requisito,
- No hub de conteúdo, selecione Gerenciar na solução instalada e revise o conector de dados listado.
- Se o Syslog via AMA ou o Common Event Format (CEF) via AMA não estiver instalado com a solução, identifique se você precisa instalar a solução Syslog ou Common Event Format localizando seu dispositivo ou dispositivo em um dos seguintes artigos:
  - CEF via conector de dados AMA - Configurar dispositivo ou dispositivo específico para ingestão de dados do Microsoft Sentinel
  - Syslog via conector de dados AMA - Configure um dispositivo ou dispositivo específico para a ingestão de dados do Microsoft Sentinel
  Em seguida, instale a solução Syslog ou Common Event Format do hub de conteúdo para obter o conector de dados AMA relacionado.

Tenha uma conta do Azure com as seguintes funções de controle de acesso baseado em função do Azure (Azure RBAC):

Função incorporada	Âmbito	Razão
- Contribuidor de Máquina Virtual - Azure Connected Machine Administrador de Recursos	Máquinas virtuais (VM) Conjuntos de Dimensionamento de Máquinas Virtuais Servidores compatíveis com o Azure Arc	Para implantar o agente
Qualquer função que inclua a ação Microsoft.Recursos/implantações/*	Subscrição Grupo de recursos Regra de recolha de dados existente	Para implantar modelos do Azure Resource Manager
Contribuidor de Monitorização	Subscrição Grupo de recursos Regra de recolha de dados existente	Para criar ou editar regras de coleta de dados

Pré-requisitos do encaminhador de log

Se você estiver coletando mensagens de um encaminhador de log, os seguintes pré-requisitos se aplicam:

Você deve ter uma VM Linux designada como um encaminhador de log para coletar logs.
- Crie uma VM Linux no portal do Azure.
- Sistemas operacionais Linux com suporte para o Azure Monitor Agent.
Se o encaminhador de log não for uma máquina virtual do Azure, ele deverá ter o agente Azure Arc Connected Machine instalado nele.
A VM do encaminhador de log do Linux deve ter o Python 2.7 ou 3 instalado. Use o python --version comando ou python3 --version para verificar. Se você estiver usando Python 3, certifique-se de que ele esteja definido como o comando padrão na máquina ou execute scripts com o comando 'python3' em vez de 'python'.
O encaminhador de log deve ter o ou rsyslog daemon syslog-ng habilitado.
Para obter os requisitos de espaço para seu encaminhador de log, consulte o Benchmark de Desempenho do Agente do Azure Monitor. Você também pode revisar esta postagem do blog, que inclui designs para ingestão escalável.
Suas fontes de log, dispositivos de segurança e dispositivos devem ser configurados para enviar suas mensagens de log para o daemon syslog do encaminhador de log em vez de para o daemon syslog local.

Pré-requisitos de segurança da máquina

Configure a segurança da máquina de acordo com a política de segurança da sua organização. Por exemplo, configure sua rede para se alinhar com sua política de segurança de rede corporativa e altere as portas e protocolos no daemon para alinhar com seus requisitos. Para melhorar a configuração de segurança da sua máquina, proteja a sua VM no Azure ou reveja estas práticas recomendadas para a segurança da rede.

Se seus dispositivos estiverem enviando logs syslog e CEF por TLS porque, por exemplo, seu encaminhador de log está na nuvem, você precisará configurar o daemon syslog (rsyslog ou syslog-ng) para se comunicar em TLS. Para obter mais informações, consulte:

Configurar o conector de dados

O processo de configuração para o Syslog via AMA ou Common Event Format (CEF) via conectores de dados AMA inclui as seguintes etapas:

Instale o Azure Monitor Agent e crie uma Regra de Coleta de Dados (DCR) usando um dos seguintes métodos:
- Portal do Azure ou do Defender
- Azure Monitor Logs Ingestão API
Se você estiver coletando logs de outras máquinas usando um encaminhador de log, execute o script de "instalação" no encaminhador de log para configurar o daemon syslog para ouvir mensagens de outras máquinas e abrir as portas locais necessárias.

Selecione a guia apropriada para obter instruções.

Portal do Azure ou do Defender
API de ingestão de logs

Criar regra de coleta de dados (DCR)

Para começar, abra o Syslog via AMA ou o Common Event Format (CEF) via conector de dados AMA no Microsoft Sentinel e crie uma regra de coleta de dados (DCR).

Para o Microsoft Sentinel no portal do Azure, em Configuração, selecione Conectores de dados.
Para Microsoft Sentinel no portal do Defender, selecione Conectores de dados de configuração>do Microsoft Sentinel>.
Para syslog, digite Syslog na caixa Pesquisar . A partir dos resultados, selecione o Syslog via conector AMA .
Para CEF, digite CEF na caixa Pesquisar . A partir dos resultados, selecione o Formato Comum de Evento (CEF) através do conector AMA.
Selecione Abrir página do conector no painel de detalhes.
Na área Configuração, selecione +Criar regra de coleta de dados.
Na guia Básico:
- Digite um nome DCR.
- Selecione a sua subscrição.
- Selecione o grupo de recursos onde você deseja localizar seu DCR.
Selecione Next: Recursos >.

Definir recursos de VM

Na guia Recursos, selecione as máquinas nas quais você deseja instalar a AMA — neste caso, sua máquina de encaminhamento de log. Se o encaminhador de log não aparecer na lista, talvez não tenha o agente do Azure Connected Machine instalado.

Use os filtros disponíveis ou a caixa de pesquisa para localizar sua VM de encaminhador de log. Expanda uma assinatura na lista para ver seus grupos de recursos e um grupo de recursos para ver suas VMs.
Selecione a VM do encaminhador de log na qual você deseja instalar o AMA. A caixa de seleção aparece ao lado do nome da VM quando você passa o mouse sobre ela.
Reveja as alterações e selecione Seguinte: Recolher >.

Instalações e gravidades selecionadas

Lembre-se de que usar o mesmo recurso para mensagens syslog e CEF pode resultar em duplicação de ingestão de dados. Para obter mais informações, consulte Prevenção de duplicação de ingestão de dados.

Na guia Coletar, selecione o nível mínimo de log para cada recurso. Quando você seleciona um nível de log, o Microsoft Sentinel coleta logs para o nível selecionado e outros níveis com maior gravidade. Por exemplo, se você selecionar LOG_ERR, o Microsoft Sentinel coletará logs para os níveis de LOG_ERR, LOG_CRIT, LOG_ALERT e LOG_EMERG .
Reveja as suas seleções e selecione Seguinte: Rever + criar.

Rever e criar a regra

Depois de concluir todas as guias, revise o que você inseriu e crie a regra de coleta de dados.

Na guia Revisar e criar, selecione Criar.

O conector instala o Agente do Azure Monitor nas máquinas selecionadas ao criar seu DCR.
Verifique as notificações no portal do Azure ou no portal do Microsoft Defender para ver quando o DCR é criado e o agente está instalado.
Selecione Atualizar na página do conector para ver o DCR exibido na lista.

Instalar o Agente do Azure Monitor

Siga as instruções apropriadas da documentação do Azure Monitor para instalar o Azure Monitor Agent no seu encaminhador de log. Lembre-se de usar as instruções para Linux, não para Windows.

Você pode criar Regras de Coleta de Dados (DCRs) usando a API de Ingestão de Logs do Azure Monitor. Para obter mais informações, consulte Regras de coleta de dados no Azure Monitor.

Criar a regra de coleta de dados

Crie um arquivo JSON para a regra de coleta de dados, crie uma solicitação de API e envie a solicitação.

Prepare um arquivo DCR no formato JSON. O conteúdo desse arquivo é o corpo da solicitação em sua solicitação de API.

Para obter um exemplo, consulte Corpo da solicitação de criação de DCR Syslog/CEF. Para coletar mensagens syslog e CEF na mesma regra de coleta de dados, consulte o exemplo de fluxos Syslog e CEF no mesmo DCR.
- Verifique se o streams campo está definido como Microsoft-Syslog para mensagens syslog ou para Microsoft-CommonSecurityLog mensagens CEF.
- Adicione os níveis de filtro e log de recursos nos facilityNames parâmetros e logLevels . Consulte as seções Exemplos de instalações e níveis de log.
Crie uma solicitação de API em um cliente de API REST de sua escolha.
1. Para o URL e o cabeçalho da solicitação, copie a URL e o cabeçalho da solicitação a seguir.
```
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
```
  - Substitua os valores apropriados para os {subscriptionId} espaços reservados e {resourceGroupName} .
  - Insira um nome de sua escolha para o DCR no lugar do {dataCollectionRuleName} espaço reservado.
2. Para o corpo da solicitação, copie e cole o conteúdo do arquivo JSON DCR que você criou (na etapa 1 acima) no corpo da solicitação.
Envie o pedido.

Para obter um exemplo da resposta que você deve receber, consulte Syslog/CEF DCR creation response.

Associar o DCR ao encaminhador de log

Agora você precisa criar uma DCR Association (DCRA) que vincule o DCR ao recurso VM que hospeda seu encaminhador de log.

Crie uma solicitação de API em um cliente de API REST de sua escolha.
Para o URL e o cabeçalho da solicitação, copie a seguinte URL da solicitação e o cabeçalho.
```
PUT 
https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
```
- Substitua os valores apropriados pelos {subscriptionId}espaços reservados , {resourceGroupName}e {virtualMachineName} .
- Insira um nome de sua escolha para o DCR no lugar do {dataCollectionRuleAssociationName} espaço reservado.
Para o corpo da solicitação, copie o seguinte corpo da solicitação.
```
{
  "properties": {
    "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
  }
}
```
- Substitua os valores apropriados para os {subscriptionId} espaços reservados e {resourceGroupName} .
- Insira um nome de sua escolha para o DCR no lugar do {dataCollectionRuleName} espaço reservado.
Envie o pedido.

Exemplos de seções de instalações e níveis de log

Analise estes exemplos das configurações de instalações e níveis de log. O name campo inclui o nome do filtro.

Para a ingestão de mensagens CEF, o valor for "streams" deve ser "Microsoft-CommonSecurityLog" em vez de "Microsoft-Syslog".

Este exemplo coleta eventos dos cronníveis , daemon, local0local3 , e uucp facilities, com os Warningníveis , Error, Critical, Alert, e Emergency log:

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

Fluxos Syslog e CEF no mesmo DCR

Este exemplo mostra como você pode coletar mensagens syslog e CEF no mesmo DCR.

O DCR recolhe mensagens de eventos CEF para:

As authpriv e mark instalações com os Infoníveis , Notice, Warning, Error, Critical, Alert, e Emergency log
A daemon instalação com os Warningníveis , Error, Critical, Alert, e Emergency log

Ele coleta mensagens de eventos syslog para:

O kern, local0, local5, e news instalações com os Criticalníveis , Alert, e Emergency log
O mail e uucp instalações com o Emergency nível de log

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

Execute o script de "instalação"

Se você estiver usando um encaminhador de log, configure o daemon syslog para ouvir mensagens de outras máquinas e abra as portas locais necessárias.

Na página do conector, copie a linha de comando que aparece em Executar o seguinte comando para instalar e aplicar o coletor CEF:

Captura de tela da linha de comando na página do conector.

Ou copie-o daqui:

sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py

Entre na máquina de encaminhamento de log onde você acabou de instalar o AMA.
Cole o comando copiado na última etapa para iniciar o script de instalação.
O script configura o rsyslog syslog-ng ou daemon para usar o protocolo necessário e reinicia o daemon. O script abre a porta 514 para ouvir mensagens recebidas nos protocolos UDP e TCP. Para alterar essa configuração, consulte o arquivo de configuração do daemon syslog de acordo com o tipo de daemon em execução na máquina:
- Rsyslog: /etc/rsyslog.conf
- Syslog-ng: /etc/syslog-ng/syslog-ng.conf
Se você estiver usando o Python 3 e ele não estiver definido como o comando padrão na máquina, substitua python3 python o comando colado. Consulte Pré-requisitos do encaminhador de log.

Nota

Para evitar cenários de disco completo em que o agente não pode funcionar, recomendamos que você defina a syslog-ng configuração ou rsyslog para não armazenar logs desnecessários. Um cenário de disco completo interrompe a função da AMA instalada. Para obter mais informações, consulte RSyslog ou Syslog-ng.

Configurar o dispositivo ou dispositivo de segurança

Obtenha instruções específicas para configurar o seu dispositivo ou dispositivo de segurança consultando um dos seguintes artigos:

Entre em contato com o provedor de soluções para obter mais informações ou quando as informações não estiverem disponíveis para o aparelho ou dispositivo.

Testar o conector

Verifique se as mensagens de registro de sua máquina linux ou dispositivos e dispositivos de segurança são ingeridos no Microsoft Sentinel.

Para validar que o daemon syslog está em execução na porta UDP e que o AMA está escutando, execute este comando:
```
netstat -lnptv
```
Você deve ver o rsyslog ou syslog-ng daemon escutando na porta 514.
Para capturar mensagens enviadas de um registador ou de um dispositivo ligado, execute este comando em segundo plano:
```
tcpdump -i any port 514 -A -vv &
```
Depois de concluir a validação, recomendamos que você pare o tcpdump: Type fg e selecione Ctrl+C.
Para enviar mensagens de demonstração, conclua as seguintes etapas:
- Use o utilitário netcat. Neste exemplo, o utilitário lê dados postados através do echo comando com o interruptor newline desligado. Em seguida, o utilitário grava os dados na porta 514 UDP no host local sem tempo limite. Para executar o utilitário netcat, talvez seja necessário instalar outro pacote.
```
echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
```
- Use o registrador. Este exemplo grava a mensagem no local 4 recurso, no nível Warningde gravidade, na porta 514, no host local, no formato CEF RFC. Os -t sinalizadores e --rfc3164 são usados para cumprir com o formato RFC esperado.
```
logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
```

Para verificar se o conector está instalado corretamente, execute o script de solução de problemas com um destes comandos:

Para os registos do MIE, executar:

 sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef

Para logs do Cisco Adaptive Security Appliance (ASA), execute:

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa

Para logs do Cisco Firepower Threat Defense (FTD), execute:

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd

Partilhar via

Ingerir mensagens syslog e CEF para o Microsoft Sentinel com o Azure Monitor Agent

Pré-requisitos

Pré-requisitos do Microsoft Sentinel

Pré-requisitos do encaminhador de log

Pré-requisitos de segurança da máquina

Configurar o conector de dados

Criar regra de coleta de dados (DCR)

Definir recursos de VM

Instalações e gravidades selecionadas

Rever e criar a regra

Instalar o Agente do Azure Monitor

Criar a regra de coleta de dados

Associar o DCR ao encaminhador de log

Exemplos de seções de instalações e níveis de log

Fluxos Syslog e CEF no mesmo DCR

Execute o script de "instalação"

Configurar o dispositivo ou dispositivo de segurança

Testar o conector

Comentários

Recursos adicionais

Partilhar via

Ingerir mensagens syslog e CEF para o Microsoft Sentinel com o Azure Monitor Agent

Pré-requisitos

Pré-requisitos do Microsoft Sentinel

Pré-requisitos do encaminhador de log

Pré-requisitos de segurança da máquina

Configurar o conector de dados

Criar regra de coleta de dados (DCR)

Definir recursos de VM

Instalações e gravidades selecionadas

Rever e criar a regra

Execute o script de "instalação"

Configurar o dispositivo ou dispositivo de segurança

Testar o conector

Conteúdos relacionados

Comentários

Recursos adicionais