Ingerir dados do fluxo do Cribl para o Azure Data Explorer

Cribl Stream é um mecanismo de processamento que coleta, processa e transmite com segurança dados de eventos de computadores de qualquer fonte. Ele permite que você analise e processe esses dados para qualquer destino, para análise e gerenciamento de forma segura.

Este artigo mostra como ingerir dados com o Cribl Stream.

Para obter uma lista completa de conectores de dados, consulte Visão geral das integrações de dados.

Pré-requisitos

• Uma conta do Cribl Stream
• Um cluster e um banco de dados do Azure Data Explorer com as políticas de cache e retenção padrão.
• Um ambiente de consulta. Para mais informações, confira a Visão geral de integrações de consulta.
• O URI do cluster Kusto para o valor TargetURI no formato https://ingest-<cluster>.<região>.kusto.windows.net. Para obter mais informações, consulte Adicionar uma conexão de cluster.

Crie uma entidade de serviço do Microsoft Entra.

A entidade de serviço do Microsoft Entra pode ser criada por meio do portal do Azure ou programaticamente, como no exemplo a seguir.

Essa entidade de serviço é a identidade usada pelo conector para gravar dados na sua tabela no Kusto. Posteriormente, você vai conceder para essa entidade de serviço permissões de acesso aos recursos do Kusto.

1. Inicie sessão na sua assinatura do Azure com a CLI do Azure. Em seguida, autentique no navegador.

   az login
   

2. Escolha a assinatura para hospedar a entidade de segurança. Essa etapa é necessária quando você tem várias assinaturas.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. Crie a entidade de serviço. Neste exemplo, a entidade de serviço é chamada my-service-principal.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. A partir dos dados JSON retornados, copie o appId, password e tenant para uso futuro.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Você criou o aplicativo do Microsoft Entra e a entidade de serviço.

Criar uma tabela de destino

Crie uma tabela de destino para os dados de entrada e um mapeamento de ingestão para mapear as colunas de dados ingeridas para as colunas na tabela de destino.

1. Execute o seguinte comando de criação de tabela no editor de consultas, substituindo o espaço reservado TableName pelo nome da tabela de destino:

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. Execute o seguinte comando criar mapeamento de ingestão, substituindo os espaços reservados TableName pelo nome da tabela de destino e TableNameMapping pelo nome do mapeamento de ingestão:

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. Conceda à entidade de serviço de Criar uma entidade de serviço do Microsoft Entra permissões de função de ingestor de banco de dados para trabalhar com o banco de dados. Para obter mais informações, consulte os Exemplos. Substitua o espaço reservado DatabaseName pelo nome do banco de dados de destino e ApplicationID pelo valor AppId que você salvou ao criar uma entidade de serviço do Microsoft Entra.

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

Criar destino do Cribl Stream

A seção a seguir descreve como criar um destino do Cribl Stream que grava dados na sua tabela no Kusto. Cada tabela requer um conector de destino separado do Cribl Stream.

Selecionar destino

Para conectar o Cribl Stream à sua tabela:

1. No menu superior do Cribl, selecione Gerenciar e, em seguida, selecione um Grupo de Trabalho.

2. Selecione Roteamento > QuickConnect (Stream) > Adicionar Destino.

3. Na janela Configurar novo Destino QuickConnect, escolha Azure Data Explorer e clique em Adicionar agora.

Definir as configurações gerais

Na janela Novo Data Explorer, em Configurações Gerais, defina as seguintes configurações:

Quando concluído, selecione Avançar.

Configurações de autenticação

Selecione Configurações de Autenticação na barra lateral. Use os valores salvos em Criar uma entidade de serviço do Microsoft Entra juntamente com seu URI base da seguinte forma:

Em seguida, selecione Avançar.

Fila Persistente

Exibido quando o Modo de Ingestão está configurado como Transmissão e o Comportamento de Contrapressão está configurado como Fila Persistente.

Quando terminar, selecione Avançar.

Configurações de processamento

Quando terminar, selecione Avançar.

Configurações do Parquet

Exibido quando o Parquet está selecionado para Formato de Dados.

Escolher o Parquet abre uma guia de Configurações do Parquet, permitindo selecionar o esquema do Parquet.

Novas tentativas

Exibido quando o modo de Ingestão está configurado como Transmissão.

Quando terminar, selecione Avançar.

Configurações avançadas

Selecione Configurações Avançadas na barra lateral. O seguinte descreve as configurações avançadas quando o modo Envio em lote está selecionado:

Quando concluído, selecione Salvar.

Configuração de conexão

Na janela Configuração de Conexão que será aberta, selecione Conexão Passthru e, em seguida, Salvar. O conector começa a enfileirar os dados.

Confirmar ingestão de dados

1. Quando os dados chegarem à tabela, confirme a transferência dos dados, verificando a contagem de linhas:

   <Tablename> 
   | count
   

2. Confirme as ingestões enfileiradas nos últimos cinco minutos:

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. Confirme se não há falhas no processo de ingestão:

   • Para envio em lote:

   .show ingestion failures
   

   • Para transmissão:

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. Verifique os dados na sua tabela:

   <TableName>
   | take 10
   

Para exemplos de consultas e diretrizes, confira Escrever consultas em KQL e Documentação da Linguagem de Consulta Kusto.

Conteúdo relacionado

• Visão geral das integrações de dados
• Visão geral do KQL (Linguagem de Consulta Kusto)