Criar uma conexão de dados da Grade de Eventos para o Azure Data Explorer

1. No cluster que você criou, selecione Databases>TestDatabase.

   

2. Selecione Ingestão de dados Adicionar conexão de> dados.

   

3. Em Noções básicas, selecione o tipo de conexão: Armazenamento de Blob e preencha o formulário com as seguintes informações:

   

   Definição	Valor sugerido	Descrição do campo
   Nome da ligação de dados	ensaio-ligação à rede	O nome da conexão que você deseja criar no Azure Data Explorer.
   Subscrição da conta de armazenamento	ID da sua subscrição	O ID da subscrição onde se encontra a sua conta de armazenamento.
   Conta de armazenamento	gridteststorage1	O nome da conta de armazenamento que você criou anteriormente.
   Tipo de evento	Blob criado ou Blob renomeado	O tipo de evento que desencadeia a ingestão. O Blob renomeado é suportado apenas para armazenamento ADLSv2. Para renomear um blob, navegue até o blob no portal do Azure, clique com o botão direito do mouse no blob e selecione Renomear. Os tipos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed.
   Criação de recursos	Automático	Defina se você deseja que o Azure Data Explorer crie uma Assinatura de Grade de Eventos, um namespace de Hubs de Eventos e Hubs de Eventos para você. Para criar recursos manualmente, consulte Criar recursos manualmente para ingestão de grade de eventos

4. Selecione Configurações de filtro se quiser acompanhar assuntos específicos. Defina os filtros para as notificações da seguinte forma:

   • Campo de prefixo é o prefixo literal do sujeito. Como o padrão aplicado é iniciado, ele pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
     • Para definir um filtro no contêiner de blob, o campo deve ser definido da seguinte forma: /blobServices/default/containers/[container prefix].
     • Para definir um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), o campo deve ser definido da seguinte maneira: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
   • Campo de sufixo é o sufixo literal do blob. Não são permitidos curingas.
   • O campo Diferencia maiúsculas de minúsculas indica se os filtros de prefixo e sufixo diferenciam maiúsculas de minúsculas
   • Para obter mais informações sobre como filtrar eventos, consulte Eventos de armazenamento de Blob.

   

5. Selecione Next: Ingest properties.

6. Preencha o formulário com as seguintes informações. Os nomes de tabelas e mapeamentos diferenciam maiúsculas de minúsculas:

   

   Propriedades de ingestão:

   Definição	Valor sugerido	Descrição do campo
   Permitir o encaminhamento dos dados para outros bancos de dados (conexão de dados com vários bancos de dados)	Não permitir	Ative essa opção se quiser substituir o banco de dados de destino padrão associado à conexão de dados. Para obter mais informações sobre roteamento de banco de dados, consulte Roteamento de eventos.
   Nome da tabela	TestTable	A tabela que criou em TestDatabase.
   Formato dos dados	JSON	Os formatos suportados são Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW e W3CLOG. As opções de compressão suportadas são Zip e Gzip.
   Mapeamento	TestMapping	O mapeamento que você criou em TestDatabase, que mapeia dados de entrada para os nomes de coluna e tipos de dados de TestTable. Se não for especificado, um mapeamento de dados de identidade derivado do esquema da tabela será usado.
   Definições avançadas	Os meus dados têm cabeçalhos	Ignora cabeçalhos. Compatível com ficheiros do tipo *SV.

   Nota

   Não é necessário especificar todas as configurações de roteamento padrão. Configurações parciais também são aceitas.

7. Selecione Seguinte: Rever + criar

8. Em *Rever + criar.

9. Reveja os recursos que foram criados automaticamente para si e selecione Criar.

   

10. Aguarde até que a implementação esteja concluída. Se a implantação falhar, selecione Detalhes da operação ao lado do estágio de falha para obter mais informações sobre o motivo da falha. Selecione Reimplantar para tentar implantar os recursos novamente. Você pode alterar os parâmetros antes da implantação.

    

1. Navegue até a conta de armazenamento no portal do Azure. No menu à esquerda, selecione Eventos

2. No painel principal, selecione a guia Azure Data Explorer .

   

O painel Conexão de dados é aberto com a guia Noções básicas selecionada.

1. Em Noções básicas, preencha o formulário com as seguintes informações:

   

   Definição	Valor sugerido	Descrição do campo
   Nome da ligação de dados	ensaio-ligação à rede	O nome da conexão que você deseja criar no Azure Data Explorer.
   Conta de armazenamento	gridteststorage1	A conta de armazenamento a partir da qual acedeu a este assistente. Preenchido automaticamente.
   Tipo de evento	Blob criado ou Blob renomeado	O tipo de evento que desencadeia a ingestão. O Blob renomeado é suportado apenas para armazenamento ADLSv2. Para renomear um blob, navegue até o blob no portal do Azure, clique com o botão direito do mouse no blob e selecione Renomear. Os tipos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed.
   Criação de recursos	Automático	Defina se você deseja que o Azure Data Explorer crie uma Assinatura de Grade de Eventos, um namespace de Hubs de Eventos e Hubs de Eventos para você. Para criar recursos manualmente, consulte Criar recursos manualmente para ingestão de grade de eventos

2. Selecione Propriedades Next Inest (Propriedades Next> Ingest).

3. Em Propriedades de ingestão.

4. Preencha o formulário com as seguintes informações. Os nomes de tabelas e mapeamentos diferenciam maiúsculas de minúsculas:

   

   Definição	Valor sugerido	Descrição do campo
   Subscrição		Sua assinatura do Azure Data Explorer.
   Nome do Cluster	TestCluster	O nome do cluster no qual você deseja ingerir dados.
   Nome da base de dados	TestDatabase	O banco de dados de destino que você criou no TestCluster.
   Permitir o encaminhamento dos dados para outros bancos de dados (conexão de dados com vários bancos de dados)	Não permitir	Ative essa opção se quiser substituir o banco de dados de destino padrão associado à conexão de dados. Para obter mais informações sobre roteamento de banco de dados, consulte Roteamento de eventos.
   Nome da tabela	TestTable	A tabela de destino que você criou em TestDatabase.
   Formato dos dados	JSON	Os formatos suportados são Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW e W3CLOG. As opções de compressão suportadas são Zip e Gzip.
   Mapeamento	TestMapping	O mapeamento que você criou em TestDatabase, que mapeia dados de entrada para os nomes de coluna e tipos de dados de TestTable. Se não for especificado, um mapeamento de dados de identidade derivado do esquema da tabela será usado.
   Definições avançadas	Os meus dados têm cabeçalhos	Ignora cabeçalhos. Compatível com ficheiros do tipo *SV.

   Nota

   Não é necessário especificar todas as configurações de roteamento de dados. Configurações parciais também são aceitas.

5. Selecione Seguinte: Rever + criar

6. Em Rever + criar.

7. Reveja os recursos que foram criados automaticamente para si e selecione Criar.

   

8. Aguarde até que a implementação esteja concluída. Se a implantação falhar, selecione Detalhes da operação ao lado do estágio de falha para obter mais informações sobre o motivo da falha. Selecione Reimplantar para tentar implantar os recursos novamente. Você pode alterar os parâmetros antes da implantação.

   

1. Instale o pacote NuGet Microsoft.Azure.Management.Kusto.

2. Crie uma entidade de aplicativo do Azure AD para usar para autenticação. Você precisará do ID do diretório (locatário), do ID do aplicativo e do segredo do cliente.

3. Execute o código a seguir.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var eventGridConnectionName = "myeventgridconnect";
   //The event hub and storage account that are created as part of the Prerequisites
   var eventHubResourceId = "/subscriptions/<storageAccountSubscriptionId>/resourceGroups/<storageAccountResourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountName>";
   var storageAccountResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var blobStorageEventType = "Microsoft.Storage.BlobCreated";
   var databaseRouting = "Multi";
   var eventGridConnectionData = new EventGridDataConnection(
       storageAccountResourceId, eventHubResourceId, consumerGroup,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, blobStorageEventType: blobStorageEventType, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(
       resourceGroupName, clusterName, databaseName, eventGridConnectionName, eventGridConnectionData
   );
   

   Definição	Valor sugerido	Descrição do campo
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	O ID do inquilino. Também conhecido como ID de diretório.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	A ID de assinatura que você usa para a criação de recursos.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	A ID do cliente do aplicativo que pode acessar recursos em seu locatário.
   clientSecret	PlaceholderClientSecret	O segredo do cliente do aplicativo que pode acessar recursos em seu locatário.
   resourceGroupName	Testrg	O nome do grupo de recursos que contém o cluster.
   clusterName	Mykustocluster	O nome do cluster.
   databaseName	mykustodatabase	O nome do banco de dados de destino no cluster.
   eventGridConnectionName	MyEventGridConnect	O nome desejado da sua conexão de dados.
   tableName	StormEvents	O nome da tabela de destino no banco de dados de destino.
   mappingRuleName	StormEvents_CSV_Mapping	O nome do mapeamento de coluna relacionado à tabela de destino.
   dataFormat	CSV	O formato de dados da mensagem.
   eventHubResourceId	ID do recurso	A ID do recurso do hub de eventos onde a Grade de Eventos está configurada para enviar eventos.
   storageAccountResourceId	ID do recurso	O ID do recurso da sua conta de armazenamento que contém os dados para ingestão.
   Grupo de consumidores	$Default	O grupo de consumidores do seu hub de eventos.
   localização	E.U.A. Central	O local do recurso de conexão de dados.
   blobStorageEventType	Microsoft.Storage.BlobCreated	O tipo de evento que desencadeia a ingestão. Os eventos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. A renomeação de Blob é suportada apenas para armazenamento ADLSv2.
   databaseRouting	Multi ou Single	O roteamento de banco de dados para a conexão. Se você definir o valor como Single, a conexão de dados será roteada para um único banco de dados no cluster, conforme especificado na configuração databaseName . Se você definir o valor como Multi, poderá substituir o banco de dados de destino padrão usando a propriedade Database ingestion. Para obter mais informações, consulte Roteamento de eventos.

1. Instale as bibliotecas necessárias.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Crie uma entidade de aplicativo do Azure AD para usar para autenticação. Você precisará do ID do diretório (locatário), do ID do aplicativo e do segredo do cliente.

3. Execute o código a seguir.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import EventGridDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The event hub and storage account that are created as part of the Prerequisites
   event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.EventHub/namespaces/xxxxxx/eventhubs/xxxxxx"
   storage_account_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Storage/storageAccounts/xxxxxx"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   blob_storage_event_type = "Microsoft.Storage.BlobCreated"
   
   #Returns an instance of LROPoller, check https://video2.skills-academy.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.begin_create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=EventGridDataConnection(storage_account_resource_id=storage_account_resource_id, event_hub_resource_id=event_hub_resource_id, 
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing,
                                                                                   blob_storage_event_type=blob_storage_event_type))
   # The creation of the connection is async. Validation errors are only visible if you wait for the results.
   poller.wait()
   print(poller.result())
   

   Definição	Valor sugerido	Descrição do campo
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	O ID do inquilino. Também conhecido como ID de diretório.
   subscription_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	A ID de assinatura que você usa para a criação de recursos.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	A ID do cliente do aplicativo que pode acessar recursos em seu locatário.
   client_secret	xxxxxxxxxxxxxx	O segredo do cliente do aplicativo que pode acessar recursos em seu locatário.
   resource_group_name	Testrg	O nome do grupo de recursos que contém o cluster.
   cluster_name	Mykustocluster	O nome do cluster.
   database_name	mykustodatabase	O nome do banco de dados de destino no cluster.
   data_connection_name	MyEventHubConnect	O nome desejado da sua conexão de dados.
   table_name	StormEvents	O nome da tabela de destino no banco de dados de destino.
   mapping_rule_name	StormEvents_CSV_Mapping	O nome do mapeamento de coluna relacionado à tabela de destino.
   database_routing	Multi ou Single	O roteamento de banco de dados para a conexão. Se você definir o valor como Single, a conexão de dados será roteada para um único banco de dados no cluster, conforme especificado na configuração databaseName . Se você definir o valor como Multi, poderá substituir o banco de dados de destino padrão usando a propriedade Database ingestion. Para obter mais informações, consulte Roteamento de eventos.
   data_format	CSV	O formato de dados da mensagem.
   event_hub_resource_id	ID do recurso	A ID do recurso do hub de eventos onde a Grade de Eventos está configurada para enviar eventos.
   storage_account_resource_id	ID do recurso	O ID do recurso da sua conta de armazenamento que contém os dados para ingestão.
   consumer_group	$Default	O grupo de consumidores do seu hub de eventos.
   localização	E.U.A. Central	O local do recurso de conexão de dados.
   blob_storage_event_type	Microsoft.Storage.BlobCreated	O tipo de evento que desencadeia a ingestão. Os eventos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. A renomeação de Blob é suportada apenas para armazenamento ADLSv2.

O exemplo a seguir mostra um modelo do Azure Resource Manager para adicionar uma conexão de dados da Grade de Eventos. Você pode editar e implantar o modelo no portal do Azure usando o formulário.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Para remover a conexão de Grade de Eventos do portal do Azure, faça o seguinte:

1. Vá para o cluster. No menu à esquerda, selecione Bancos de dados. Em seguida, selecione o banco de dados que contém a tabela de destino.
2. No menu à esquerda, selecione Conexões de dados. Em seguida, marque a caixa de seleção ao lado da conexão de dados relevante da Grade de Eventos.
3. Na barra de menu superior, selecione Excluir.

Para remover a conexão da grade de eventos, execute o seguinte comando:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Para remover a conexão da grade de eventos, execute o seguinte comando:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)