Criar uma ligação de dados dos Hubs de Eventos para o Azure Data Explorer

Pré-requisitos

• Uma conta Microsoft ou uma identidade de utilizador Microsoft Entra. Não é necessária uma subscrição do Azure.
• Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
• A ingestão de transmissão em fluxo tem de ser configurada no cluster do Azure Data Explorer.

Obter dados

1. No menu esquerdo, selecione Consulta.

2. Clique com o botão direito do rato na base de dados onde pretende ingerir os dados. Selecione Obter dados.

   

Origem

Na janela Obter dados , o separador Origem está selecionado.

Selecione a origem de dados na lista disponível. Neste exemplo, está a ingerir dados dos Hubs de Eventos.

Configurar

1. Selecione uma base de dados de destino e uma tabela. Se quiser ingerir dados numa nova tabela, selecione + Nova tabela e introduza um nome de tabela.

   Nota

   Os nomes das tabelas podem ter até 1024 carateres, incluindo espaços, alfanuméricos, hífenes e carateres de sublinhado. Os carateres especiais não são suportados.

   

2. Preencha os seguintes campos:

   Definição	Descrição do campo
   Subscrição	O ID da subscrição onde está localizado o recurso do hub de eventos.
   Espaço de nomes do hub de eventos	O nome que identifica o espaço de nomes.
   Hub de eventos	O hub de eventos que pretende
   Grupo de consumidores	O grupo de consumidores definido no seu evento
   Nome da ligação de dados	O nome que identifica a ligação de dados.
   Filtros avançados
   Compressão	O tipo de compressão do payload de mensagens do hub de eventos.
   Propriedades do sistema de eventos	As propriedades do sistema do hub de eventos. Se existirem vários registos por mensagem de evento, as propriedades do sistema são adicionadas à primeira. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.
   Data de início da obtenção de eventos	A ligação de dados obtém eventos existentes dos Hubs de Eventos criados após a data de início da obtenção de eventos. Apenas os eventos retidos pelo período de retenção dos Hubs de Eventos podem ser obtidos. Se a data de início da obtenção de eventos não for especificada, a hora predefinida é a hora em que a ligação de dados é criada.

3. Selecione Seguinte

Inspecionar

O separador Inspecionar é aberto com uma pré-visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Opcionalmente:

• Se os dados que vê na janela de pré-visualização não estiverem concluídos, poderá precisar de mais dados para criar uma tabela com todos os campos de dados necessários. Utilize os seguintes comandos para obter novos dados do seu hub de eventos:

  • Eliminar e obter novos dados: elimina os dados apresentados e procura novos eventos.

  • Obter mais dados: procura mais eventos para além dos eventos já encontrados.

    Nota

    Para ver uma pré-visualização dos seus dados, o hub de eventos tem de estar a enviar eventos.

• Selecione Visualizador de comandos para ver e copiar os comandos automáticos gerados a partir das suas entradas.

• Utilize a lista pendente Ficheiro de definição de esquema para alterar o ficheiro a partir do qual o esquema é inferido.

• Altere o formato de dados inferidos automaticamente ao selecionar o formato pretendido na lista pendente. Veja Formatos de dados suportados pelo Azure Data Explorer para ingestão.

• Editar colunas.

• Explore opções avançadas com base no tipo de dados.

Editar colunas

As alterações que pode fazer numa tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• O tipo de mapeamento é novo ou existente

Transformações de mapeamento

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .

As transformações de mapeamento podem ser executadas numa coluna do tipo cadeia ou datetime, com a origem a ter um tipo de dados int ou longo. As transformações de mapeamento suportadas são:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opções avançadas com base no tipo de dados

Tabular (CSV, TSV, PSV):

• Se estiver a ingerir formatos tabulares numa tabela existente, pode selecionar AdvancedKeep current table schema (Manter o esquema de tabela atual).> Os dados tabulares não incluem necessariamente os nomes de coluna que são utilizados para mapear dados de origem para as colunas existentes. Quando esta opção é selecionada, o mapeamento é feito por encomenda e o esquema da tabela permanece o mesmo. Se esta opção estiver desmarcada, serão criadas novas colunas para dados recebidos, independentemente da estrutura de dados.

• Para utilizar a primeira linha como nomes de colunas, selecione Advanced>First row é cabeçalho de coluna.

  

JSON:

• Para determinar a divisão de colunas de dados JSON, selecioneNíveis AninhadosAvançados>, de 1 a 100.

• Se selecionarErros de formato de dados Ignorar Avançadas>, os dados são ingeridos no formato JSON. Se deixar esta caixa de verificação desmarcada, os dados são ingeridos no formato multijson.

  

Resumo

Na janela Preparação de dados , os três passos são marcados com marcas de verificação verdes quando a ingestão de dados é concluída com êxito. Pode ver os comandos que foram utilizados para cada passo ou selecionar um cartão para consultar, visualizar ou remover os dados ingeridos.

Pré-requisitos

• Uma subscrição do Azure. Crie uma conta gratuita do Azure.
• Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
• Uma tabela de destino. Crie uma tabela ou utilize uma tabela existente.
• Um mapeamento de ingestão para a tabela.
• Um hub de eventos com dados para ingestão.

Obter dados

1. No portal do Azure, aceda ao cluster e selecione Bases de Dados. Em seguida, selecione a base de dados que contém a tabela de destino.

   

2. No menu esquerdo, selecione Ingestão de dados. Em seguida, na barra superior, selecione Adicionar ligação de dados.

3. Preencha o formulário com as seguintes informações e, em seguida, selecione Criar.

   Definição	Valor sugerido	Descrição do campo
   Nome da ligação de dados	test-hub-connection	O nome da ligação que quer criar no Azure Data Explorer.
   Subscrição		O ID da subscrição onde está localizado o recurso do hub de eventos.
   Espaço de nomes do hub de eventos	Um nome de espaço de nomes exclusivo	O nome que escolheu anteriormente que identifica o seu espaço de nomes.
   Hub de eventos	test-hub	O hub de eventos que criou.
   Grupo de consumidores	test-group	O grupo de consumidores definido no hub de eventos que criou.
   Propriedades do sistema de eventos	Selecionar propriedades relevantes	As propriedades do sistema do hub de eventos. Se existirem vários registos por mensagem de evento, as propriedades do sistema são adicionadas ao primeiro registo. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.
   Compressão	Nenhuma	O tipo de compressão do payload de mensagens do hub de eventos. Tipos de compressão suportados: Nenhum, Gzip.
   Identidade Gerida (recomendado)	Atribuída pelo sistema	A identidade gerida utilizada pelo cluster de Data Explorer para acesso à leitura a partir do hub de eventos. Recomendamos a utilização de identidades geridas para controlar o acesso ao seu hub de eventos. Nota: Quando a ligação de dados é criada: * As identidades atribuídas pelo sistema são criadas automaticamente se não existirem * A identidade gerida é atribuída automaticamente à função de Recetor de Dados Hubs de Eventos do Azure e é adicionada ao cluster de Data Explorer. Recomendamos que verifique se a função foi atribuída e que a identidade foi adicionada ao cluster.

   Nota

   Se tiver uma ligação de dados existente que não esteja a utilizar identidades geridas, recomendamos que a atualize para utilizar identidades geridas.

Pré-requisitos

• Uma subscrição do Azure. Crie uma conta gratuita do Azure.
• Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
• Uma tabela de destino. Crie uma tabela ou utilize uma tabela existente.
• Um mapeamento de ingestão para a tabela.
• Um hub de eventos com dados para ingestão.

Obter dados

1. No portal do Azure, navegue até à Instância dos Hubs de Eventos.

2. No menu do lado Funcionalidades , selecione Analisar dados com o Kusto.

3. Selecione Iniciar para abrir o assistente de ingestão no Azure Data Explorer.

   

   Nota

   • Tem de ter, pelo menos, permissões de Utilizador da Base de Dados .
   • Para ativar o acesso entre um cluster e uma conta de armazenamento sem acesso público, veja Criar um Ponto Final Privado Gerido.
   • O cluster e o hub de eventos devem estar associados aos mesmos inquilinos. Caso contrário, utilize uma das opções do SDK, como C# ou Python.

4. O painel Lado da Ingestão de dados é aberto com o separador Destino selecionado. Selecione os campos Cluster e Base de Dados nos menus pendentes. Certifique-se de que seleciona um cluster em execução. Caso contrário, não poderá selecionar Base de Dados e prosseguir com o processo de ingestão.

5. Em Tabela, selecione Nova tabela e introduza um nome para a nova tabela. Em alternativa, utilize uma tabela Existente.

6. Selecione Seguinte: Origem.

7. Em Tipo de origem, o tipo e os detalhes do Hub de Eventos são preenchidos automaticamente com base na Instância dos Hubs de Eventos a partir da qual começou.

8. Em Ligação de Dados, preencha os seguintes campos e selecione Seguinte: Esquema.

   Definição	Valor sugerido	Descrição do campo
   Subscrição		O ID da subscrição onde está localizado o recurso do hub de eventos.
   Espaço de nomes do hub de eventos		O nome que identifica o espaço de nomes.
   Hub de eventos		O hub de eventos que pretende utilizar.
   Nome da ligação de dados	TestDataConnection	O nome que identifica a ligação de dados.
   Grupo de consumidores		O grupo de consumidores definido no seu hub de eventos.
   Compressão		O tipo de compressão do payload de mensagens do hub de eventos.
   Propriedades do sistema de eventos	Selecionar propriedades relevantes	As propriedades do sistema do hub de eventos. Se existirem vários registos por mensagem de evento, as propriedades do sistema são adicionadas à primeira. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.
   Data de início da obtenção de eventos	Hora Universal Coordenada (UTC)	A ligação de dados obtém eventos existentes dos Hubs de Eventos criados após a data de início da obtenção de eventos. Apenas os eventos retidos pelo período de retenção dos Hubs de Eventos podem ser obtidos. Se a data de início da obtenção de eventos não for especificada, a hora predefinida é a hora em que a ligação de dados é criada.

9. Se a transmissão em fluxo estiver ativada para o cluster, pode selecionar Ingestão de transmissão em fluxo. Se a transmissão em fluxo não estiver ativada para o cluster, defina a latência do batch de dados. Para os Hubs de Eventos, o tempo de criação de lotes recomendado é de 30 segundos.

   

10. Selecione o formato Dados. Para dados formatados em CSV, ignore o primeiro registo para ignorar a linha de cabeçalho do ficheiro. Para dados formatados em JSON, selecione Ignorar erros de formato de dados para ingerir os dados no formato JSON ou deixe de ser selecionado para ingerir os dados no formato multijson. Selecione os níveis Aninhados para determinar a divisão de dados da coluna da tabela.

11. Se os dados que vê na janela de pré-visualização não estiverem concluídos, poderá precisar de mais dados para criar uma tabela com todos os campos de dados necessários. Utilize os seguintes comandos para obter novos dados do seu hub de eventos:

    • Eliminar e obter novos dados: elimina os dados apresentados e procura novos eventos.
    • Obter mais dados: procura mais eventos para além dos eventos já encontrados.

    Nota

    Para ver uma pré-visualização dos seus dados, o hub de eventos tem de estar a enviar eventos.

12. Selecione Seguinte: Resumo.

13. Na janela Ingestão contínua do Hub de Eventos estabelecida , todos os passos são marcados com marcas de verificação verdes quando o estabelecimento é concluído com êxito.

Pré-requisitos

• Uma subscrição do Azure. Crie uma conta gratuita do Azure.
• Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
• Uma tabela de destino. Crie uma tabela ou utilize uma tabela existente.
• Um mapeamento de ingestão para a tabela.
• Um hub de eventos com dados para ingestão.

Modelo ARM

O exemplo seguinte mostra um modelo de Resource Manager do Azure para adicionar uma ligação de dados dos Hubs de Eventos. Pode editar e implementar o modelo no portal do Azure com o formulário.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Remova a ligação de dados através do portal do Azure conforme explicado no separador do portal.

Para remover a ligação do hub de eventos do portal do Azure, faça o seguinte:

1. Aceda ao cluster. No menu esquerdo, selecione Bases de Dados. Em seguida, selecione a base de dados que contém a tabela de destino.
2. No menu esquerdo, selecione Ligações de dados. Em seguida, selecione a caixa de verificação junto à ligação de dados do hub de eventos relevante.
3. Na barra de menus superior, selecione Eliminar.