Obter dados do Eventstream

  • Artigo

Neste artigo, você aprenderá a obter dados de um eventstream existente em uma tabela nova ou existente.

Para obter dados de um novo eventstream, confira Obter dados de um novode eventstream.

Pré-requisitos

Origem

Para obter dados de um eventstream, selecione o eventstream como a fonte de dados. Você pode selecionar um eventstream existente das seguintes maneiras:

Na faixa de opções inferior do banco de dados KQL:

  • No menu suspenso Obter dados e, em seguida, em Contínuo, selecione Eventstream>Eventstream existente.

  • Selecione Obter Dados e, na janela Obter Dados, selecione Eventstream.

  • No menu suspenso Obter Dados, em Contínuo, selecione Hub de dados em tempo real>Eventstream existente.

    Captura de tela da janela Obter dados com a guia Fonte selecionada.

Configurar

  1. Selecione uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione + Nova tabela e insira o nome de uma tabela.

    Observação

    Os nomes de tabelas podem ter até 1024 caracteres, incluindo espaços, caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.

  2. Em Configurar a fonte de dados, preencha as configurações usando as informações da tabela a seguir:

    Captura de tela da guia configurar com a nova tabela inserida e um arquivo de dados de exemplo selecionado.

    Configuração Descrição
    Workspace Seu local de espaço de trabalho de fluxo de eventos. Selecione um workspace na lista suspensa.
    Nome do Eventstream O nome do seu eventstream. Selecione um eventstream na lista suspensa.
    Nome da conexão de dados O nome usado para referenciar e gerenciar a conexão de dados no workspace. O nome da conexão de dados é preenchido automaticamente. Opcionalmente, você pode inserir um novo nome. O nome só pode conter caracteres alfanuméricos, traços e ponto e ter até 40 caracteres.
    Processar evento antes da ingestão no Eventstream Esta opção permite configurar o processamento de dados antes que os dados sejam ingeridos na tabela de destino. Se for selecionada, você continua o processo de ingestão de dados no Eventstream. Para obter mais informações, confira Processar evento antes da ingestão no Eventstream.
    Filtros avançados
    Compactação Compactação de dados dos eventos, como provenientes do hub de eventos. As opções são Nenhum (padrão) ou compressão Gzip.
    Propriedades do sistema de eventos Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas ao primeiro. Para obter mais informações, confira Propriedades do sistema de eventos.
    Data de início da recuperação do evento A conexão de dados recupera eventos existentes criados desde a data de início da recuperação de eventos. Ela só pode recuperar eventos retidos pelo hub de eventos, com base em seu período de retenção. O fuso horário é UTC. Se nenhuma hora for especificada, a hora padrão será a hora em que a conexão de dados for criada.

  3. Selecione Avançar.

Processar evento antes da ingestão no Eventstream

A opção Processar evento antes da ingestão no Eventstream permite processar os dados antes de serem ingeridos na tabela de destino. Com essa opção, o processo de obtenção de dados continua sem interrupções no Eventstream. A tabela de destino e os detalhes da fonte de dados são preenchidos automaticamente.

Como processar um evento antes da ingestão no Eventstream:

  1. Na guia Configurar, selecione Processar evento antes da ingestão no Eventstream.

  2. Na caixa de diálogo Processar eventos no Eventstream, selecione Continuar no Eventstream.

    Importante

    Selecionar Continuar no Eventstream encerra o processo de obtenção de dados na Inteligência em Tempo Real e o continua no Eventstream com a tabela de destino e os detalhes da fonte de dados preenchidos automaticamente.

    Captura de tela da caixa de diálogo Processar eventos no Eventstream.

  3. Em Eventstream, selecione o nó de destino do Banco de dados KQL. No painel Banco de dados KQL, verifique se a opção Processamento de eventos antes da ingestão está selecionada e confira se os detalhes do destino estão corretos.

    Captura de tela da página Processar eventos no Eventstream.

  4. Selecione Abrir processador de eventos para configurar o processamento de dados e, em seguida, selecione Salvar. Para obter mais informações, confira Processar dados de evento com o editor do processador de eventos.

  5. De volta ao painel Banco de dados KQL, selecione Adicionar para concluir a configuração do nó de destino do Banco de dados KQL.

  6. Verifique se os dados foram inseridos na tabela de destino.

Observação

O evento de processo antes da ingestão no processo do Eventstream está concluído e as etapas restantes deste artigo não são necessárias.

Inspecionar

A guia Inspecionar será aberta com uma visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Captura de tela da guia de inspeção.

Se desejar:

  • Selecione Visualizador de comando para ver e copiar os comandos automáticos gerados com base nas entradas.
  • Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Os dados são lidos no hub de eventos na forma de objetos EventData. Os formatos com suporte são CSV, JSON, PSV, SCsv, SOHsv TSV, TXT e TSVE.
  • Editar colunas.
  • Explore Opções avançadas com base no tipo de dados.

Editar colunas

Observação

  • Para formatos tabulares (CSV, TSV, PSV), você não pode mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
  • Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá ficar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

  • O tipo de tabela é novo ou existente
  • O tipo de mapeamento é novo ou existente
Tipo de tabela Tipo de mapeamento Ajustes disponíveis
Nova tabela Novo mapeamento Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna
Tabela existente Novo mapeamento Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente Mapeamento existente nenhum

Captura de tela de colunas abertas para edição.

Transformações de mapeamento

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações de tempo de ingestão simples. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna de cadeia de caracteres de tipo ou de datetime, com o tipo de dados int ou long selecionado em Origem. As transformações de mapeamento com suporte são:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opções avançadas com base no tipo de dados

Tabular (CSV, TSV, PSV):

Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear os dados de origem para as colunas existentes. Para usar a primeira linha como nomes de coluna, ative a opção A primeira linha é o cabeçalho da coluna.

Captura de tela da primeira linha é a opção de cabeçalho de coluna.

JSON:

Para determinar a divisão de coluna dos dados JSON, selecione Avançado>Níveis aninhados, de 1 a 100.

Captura de tela das opções JSON de níveis aninhados.

Resumo

Na janela Preparação de dados, todas as três etapas serão assinaladas com marcas de seleção verdes quando a ingestão de dados for concluída com sucesso. Você pode selecionar um cartão para consultar, remover os dados ingeridos ou ver um painel do resumo da ingestão. Selecione Fechar para fechar a janela.

Captura de tela da página de resumo com a ingestão bem-sucedida concluída.

Conteúdo relacionado