Configurar a ingestão de dados da transmissão em fluxo no cluster do Azure Data Explorer

A ingestão de transmissão em fluxo é útil para carregar dados quando precisa de baixa latência entre a ingestão e a consulta. Considere utilizar a ingestão de transmissão em fluxo nos seguintes cenários:

  • É necessária latência inferior a um segundo.
  • Para otimizar o processamento operacional de muitas tabelas em que o fluxo de dados para cada tabela é relativamente pequeno (alguns registos por segundo), mas o volume global de ingestão de dados é elevado (milhares de registos por segundo).

Se o fluxo de dados para cada tabela for elevado (mais de 4 GB por hora), considere utilizar a ingestão em fila.

Para saber mais sobre diferentes métodos de ingestão, veja Descrição geral da ingestão de dados.

Para exemplos de código baseados em versões anteriores do SDK, veja o artigo arquivado.

Escolha o tipo de ingestão de transmissão em fluxo adequado

São suportados dois tipos de ingestão de transmissão em fluxo:

Tipo de ingestão Description
Ligação de dados Os Hubs de Eventos, Hub IoT e ligações de dados do Event Grid podem utilizar a ingestão de transmissão em fluxo, desde que esteja ativada ao nível do cluster. A decisão de utilizar a ingestão de transmissão em fluxo é tomada de acordo com a política de ingestão de transmissão em fluxo configurada na tabela de destino.
Para obter informações sobre como gerir ligações de dados, veja Hub de Eventos, Hub IoT e Event Grid.
Ingestão personalizada A ingestão personalizada requer que escreva uma aplicação que utilize uma das bibliotecas de cliente do Azure Data Explorer.
Utilize as informações neste tópico para configurar a ingestão personalizada. Também pode considerar útil a aplicação de exemplo de ingestão de transmissão em fluxo C# .

Utilize a seguinte tabela para o ajudar a escolher o tipo de ingestão adequado para o seu ambiente:

Critério Ligação de dados Ingestão Personalizada
Atraso de dados entre o início da ingestão e os dados disponíveis para consulta Atraso mais longo Atraso mais curto
Sobrecarga de desenvolvimento Configuração rápida e fácil, sem sobrecarga de desenvolvimento Sobrecarga de desenvolvimento elevada para criar uma aplicação ingerir os dados, lidar com erros e garantir a consistência dos dados

Nota

Pode gerir o processo para ativar e desativar a ingestão de transmissão em fluxo no cluster com o portal do Azure ou programaticamente em C#. Se estiver a utilizar C# para a sua aplicação personalizada, poderá considerar mais conveniente utilizar a abordagem programática.

Pré-requisitos

Considerações de desempenho e operacionais

Os principais contribuintes que podem afetar a ingestão de transmissão em fluxo são:

  • Tamanho da VM e do cluster: o desempenho da ingestão de transmissão em fluxo e as escalas de capacidade com tamanhos de VM e cluster aumentados. O número de pedidos de ingestão simultâneos está limitado a seis por núcleo. Por exemplo, para SKUs de 16 núcleos, como D14 e L16, a carga máxima suportada é de 96 pedidos de ingestão simultâneos. Para dois SKUs principais, como D11, a carga máxima suportada é de 12 pedidos de ingestão simultâneos.
  • Limite de tamanho dos dados: o limite de tamanho dos dados para um pedido de ingestão de transmissão em fluxo é de 4 MB. Isto inclui quaisquer dados criados para políticas de atualização durante a ingestão.
  • Atualizações de esquema: as atualizações de esquema, como a criação e modificação de tabelas e mapeamentos de ingestão, podem demorar até cinco minutos para o serviço de ingestão de transmissão em fluxo. Para obter mais informações, veja Ingestão de transmissão em fluxo e alterações de esquema.
  • Capacidade SSD: ativar a ingestão de transmissão em fluxo num cluster, mesmo quando os dados não são ingeridos através da transmissão em fluxo, utiliza parte do disco SSD local das máquinas de cluster para transmitir dados de ingestão de dados e reduz o armazenamento disponível para cache frequente.

Ativar a ingestão de transmissão em fluxo no cluster

Antes de poder utilizar a ingestão de transmissão em fluxo, tem de ativar a capacidade no cluster e definir uma política de ingestão de transmissão em fluxo. Pode ativar a capacidade ao criar o cluster ou adicioná-lo a um cluster existente.

Aviso

Reveja as limitações antes de ativar a ingestão de transmissão em fluxo.

Ativar a ingestão de transmissão em fluxo ao criar um novo cluster

Pode ativar a ingestão de transmissão em fluxo ao criar um novo cluster com o portal do Azure ou programaticamente em C#.

Ao criar um cluster com os passos em Criar um cluster e uma base de dados do Azure Data Explorer, no separador Configurações, selecione Ingestão de transmissão> em fluxoAtivada.

Ative a ingestão de transmissão em fluxo ao criar um cluster no Azure Data Explorer.

Ativar a ingestão de transmissão em fluxo num cluster existente

Se tiver um cluster existente, pode ativar a ingestão de transmissão em fluxo com o portal do Azure ou programaticamente em C#.

  1. No portal do Azure, aceda ao cluster do Azure Data Explorer.

  2. Em Definições, selecione Configurações.

  3. No painel Configurações , selecione Ativado para ativar a ingestão de transmissão em fluxo.

  4. Selecione Guardar.

    Ative a ingestão de transmissão em fluxo no Azure Data Explorer.

Criar uma tabela de destino e definir a política

Crie uma tabela para receber os dados de ingestão de transmissão em fluxo e definir a política relacionada com o portal do Azure ou programaticamente em C#.

  1. No portal do Azure, navegue para o cluster.

  2. Selecione Consulta.

    Selecione consulta no portal Data Explorer do Azure para ativar a ingestão de transmissão em fluxo.

  3. Para criar a tabela que irá receber os dados através da ingestão de transmissão em fluxo, copie o seguinte comando para o painel Consulta e selecioneExecutar.

    .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
    

    Crie uma tabela para a ingestão de transmissão em fluxo no Azure Data Explorer.

  4. Copie um dos seguintes comandos para o painel Consulta e selecioneExecutar. Isto define a política de ingestão de transmissão em fluxo na tabela que criou ou na base de dados que contém a tabela.

    Dica

    Uma política definida ao nível da base de dados aplica-se a todas as tabelas existentes e futuras na base de dados. Quando ativa a política ao nível da base de dados, não é necessário ativá-la por tabela.

    • Para definir a política na tabela que criou, utilize:

      .alter table TestTable policy streamingingestion enable
      
    • Para definir a política na base de dados que contém a tabela que criou, utilize:

      .alter database StreamingTestDb policy streamingingestion enable
      

    Defina a política de ingestão de transmissão em fluxo no Azure Data Explorer.

Criar uma aplicação de ingestão de transmissão em fluxo para ingerir dados no cluster

Crie a sua aplicação para ingerir dados no cluster com o seu idioma preferido.

using System.IO;
using System.Threading.Tasks;
using Kusto.Data; // Requires Package Microsoft.Azure.Kusto.Data
using Kusto.Data.Common;
using Kusto.Ingest; // Requires Package Microsoft.Azure.Kusto.Ingest
namespace StreamingIngestion;
class Program
{
    static async Task Main(string[] args)
    {
        var clusterPath = "https://<clusterName>.<region>.kusto.windows.net";
        var appId = "<appId>";
        var appKey = "<appKey>";
        var appTenant = "<appTenant>";
        // Create Kusto connection string with App Authentication
        var connectionStringBuilder = new KustoConnectionStringBuilder(clusterPath)
            .WithAadApplicationKeyAuthentication(
                applicationClientId: appId,
                applicationKey: appKey,
                authority: appTenant
            );
        // Create a disposable client that will execute the ingestion
        using var client = KustoIngestFactory.CreateStreamingIngestClient(connectionStringBuilder);
        // Ingest from a compressed file
        var fileStream = File.Open("MyFile.gz", FileMode.Open);
        // Initialize client properties
        var ingestionProperties = new KustoIngestionProperties(databaseName: "<databaseName>", tableName: "<tableName>");
        // Create source options
        var sourceOptions = new StreamSourceOptions { CompressionType = DataSourceCompressionType.GZip, };
        // Ingest from stream
        await client.IngestFromStreamAsync(fileStream, ingestionProperties, sourceOptions);
    }
}

Desativar a ingestão de transmissão em fluxo no cluster

Aviso

A desativação da ingestão de transmissão em fluxo pode demorar algumas horas.

Antes de desativar a ingestão de transmissão em fluxo no cluster do Azure Data Explorer, remova a política de ingestão de transmissão em fluxo de todas as tabelas e bases de dados relevantes. A remoção da política de ingestão de transmissão em fluxo aciona a reorganização de dados no cluster do Azure Data Explorer. Os dados de ingestão de transmissão em fluxo são movidos do armazenamento inicial para o armazenamento permanente no arquivo de colunas (extensões ou partições horizontais). Este processo pode demorar entre alguns segundos a algumas horas, dependendo da quantidade de dados no armazenamento inicial.

Remover a política de ingestão de transmissão em fluxo

Pode remover a política de ingestão de transmissão em fluxo com o portal do Azure ou programaticamente em C#.

  1. No portal do Azure, aceda ao cluster do Azure Data Explorer e selecione Consulta.

  2. Para remover a política de ingestão de transmissão em fluxo da tabela, copie o seguinte comando para o painel Consulta e selecioneExecutar.

    .delete table TestTable policy streamingingestion
    

    Elimine a política de ingestão de transmissão em fluxo no Azure Data Explorer.

  3. Em Definições, selecione Configurações.

  4. No painel Configurações , selecione Desativar para desativar a ingestão de transmissão em fluxo.

  5. Selecione Guardar.

    Desative a ingestão de transmissão em fluxo no Azure Data Explorer.

Limitações

  • Os mapeamentos de dados têm de ser pré-criados para utilização na ingestão de transmissão em fluxo. Os pedidos individuais de ingestão de transmissão em fluxo não acomodam mapeamentos de dados inline.
  • As etiquetas de extensão não podem ser definidas nos dados de ingestão de transmissão em fluxo.
  • Atualizar política. A política de atualização só pode referenciar os dados ingeridos recentemente na tabela de origem e não quaisquer outros dados ou tabelas na base de dados.
  • Se a ingestão de transmissão em fluxo estiver ativada num cluster utilizado como líder para bases de dados de seguidores, a ingestão de transmissão em fluxo tem de ser ativada nos seguintes clusters, bem como para seguir os dados de ingestão de transmissão em fluxo. O mesmo se aplica se os dados do cluster são partilhados através de Data Share.