Ingestão de streaming e alterações de esquema

  • Artigo

Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer

Os nós de cluster armazenam em cache o esquema de bancos de dados que obtêm dados por meio da ingestão de streaming, aumentando o desempenho e o uso de recursos. No entanto, quando há alterações de esquema, isso pode levar a atrasos nas atualizações.

Os nós do Eventhouse armazenam em cache o esquema de bancos de dados que obtêm dados por meio da ingestão de streaming, aumentando o desempenho e o uso de recursos. No entanto, quando há alterações de esquema, isso pode levar a atrasos nas atualizações.

Se as alterações de esquema e a ingestão de streaming não estiverem sincronizadas, você poderá encontrar falhas como erros relacionados ao esquema ou dados incompletos e distorcidos na tabela.

Este artigo descreve as alterações típicas de esquema e fornece diretrizes sobre como evitar problemas com a ingestão de streaming durante essas alterações.

Alterações feitas no esquema

A lista a seguir abrange os principais exemplos de alterações de esquema:

Coordenar alterações de esquema com ingestão de streaming

O cache de esquema é mantido enquanto o banco de dados está online. Se houver alterações de esquema, o sistema atualizará automaticamente o cache, mas essa atualização poderá levar vários minutos. Se você confiar na atualização automática, poderá enfrentar falhas de ingestão descoordenadas.

Você pode reduzir os efeitos do atraso de propagação limpando explicitamente o cache de esquema nos nós. Se o fluxo de ingestão de streaming e as alterações de esquema forem coordenados, você poderá eliminar completamente as falhas e a distorção de dados associada.

Para coordenar o fluxo de ingestão de streaming com alterações de esquema:

  1. Suspenda a ingestão de streaming.
  2. Aguarde até que todas as solicitações de ingestão de streaming pendentes sejam concluídas.
  3. Faça alterações de esquema.
  4. Emita um ou vários comandos de esquema de ingestão de streaming de cache .clear.
    • Repita até que seja bem-sucedido e todas as linhas na saída do comando indiquem êxito
  5. Retome a ingestão de streaming.

Observação

Se você criou um aplicativo para ingestão personalizada, recomendamos gerenciar falhas relacionadas ao esquema tentando novamente por uma duração definida ou redirecionando dados de solicitações com falha usando métodos de ingestão enfileirados.