Disponibilidade do Eventhouse OneLake

É possível criar uma cópia lógica dos dados do banco de dados KQL em um eventhouse ativando a disponibilidade do OneLake. Ativar a disponibilidade do OneLake significa que você pode realizar consulta dos dados no Banco de Dados KQL no formato Delta Lake por meio de outros mecanismos do Fabric, como o modo Direct Lake no Power BI, Warehouse, Lakehouse, Notebooks e muito mais.

O Delta Lake é um formato unificado de tabela data lake que obtém acesso contínuo a dados em todos os mecanismos de computação no Microsoft Fabric. Para obter mais informações sobre o Delta Lake, confira O que é Delta Lake?.

Neste artigo, você aprende como ativar a disponibilidade de dados do Banco de Dados KQL no OneLake.

Como ele funciona

A tabela apresentada a seguir descreve o comportamento do Banco de Dados KQL e das tabelas quando você ativa ou desativa a disponibilidade do OneLake.

Pré-requisitos

• Um espaço de trabalho com uma capacidade habilitada para o Microsoft Fabric
• Um banco de dados KQL com permissões de edição e dados

Ativar a disponibilidade do OneLake

É possível ativar a disponibilidade do OneLake em um banco de dados KQL ou em nível de tabela.

1. Para ativar a disponibilidade do OneLake, navegue até a página de detalhes do banco de dados KQL ou da tabela.

2. Ao lado de Disponibilidade do OneLake no painel Detalhes do banco de dados, selecione o ícone Editar (lápis).

   

3. Ative o recurso ao alternar o botão para Ativa e, em seguida, selecione Concluído. O banco de dados é atualizado automaticamente.

   

Você ativou a disponibilidade do OneLake em seu banco de dados KQL. Agora você pode acessar todos os novos dados adicionados ao banco de dados no caminho do OneLake fornecido no formato Delta Lake. Você também pode optar por criar um atalho do OneLake em um Lakehouse, Data warehouse ou consultar os dados diretamente no modo do Direct Lake do Power BI.

Comportamento adaptável

O Eventhouse oferece um mecanismo robusto que agrupa de modo inteligente os fluxos de dados recebidos em um ou mais arquivos Parquet, estruturados para análise. Agrupar os fluxos de dados em lotes é importante quando lidamos com dados recebidos gradualmente. Gravar muitos arquivos Parquet pequenos no lake pode ser ineficiente, resultando em custos mais altos e desempenho insatisfatório.

O mecanismo adaptativo do Eventhouse pode atrasar as operações de gravação em até algumas horas se não houver dados suficientes para criar arquivos Parquet ideais. Isso garante que os arquivos Parquet tenham o tamanho ideal e sigam as práticas recomendadas do Delta Lake. O mecanismo adaptativo do Eventhouse garante que os arquivos Parquet estejam preparados para análise e equilibra a necessidade de disponibilidade imediata de dados com considerações de custo e desempenho.

Você pode monitorar há quanto tempo os novos dados foram adicionados ao lake verificando a latência de dados com o comando .show table mirroring operations.

Os resultados são medidos a partir da última adição de dados. Quando o resultado da latência é 00:00:00, todos os dados do banco de dados KQL estão disponíveis no OneLake.

Exibir arquivos

Quando você ativa a disponibilidade do OneLake em uma tabela, uma pasta de logs de delta é criada junto com os arquivos JSON e Parquet correspondentes. É possível realizar a exibição dos arquivos que foram disponibilizados no OneLake e de suas propriedades enquanto permanece na Inteligência em Tempo Real.

• Para realizar a exibição dos arquivos, passe o mouse sobre uma tabela no painel Explorer e, em seguida, selecione o menu Mais [...]>Exibir arquivos.

  

• Para realizar a exibição das propriedades da pasta de logs delta ou dos arquivos individuais, passe o mouse sobre a pasta ou sobre o arquivo e, em seguida, selecione o menu Mais [...]>Propriedades.

• Como realizar a exibição dos arquivos na pasta de logs delta:

  1. Selecione a pasta _delta_log.
  2. Selecione um arquivo para exibir os metadados e o esquema da tabela. O editor que é aberto está no formato somente leitura.

Política de espelhamento de acesso

Por padrão, quando a disponibilidade do OneLake é ativada, uma política de espelhamento é habilitada. Você pode usar a política para monitorar a latência de dados ou alterá-la para tabelas de delta de ´partição.

Tabelas de delta de partição

Você pode particionar suas tabelas de delta para melhorar a velocidade de consulta. Para obter informações sobre quando particionar arquivos do OneLake, consulte Quando particionar tabelas. Cada partição é representada como uma coluna separada usando o PartitionName listado na lista Partições. Isso significa que sua cópia do OneLake tem mais colunas do que a tabela de origem.

Para particionar as tabelas de delta, use o comando de espelhamento de política de tabela .alter-merge.

Conteúdo relacionado

• Para expor os dados no OneLake, confira Criar um atalho no OneLake
• Para criar um atalho do OneLake no Lakehouse, confira O que são atalhos na lakehouse?
• Para consultar dados referenciados do OneLake em seu banco de dados ou tabela KQL, consulte Criar um atalho do OneLake no Banco de dados KQL