Disponibilidade do Eventhouse OneLake

  • Artigo

Você pode criar uma cópia lógica dos dados do banco de dados KQL em uma casa de eventos ativando a disponibilidade do OneLake. Ativar a disponibilidade do OneLake significa que você pode consultar os dados em seu banco de dados KQL no formato Delta Lake por meio de outros mecanismos de malha, como o modo Direct Lake no Power BI, Warehouse, Lakehouse, Notebooks e muito mais.

O Delta Lake é um formato de tabela de data lake unificado que alcança acesso contínuo a dados em todos os mecanismos de computação no Microsoft Fabric. Para obter mais informações sobre o Delta Lake, consulte O que é Delta Lake?.

Neste artigo, você aprenderá a ativar a disponibilidade de dados do Banco de Dados KQL no OneLake.

Como funciona

A tabela a seguir descreve o comportamento do banco de dados e das tabelas KQL quando você ativa ou desativa a disponibilidade do OneLake.

Ativado Desativada
Base de dados KQL - As tabelas existentes não são afetadas. Novas tabelas são disponibilizadas no OneLake.
- A política de retenção de dados do seu banco de dados KQL também é aplicada aos dados no OneLake. Os dados removidos do seu banco de dados KQL no final do período de retenção também são removidos do OneLake.		 - As tabelas existentes não são afetadas. Novas tabelas não estarão disponíveis no OneLake.
Uma tabela no banco de dados KQL - Novos dados são disponibilizados no OneLake.
- Os dados existentes não são preenchidos.
- Os dados não podem ser excluídos, truncados ou limpos.
- O esquema da tabela não pode ser alterado e a tabela não pode ser renomeada.
- A Segurança de Nível de Linha não pode ser aplicada à tabela.		 - Novos dados não são disponibilizados no OneLake.
- Os dados podem ser excluídos, truncados ou limpos.
- O esquema da tabela pode ser alterado e a tabela pode ser renomeada.
- Os dados são excluídos suavemente do OneLake.

Importante

Pode levar até algumas horas para que os dados apareçam no OneLake. Para obter mais informações, consulte Comportamento adaptável.

Não há custo de armazenamento adicional para ativar a disponibilidade do OneLake. Para obter mais informações, consulte consumo de recursos.

Pré-requisitos

Ativar a disponibilidade do OneLake

Você pode ativar a disponibilidade do OneLake em um banco de dados KQL ou no nível da tabela.

  1. Para ativar a disponibilidade do OneLake, navegue até a seção OneLake no painel de detalhes do seu banco de dados ou tabela KQL.

  2. Defina Disponibilidade como Ativado.

    Captura de tela da seção OneLake do painel Detalhes do banco de dados em Inteligência em Tempo Real mostrando a opção Disponibilidade realçada.

  3. O banco de dados é atualizado automaticamente.

    Captura de tela dos detalhes da seção OneLake em Inteligência em Tempo Real no Microsoft Fabric quando a Disponibilidade estiver definida como Ativado. A opção para expor dados ao OneLake está ativada.

Você ativou a disponibilidade do OneLake em seu banco de dados KQL. Agora você pode acessar todos os novos dados adicionados ao seu banco de dados no caminho OneLake fornecido no formato Delta Lake. Também pode optar por criar um atalho OneLake a partir de um Lakehouse, Data Warehouse ou consultar os dados diretamente através do modo Power BI Direct Lake.

Comportamento adaptativo

A Eventhouse oferece um mecanismo robusto que agrupa de forma inteligente os fluxos de dados recebidos em um ou mais arquivos Parquet, estruturados para análise. O envio em lote de fluxos de dados é importante ao lidar com dados em gotejamento. Escrever muitos pequenos arquivos Parquet no lago pode ser ineficiente, resultando em custos mais altos e baixo desempenho.

O mecanismo adaptativo do Eventhouse pode atrasar as operações de gravação por até algumas horas se não houver dados suficientes para criar arquivos Parquet ideais. Isso garante que os arquivos Parquet sejam ótimos em tamanho e sigam as práticas recomendadas do Delta Lake. O mecanismo adaptativo Eventhouse garante que os arquivos Parquet estejam preparados para análise e equilibra a necessidade de disponibilidade imediata de dados com considerações de custo e desempenho.

Você pode monitorar há quanto tempo novos dados foram adicionados no lago verificando a latência dos dados usando o comando .show table mirroring operations.

Os resultados são medidos a partir da última vez que os dados foram adicionados. Quando a latência resulta em 00:00:00, todos os dados no banco de dados KQL estão disponíveis no OneLake.

Ver ficheiros

Quando você ativa a disponibilidade do OneLake em uma tabela, uma pasta de log delta é criada junto com todos os arquivos JSON e Parquet correspondentes. Você pode visualizar os arquivos que foram disponibilizados no OneLake e suas propriedades enquanto permanece dentro do Real-Time Intelligence.

  • Para visualizar os arquivos, passe o mouse sobre uma tabela no painel Explorer e, em seguida, selecione o menu Mais [...]>Ver ficheiros.

    Captura de ecrã do painel Explorador a mostrar o menu pendente Mais de uma tabela.

  • Para visualizar as propriedades da pasta de log delta ou os arquivos individuais, passe o mouse sobre a pasta ou arquivo e, em seguida, selecione o menu Mais [...]>Propriedades.

  • Para visualizar os arquivos na pasta delta log:

    1. Selecione a pasta _delta_log .
    2. Selecione um arquivo para exibir os metadados e o esquema da tabela. O editor que abre está em formato somente leitura.

Política de espelhamento de acesso

Por padrão, quando a disponibilidade do OneLake está ativada, uma política de espelhamento é habilitada. Você pode usar a política para monitorar a latência de dados ou alterá-la para particionar tabelas delta.

Nota

Se você desativar a disponibilidade do OneLake, a propriedade da política de IsEnabled espelhamento será definida como false (IsEnabled=false).

Tabelas delta de partição

Você pode particionar suas tabelas delta para melhorar a velocidade de consulta. Para obter informações sobre quando particionar seus arquivos do OneLake, consulte Quando particionar tabelas. Cada partição é representada como uma coluna separada usando o PartitionName listado na lista Partições . Isso significa que sua cópia do OneLake tem mais colunas do que sua tabela de origem.

Para particionar suas tabelas delta, use o comando .alter-merge table policy mirroring .

Conteúdos relacionados