Notas sobre a versão do Delta Live Tables e o processo de atualização da versão

Artigo
10/23/2024

Este artigo explica o processo de versão do Delta Live Tables, como o runtime do Delta Live Tables é gerenciado e fornece links para as notas sobre a versão para cada versão do Delta Live Tables.

Canais do runtime do Delta Live Tables

Observação

Para ver as versões do Databricks Runtime usadas com uma versão do Delta Live Tables, consulte as notas sobre a versão dessa versão.

Os clusters do Delta Live Tables usam runtimes com base em versões de notas sobre a versão do Databricks Runtime e compatibilidade. O Databricks atualiza automaticamente os runtimes do Delta Live Tables para dar suporte a aprimoramentos e atualizações na plataforma. Você pode usar o campo channel nas configurações do pipeline do Delta Live Tables para controlar a versão de runtime do Delta Live Tables que executa seu pipeline. Os valores com suporte são:

current para usar a versão de runtime atual.
preview para testar seu pipeline com as próximas alterações na versão de runtime.

Por padrão, seus pipelines são executados com a versão de runtime current. A Databricks recomenda usar o runtime current para cargas de trabalho de produção. Para saber como usar a configuração preview a fim de testar seus pipelines com a próxima versão de runtime, confira Automatizar o teste de seus pipelines com a próxima versão de runtime.

Importante

Os recursos marcados como disponíveis para o público em geral ou Visualização Pública estão disponíveis no current canal.

Para obter mais informações sobre os canais do Delta Live Tables, consulte o campo channel nas configurações de pipeline do Delta Live Tables.

Para entender como o Delta Live Tables gerencia o processo de atualização de cada versão, confira Como funcionam as atualizações do Delta Live Tables?.

Como fazer para encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos do Delta Live Tables para localizar a versão do Databricks Runtime para obter uma atualização de pipeline. Confira Informações do runtime.

Notas sobre a versão do Delta Live Tables

As notas sobre a versão das Tabelas Dinâmicas Delta são organizadas por ano e semana. Como o Delta Live Tables é sem versão, as alterações no espaço de trabalho e no runtime ocorrem automaticamente. As notas sobre a versão a seguir fornecem uma visão geral das alterações e correções de bugs em cada versão:

Como funcionam as atualizações do Delta Live Tables?

O Delta Live Tables é considerado um produto sem versão, o que significa que o Databricks atualiza automaticamente o runtime do Delta Live Tables para dar suporte a aprimoramentos e atualizações na plataforma. A Databricks recomenda limitar as dependências externas para pipelines do Delta Live Tables.

O Databricks trabalha proativamente para evitar que atualizações automáticas introduzam erros ou problemas nos pipelines de produção do Delta Live Tables. Consulte o processo de atualização do Delta Live Tables.

Especialmente para usuários que implantam pipelines Delta Live Tables com dependências externas, o Databricks recomenda testar proativamente os pipelines com preview canais. Consulte Automatizar o teste dos seus pipelines com a próxima versão do runtime.

Processo de atualização do Delta Live Tables

O Databricks gerencia o Azure Databricks Runtime usado pelos recursos de computação do Delta Live Tables. O Delta Live Tables atualiza automaticamente o runtime em seus workspaces do Azure Databricks e monitora a integridade de seus pipelines após a atualização.

Se o Delta Live Tables detectar que um pipeline não pode ser iniciado devido a uma atualização, a versão do runtime do pipeline será revertida para a versão anterior que é conhecida como estável e as etapas a seguir serão disparadas automaticamente:

O runtime do Delta Live Tables do pipeline é fixado na versão anterior em boas condições.
A interface do usuário do Delta Live Tables mostra um indicador visual de que o pipeline está fixado em uma versão anterior devido a uma falha de atualização.
O suporte da Databricks é notificado sobre o problema.
- Se o problema estiver relacionado a uma regressão no runtime, o Databricks resolverá o problema.
- Se o problema for causado por uma biblioteca ou pacote personalizado usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
Quando o problema é resolvido, o Databricks inicia a atualização novamente.

Importante

O Delta Live Tables reverte apenas os pipelines em execução no modo de produção com o canal definido como current.

Automatizar o teste dos seus pipelines com a próxima versão do runtime

Para garantir que as alterações na próxima versão do runtime do Delta Live Tables não afetem seus pipelines, use o recurso de canais do Delta Live Tables e faça o seguinte:

Crie um pipeline de preparo e defina o canal para preview.
Na interface do usuário do Delta Live Tables, crie um agendamento para executar o pipeline semanalmente e habilite os alertas para receber uma notificação por email sobre falhas no pipeline. A Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se você usar dependências de pipeline personalizadas.
Se você receber uma notificação de uma falha e não conseguir resolvê-la, abra um tíquete de suporte na Databricks.

Dependências do pipeline

O Delta Live Tables dá suporte a dependências externas em seus pipelines. Por exemplo, é possível instalar qualquer pacote Python usando o comando %pip install. O Delta Live Tables também dá suporte ao uso de scripts de inicialização globais e com escopo de cluster. No entanto, essas dependências externas, principalmente os scripts de inicialização, aumentam o risco de problemas com atualizações de runtime. Para mitigar esses riscos, minimize o uso de scripts de inicialização em seus pipelines. Se seu processamento exigir scripts de inicialização, automatize o teste do pipeline para detectar problemas antecipadamente. Para isso, confira Automatizar o teste de seus pipelines com a próxima versão de runtime. Se você usa scripts de inicialização, a Databricks recomenda aumentar sua frequência de teste.

Compartilhar via