Notas sobre a versão do Delta Live Tables e o processo de atualização da versão

  • Artigo

Este artigo explica o processo de versão do Delta Live Tables, como o runtime do Delta Live Tables é gerenciado e fornece links para as notas sobre a versão para cada versão do Delta Live Tables.

Canais do runtime do Delta Live Tables

Os clusters do Delta Live Tables usam runtimes com base em versões de notas sobre a versão do Databricks Runtime e compatibilidade. O Databricks atualiza automaticamente os runtimes do Delta Live Tables para dar suporte a aprimoramentos e atualizações na plataforma. Você pode usar o campo channel nas configurações do pipeline do Delta Live Tables para controlar a versão de runtime do Delta Live Tables que executa seu pipeline. Os valores com suporte são:

  • current para usar a versão de runtime atual.
  • preview para testar seu pipeline com as próximas alterações na versão de runtime.

Por padrão, seus pipelines são executados com a versão de runtime current. A Databricks recomenda usar o runtime current para cargas de trabalho de produção. Para saber como usar a configuração preview a fim de testar seus pipelines com a próxima versão de runtime, confira Automatizar o teste de seus pipelines com a próxima versão de runtime.

Para ver as versões do Databricks Runtime usadas com uma versão do Delta Live Tables, consulte as notas sobre a versão dessa versão.

Para obter mais informações sobre os canais do Delta Live Tables, consulte o campo channel nas configurações de pipeline do Delta Live Tables.

Para entender como o Delta Live Tables gerencia o processo de atualização de cada versão, confira Como funcionam as atualizações do Delta Live Tables?.

Como fazer para encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos do Delta Live Tables para localizar a versão do Databricks Runtime para obter uma atualização de pipeline. Confira Informações do runtime.

Notas sobre a versão do Delta Live Tables

As notas sobre a versão das Tabelas Dinâmicas Delta são organizadas por ano e semana. Como o Delta Live Tables é sem versão, as alterações no espaço de trabalho e no runtime ocorrem automaticamente. As notas sobre a versão a seguir fornecem uma visão geral das alterações e correções de bugs em cada versão:

Como funcionam as atualizações do Delta Live Tables?

O Delta Live Tables é considerado um produto sem versão, o que significa que o Databricks atualiza automaticamente o runtime do Delta Live Tables para dar suporte a aprimoramentos e atualizações na plataforma. A Databricks recomenda limitar as dependências externas para pipelines do Delta Live Tables.

O Databricks trabalha proativamente para evitar que atualizações automáticas introduzam erros ou problemas nos pipelines de produção do Delta Live Tables. Consulte o processo de atualização do Delta Live Tables.

Especialmente para usuários que implantam pipelines Delta Live Tables com dependências externas, o Databricks recomenda testar proativamente os pipelines com preview canais. Consulte Automatizar o teste dos seus pipelines com a próxima versão do runtime.

Processo de atualização do Delta Live Tables

O Databricks gerencia o Azure Databricks Runtime usado pelos recursos de computação do Delta Live Tables. O Delta Live Tables atualiza automaticamente o runtime em seus workspaces do Azure Databricks e monitora a integridade de seus pipelines após a atualização.

Se o Delta Live Tables detectar que um pipeline não pode ser iniciado devido a uma atualização, a versão do runtime do pipeline será revertida para a versão anterior que é conhecida como estável e as etapas a seguir serão disparadas automaticamente:

  • O runtime do Delta Live Tables do pipeline é fixado na versão anterior em boas condições.
  • A interface do usuário do Delta Live Tables mostra um indicador visual de que o pipeline está fixado em uma versão anterior devido a uma falha de atualização.
  • O suporte da Databricks é notificado sobre o problema.
    • Se o problema estiver relacionado a uma regressão no runtime, o Databricks resolverá o problema.
    • Se o problema for causado por uma biblioteca ou pacote personalizado usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
  • Quando o problema é resolvido, o Databricks inicia a atualização novamente.

Importante

O Delta Live Tables reverte apenas os pipelines em execução no modo de produção com o canal definido como current.

Automatizar o teste dos seus pipelines com a próxima versão do runtime

Para garantir que as alterações na próxima versão do runtime do Delta Live Tables não afetem seus pipelines, use o recurso de canais do Delta Live Tables e faça o seguinte:

  1. Crie um pipeline de preparo e defina o canal para preview.
  2. Na interface do usuário do Delta Live Tables, crie um agendamento para executar o pipeline semanalmente e habilite os alertas para receber uma notificação por email sobre falhas no pipeline. A Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se você usar dependências de pipeline personalizadas.
  3. Se você receber uma notificação de uma falha e não conseguir resolvê-la, abra um tíquete de suporte na Databricks.

Dependências do pipeline

O Delta Live Tables dá suporte a dependências externas em seus pipelines. Por exemplo, é possível instalar qualquer pacote Python usando o comando %pip install. O Delta Live Tables também dá suporte ao uso de scripts de inicialização globais e com escopo de cluster. No entanto, essas dependências externas, principalmente os scripts de inicialização, aumentam o risco de problemas com atualizações de runtime. Para mitigar esses riscos, minimize o uso de scripts de inicialização em seus pipelines. Se seu processamento exigir scripts de inicialização, automatize o teste do pipeline para detectar problemas antecipadamente. Para isso, confira Automatizar o teste de seus pipelines com a próxima versão de runtime. Se você usa scripts de inicialização, a Databricks recomenda aumentar sua frequência de teste.