Delta Live Tables versão 2022.49

  • Artigo

6 a 9 de dezembro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.49 das Tabelas Dinâmicas Delta.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 11.0.11
  • VERSÃO PRÉVIA: Databricks Runtime 11.3.2

Novos recursos e melhorias nesta versão

  • Agora você pode importar arquivos de uma pasta Databricks Git como módulos Python. É possível importar arquivos do caminho do repositório atual ou de um caminho de repositório especificado usando sys.path.append().

  • O dimensionamento automático aprimorado agora está disponível para o público geral. Com esta versão, o dimensionamento automático aprimorado é o modo de dimensionamento automático padrão para novos pipelines criados na interface do usuário. O Databricks recomenda atualizar pipelines que usam o dimensionamento automático de cluster existente para usar o dimensionamento automático aprimorado.

  • Para execuções de pipeline no modo contínuo, o limite de repetição padrão agora é de duas tentativas quando ocorrem falhas repetíveis. Incluindo a tentativa original, todos os fluxos têm três tentativas (com retirada exponencial) de execução quando ocorrem falhas não fatais. Anteriormente, os padrões consistiam em novas tentativas ilimitadas para fluxos em lote e em cinco novas tentativas para fluxos de streaming.

  • O parâmetro de configuração pipelines.maxFlowRetryAttempts agora se aplica ao limite de repetição para todos os fluxos, incluindo fluxos de lote e streaming e pipelines contínuos ou disparados. Anteriormente, pipelines.maxFlowRetryAttempts era aplicado a todos os limites de repetição no modo disparado, mas apenas a fluxos em lote no modo contínuo. Novas tentativas para pipelines de streaming no modo contínuo eram controladas por pipelines.numStreamRetryAttempts. Para pipelines existentes, pipelines.numStreamRetryAttempts continua a ter suporte em fluxos de streaming no modo contínuo. Se pipelines.numStreamRetryAttempts e pipelines.maxFlowRetryAttempts estiverem definidos, pipelines.numStreamRetryAttempts terá prioridade para fluxos de streaming no modo contínuo. Caso contrário, o valor configurado para pipelines.maxFlowRetryAttempts será usado. Consulte Referência de propriedades do Delta Live Tables.

Correções de bugs nesta versão

  • Esta versão corrige um bug que causa a exibição de cálculos incorretos de DBU por hora para clusters habilitados para Photon.

  • Esta versão corrige um bug que fazia com que as tarefas de manutenção das Tabelas Dinâmicas Delta falhassem em workspaces habilitados para o Catálogo do Unity.

  • Esta versão corrige um bug em que parar ou reiniciar um pipeline contínuo que ingere dados com o Carregador Automático fazia com que o pipeline travasse por vários minutos.