Delta Live Tables versão 2022.49

  • Artigo

6 a 9 de dezembro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.49 do Delta Live Tables.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 11.0.11
  • VISUALIZAÇÃO: Databricks Runtime 11.3.2

Novos recursos e melhorias nesta versão

  • Agora você pode importar arquivos de uma pasta Databricks Git como módulos Python. Você pode importar arquivos do caminho de repositório atual ou de um caminho de repositório especificado usando sys.path.append()o .

  • O dimensionamento automático aprimorado agora está disponível para o público em geral. Com esta versão, o dimensionamento automático aprimorado é o modo de dimensionamento automático padrão para novos pipelines criados na interface do usuário. O Databricks recomenda a atualização de pipelines que usam o dimensionamento automático de cluster existente para usar o dimensionamento automático avançado.

  • Para pipelines executados no modo contínuo, o limite de repetição padrão agora é 2 quando ocorrem falhas repetidas. Incluindo a tentativa original, todos os fluxos têm três tentativas (com backoff exponencial) para serem executados quando ocorrem falhas não fatais. Anteriormente, os padrões eram repetições ilimitadas para fluxos em lote e cinco tentativas para fluxos de streaming.

  • O parâmetro pipelines.maxFlowRetryAttempts de configuração agora se aplica ao limite de repetição para todos os fluxos, incluindo fluxos em lote e streaming e pipelines contínuos ou acionados. Anteriormente, pipelines.maxFlowRetryAttempts aplicado a todos os limites de repetição no modo acionado, mas apenas fluxos em lote no modo contínuo; as novas tentativas para pipelines de streaming no modo contínuo eram controladas pelo pipelines.numStreamRetryAttempts. Para pipelines existentes, pipelines.numStreamRetryAttempts continua a ser suportado para fluxos de streaming em modo contínuo. Se ambos pipelines.numStreamRetryAttempts estiverem pipelines.maxFlowRetryAttempts definidos, pipelines.numStreamRetryAttempts tem prioridade para fluxos de streaming em modo contínuo. Caso contrário, o valor configurado para pipelines.maxFlowRetryAttempts será usado. Consulte Referência de propriedades do Delta Live Tables.

Correções de bugs nesta versão

  • Esta versão corrige um bug que causa a exibição de cálculos de DBU por hora incorretos para clusters habilitados para Photon.

  • Esta versão corrige um bug que fazia com que as tarefas de manutenção do Delta Live Tables falhassem nos espaços de trabalho habilitados para o Unity Catalog.

  • Esta versão corrige um bug em que parar ou reiniciar um pipeline contínuo que ingere dados com o Auto Loader faz com que o pipeline trave por vários minutos.