Versão Delta Live Tables 2022.40

  • Artigo

28 de setembro a 05 de outubro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.40 do Delta Live Tables.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 11.0.7
  • VERSÃO PRÉVIA: Databricks Runtime 11.0.7

Novos recursos e melhorias nesta versão

  • O uso de um rótulo de cluster diferente de default ou maintenance em suas configurações de pipeline causa falhas durante a criação ou edição do pipeline. Para obter mais informações sobre a configuração do cluster para pipelines do Delta Live Tables, consulte Configuração do cluster.

  • Agora você pode abrir ou executar pipelines diretamente dos notebooks do Delta Live Tables. Confira Abrir ou executar um pipeline do Delta Live Tables em um notebook.

  • Essa versão inclui uma alteração interruptiva na estrutura de dados de configurações de pipeline retornada por solicitações de API do Delta Live Tables. Essa alteração retorna o campo edition como um valor de maiúsculas e minúsculas. Anteriormente, esse valor era retornado como um caso misto. Você deve atualizar seus clientes que leem o valor edition em respostas à API para garantir o processamento correto do valor retornado. No entanto, o valor edition em solicitações de API não diferencia maiúsculas de minúsculas; seus clientes que enviam solicitações, incluindo esse campo, não exigem atualização.

Correções de bugs nesta versão

  • Essa versão corrige um bug que faz com que a interface do usuário do Delta Live Tables mostre um pipeline em um estado RUNNING mesmo após a falha na atualização.

  • Essa atualização corrige um bug na interface APPLY_CHANGES ao processar novamente os dados de entrada em que os dados contêm operações DELETE duplicadas com o mesmo valor na coluna SEQUENCE. Esse cenário resulta em valores NULL na tabela de destino e remoção do valor DeleteVersion. Isso é equivalente à marcação do registro como NOT-DELETED. Com essa alteração, as operações DELETE duplicadas são tratadas de forma idempotente e sempre marcam o registro como DELETED.

  • Essa versão corrige um bug que faz com que as linhas fiquem ocultas durante o processamento do SCD tipo 2, quando um registro histórico anterior é excluído contendo as mesmas colunas que o próximo registro histórico.

  • Essa atualização corrige um bug que faz com que uma exibição com uma expectativa expect_or_fail permaneça no estado RUNNING, mesmo que a expectativa falhe. Com essa correção, o pipeline falha e faz a transição para o estado FAILED.