Versão Delta Live Tables 2022.37

  • Artigo

De 14 a 22 de setembro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.37 do Delta Live Tables.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 10.3.7
  • VERSÃO PRÉVIA: Databricks Runtime 11.0.5

Novos recursos e melhorias nesta versão

  • A solicitação de API Iniciar uma atualização de pipeline agora retorna o campo request_id no corpo da resposta. O request_id é um identificador estável para a solicitação original que inicia a atualização. Se uma atualização for repetida ou reiniciada, a nova atualização herdará o request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

A nova solicitação de API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) retorna o status da atualização de pipeline associada a request_id. A resposta inclui informações sobre a atualização mais recente.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Agora o código Python pode chamar operações spark.sql fora das funções dlt.table() ou dlt.view(), desde que a operação não esteja lendo a partir de uma exibição materializada ou de uma tabela de streaming.

  • As entradas do log de eventos agora contêm a propriedade maturity para indicar a estabilidade do esquema de evento. Os valores possíveis são stable, evolving e deprecated. Para obter mais informações sobre o log de eventos do Delta Live Tables, confira Monitorar pipelines com o log de eventos do Delta Live Tables.

  • A mensagem de erro é aprimorada quando alterações incompatíveis são feitas nas tabelas de origem usadas por uma tabela de streaming.

  • Agora você pode selecionar uma política de cluster na interface do usuário do Delta Live Tables ao criar ou editar um pipeline. Antes, definir a política de cluster para um pipeline exigia a edição das configurações JSON do pipeline.

  • Inicialização de pipeline mais rápida. Esta versão inclui aprimoramentos que aceleram a etapa SETTING_UP_TABLES quando um pipeline está sendo iniciado.

Correções de bugs nesta versão

  • Esta versão corrige um bug que impede o dimensionamento automático avançado de escalar verticalmente quando não há instâncias de cluster ociosas disponíveis.