Delta Lives Tables version 2022.37

  • Article

14-22 septembre 2022

Ces fonctionnalités et améliorations ont été publiées avec la version 2022.37 de Delta Live Tables.

Versions de Databricks Runtime utilisées par cette version

Canal :

  • VERSION ACTUELLE (valeur par défaut) : Databricks Runtime 10.3.7
  • PRÉVERSION : Databricks Runtime 11.0.5

Nouvelles fonctionnalités et améliorations de cette version

  • La demande d’API de mise à jour de démarrage retourne maintenant le request_id champ dans le corps de la réponse. request_id est un identificateur stable pour la requête d’origine qui démarre la mise à jour. Si la mise à jour est retentée ou redémarrée, la nouvelle mise à jour hérite de request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nouvelle requête d’API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) retourne l’état de la mise à jour du pipeline associée à request_id. La réponse inclut des informations sur la dernière mise à jour.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Votre code Python peut désormais appeler des opérations spark.sql en dehors des fonctions dlt.table() ou dlt.view(), tant que l’opération ne lit pas à partir d’une vue matérialisée ou d’une table de diffusion en continu.

  • Les entrées du journal des événements contiennent désormais la propriété maturity pour indiquer la stabilité du schéma d’événements. Les valeurs possibles sont stable, evolving et deprecated. Pour en savoir plus sur le journal des événements Delta Live Tables, consultez Qu’est-ce que le journal des événements Delta Live Tables.

  • Le message d’erreur est amélioré lorsque des modifications incompatibles sont apportées aux tables source utilisées par une table de diffusion en continu.

  • Vous pouvez maintenant sélectionner une stratégie de cluster dans l’interface utilisateur Delta Live Tables, lorsque vous créer ou modifier un pipeline. Auparavant, la définition de la stratégie de cluster pour un pipeline nécessitait la modification des paramètres JSON du pipeline.

  • Démarrage plus rapide du pipeline. Cette version inclut des améliorations qui accélèrent l’étape SETTING_UP_TABLES lors du démarrage d’un pipeline.

Correctifs de bogues dans cette version

  • Cette version corrige un bogue qui empêche la mise à l’échelle automatique améliorée de monter en puissance lorsqu’aucune instance de cluster inactive n’est disponible.