Notes de publication du calcul serverless

Cet article explique les fonctionnalités et les comportements actuellement disponibles et à venir dans le calcul serverless pour les notebooks et les travaux.

Pour plus d’informations sur le calcul serverless, consultez Se connecter à un calcul serverless.

Databricks publie régulièrement des mises à jour vers le calcul serverless, mettant automatiquement à niveau le runtime de calcul serverless pour prendre en charge les améliorations et les mises à niveau vers la plateforme. Tous les utilisateurs obtiennent les mêmes mises à jour, déployées sur une courte période.

Changements comportementaux à venir

Cette section met l’accent sur les modifications comportementales à venir dans la prochaine version du calcul serverless. Lorsque les modifications seront envoyées en production, elles seront ajoutées aux notes de publication.

Septembre 2024

Modification de la liaison de schéma pour les vues

Lorsque les types de données dans la requête sous-jacente d’une vue changent par rapport à ceux utilisés lors de la création de la vue, Databricks ne génère plus d’erreurs pour les références à la vue lorsqu’aucun cast sécurisé ne peut être effectué. Au lieu de cela, la vue compense à l’aide de règles de cast régulières dans la mesure du possible.

Ce changement permet à Databricks de tolérer les modifications de schéma de table plus facilement.

Interdire la tolérance de syntaxe ! non documentée pour NOT en dehors de la logique booléenne

Databricks ne tolère plus l’utilisation de ! comme synonyme de NOT en dehors de la logique booléenne. Par exemple :

CREATE ... IF ! EXISTS, IS ! NULL, propriété de champ ou colonne ! NULL, ! IN et ! BETWEEN doit être remplacé par :

CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL propriété de champ ou colonne, NOT IN et NOT BETWEEN.

Ce changement réduit la confusion, s’aligne sur la norme SQL, et rend SQL plus portable.

L’opérateur de préfixe booléen ! (par exemple, !is_mgr ou !(true AND false)) n’est pas affecté par ce changement.

Interdire les parties non documentées et non traitées de la syntaxe de définition de colonne dans les vues

Databricks prend en charge CREATE VIEW avec des colonnes nommées et des commentaires de colonne. La spécification des types de colonnes, des contraintes NOT NULL, ou de DEFAULT a été tolérée dans la syntaxe sans avoir d’effet. Databricks va supprimer cette tolérance de syntaxe.

Cela réduira la confusion, s’alignera sur la norme SQL et autorisera des améliorations ultérieures.

Notes de publication

Cette section inclut des notes de publication pour le calcul serverless. Les notes de publication sont organisées par année et par semaine de l’année. Le calcul serverless s’exécute toujours à l’aide de la dernière version publiée ici.

• Version 2024.30
• Version 2024.15

Version 2024.30

23 juillet 2024

Cette version de calcul serverless correspond globalement à Databricks Runtime 15.1

Nouvelles fonctionnalités

• La clause Prise en charge des étoiles (*) dans la WHEREclause : vous pouvez désormais utiliser la clause étoile (*) dans la clause WHERE pour référencer toutes les colonnes de la liste SELECT. Par exemple : SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Modifications

• Récupération améliorée des erreurs pour l’analyse JSON : l’analyseur JSON utilisé pour les expressions de chemin d’accès from_json() et JSON récupère désormais plus rapidement à partir de la syntaxe incorrecte, ce qui entraîne moins de perte de données.

  Lorsque vous rencontrez une syntaxe JSON malformée dans un champ de struct, une valeur de tableau, une clé de carte ou une valeur de carte, l’analyseur JSON retourne désormais NULL uniquement pour le champ, la clé ou l’élément non lisibles. Les champs, clés ou éléments suivants seront correctement analysés. Avant cette modification, l’analyseur JSON a abandonné l’analyse du tableau, du struct ou de la carte et retourné NULL pour le contenu restant.

Version 2024.15

15 avril 2024

Il s’agit de la version initiale du calcul serverless. Ceci correspond approximativement à Databricks Runtime 14.3 avec certaines modifications qui suppriment la prise en charge de certaines fonctionnalités non serverless et héritées.

Paramètres de configuration Spark pris en charge

Pour automatiser la configuration de Spark sur le calcul serverless, Databricks a supprimé la possibilité de configurer manuellement la plupart des configurations Spark. Vous pouvez uniquement définir manuellement les paramètres de configuration Spark suivants :

• spark.sql.legacy.timeParserPolicy (La valeur par défaut EXCEPTION)
• spark.sql.session.timeZone (La valeur par défaut Etc/UTC)
• spark.sql.shuffle.partitions (La valeur par défaut auto)
• spark.sql.ansi.enabled (La valeur par défaut true)

Les exécutions de travaux sur le calcul serverless échouent si vous définissez une configuration Spark qui ne figure pas dans cette liste.

Pour découvrir plus d’informations sur la configuration des propriétés Spark, consultez Configurer les propriétés de configuration Spark sur Azure Databricks.

API de mise en cache et commandes SQL non prises en charge

L’utilisation des API de mise en cache Dataframe et SQL n’est pas prise en charge. L’utilisation de l’une de ces API ou commandes SQL provoque une exception.

API non prises en charge :

• df.cache(), df.persist()
• df.unpersist()
• spark.catalog.cacheTable()
• spark.catalog.uncacheTable()
• spark.catalog.clearCache()

Commandes SQL non prises en charge :

• CACHE TABLE
• UNCACHE TABLE
• REFRESH TABLE
• CLEAR CACHE

Vues temporaires globales non prises en charge

La création de vues temporaires globales n’est pas prise en charge. L’utilisation de l’une de ces commandes entraîne une exception :

• df.createOrReplaceGlobalTempView
• CREATE GLOBAL TEMPORARY VIEW

Au lieu de cela, Databricks recommande d’utiliser des vues temporaires de session ou de créer des tables où le passage de données intersession est nécessaire.

CREATE FUNCTION (externe) non pris en charge

La commande CREATE FUNCTION (externe) n’est pas prise en charge. L’utilisation de cette commande entraîne une exception.

Au lieu de cela, Databricks recommande d’utiliser CREATE FUNCTION (SQL et Python) pour créer des fonctions définies par l’utilisateur.

Tables Hive SerDe non prises en charge

Les tables Hive SerDe ne sont pas prises en charge. En outre, la commande LOAD DATA correspondante qui charge les données dans une table Hive SerDe n’est pas prise en charge. L’utilisation de la commande entraîne une exception.

La prise en charge des sources de données est limitée à AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT et XML.

Variables Hive non prises en charge

Les variables Hive (par exemple ${env:var}, ${configName}, ${system:var} et spark.sql.variable) ou les références de variables de configuration à l’aide de la syntaxe ${var} ne sont pas prises en charge. L’utilisation de variables Hive entraîne une exception.

Utilisez plutôt DECLARE VARIABLE, SET VARIABLE, les références de variable de session SQL et les marqueurs de paramètres (‘?’ou ‘:var’) pour déclarer, modifier et référencer l’état de session. Vous pouvez également utiliser la clause IDENTIFIER pour paramétrer les noms d’objets dans de nombreux cas.

Les fonctions input_file sont dépréciées

Les fonctions input_file_name(), input_file_block_length() et input_file_block_start() ont été dépréciées. L’utilisation de ces fonctions est fortement déconseillée.

Utilisez plutôt la colonne de métadonnées de fichier pour récupérer les informations de métadonnées de fichier.

Changements de comportement

Calcul serverless verison 2024.15 inclut les modifications comportementales suivantes :

• Correctif de bogue unhex(hexStr) : lors de l’utilisation de la fonction unhex(hexStr), hexStr est toujours rempli jusqu’à un octet entier. Auparavant, la fonction unhex ignorait le premier octet. Par exemple : unhex('ABC') produit désormais x'0ABC' au lieu de x'BC'.
• Les alias de colonne générés automatiquement sont désormais stables : lorsque le résultat d’une expression est référencé sans alias de colonne spécifié par l’utilisateur, cet alias généré automatiquement sera désormais stable. Le nouvel algorithme peut entraîner une modification des noms générés automatiquement précédemment utilisés dans les fonctionnalités telles que les vues matérialisées.
• Les analyses de table avec champs de type CHAR sont désormais toujours remplies : les tables Delta, certaines tables JDBC et certaines sources de données externes stockent les données CHAR sous forme non remplies. Lors de la lecture, Databricks remplit désormais les données avec des espaces à la longueur déclarée pour garantir une sémantique correcte.
• Les conversions de BIGINT/DECIMAL en TIMESTAMP lèvent une exception pour les valeurs dépassées : Databricks autorise la conversion de BIGINT et DECIMAL en TIMESTAMP en traitant la valeur comme le nombre de secondes de l’époque Unix. Auparavant, Databricks retournerait des valeurs dépassées, mais lève désormais une exception en cas de dépassement de capacité. Utilisez try_cast pour retourner NULL au lieu d’une exception.
• L’exécution UDF PySpark a été améliorée pour correspondre au comportement exact de l’exécution UDF sur le calcul mono-utilisateur : les modifications suivantes ont été apportées :
  • Les fonctions définies par l’utilisateur avec un type de retour de chaîne ne convertissent plus implicitement les valeurs non-chaînes en chaînes. Avant, les fonctions définies par l’utilisateur avec un type de retour str appliqueraient un wrapper str(..) au résultat, quel que soit le type de données réel de la valeur retournée.
  • Les fonctions définies par l’utilisateur avec types de retour timestamp n’appliquent plus implicitement de conversion de fuseau horaire aux horodatages.

Environnement du système

Le calcul serverless inclut l’environnement système suivant :

• Système d’exploitation : Ubuntu 22.04.3 LTS
• Python : 3.10.12
• Delta Lake : 3.1.0

Bibliothèques Python installées

Les bibliothèques Python suivantes sont installées sur le calcul serverless par défaut. Des dépendances supplémentaires peuvent être installées à l’aide du panneau latéral Environment. Consultez Installer les dépendances de notebook.