Databricks Runtime 14.1

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.1 avec Apache Spark 3.5.0.

Databricks a publié cette version en octobre 2023.

Améliorations et nouvelles fonctionnalités

• array_insert() est basé sur 1 pour les index négatifs
• Les points de contrôle Delta v2 sont activés par défaut avec un clustering liquide
• Annuler la fonctionnalité de table Delta dans la Préversion publique
• Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec des vecteurs de suppression (préversion publique)
• Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec le mappage de colonnes (préversion publique)
• Diffuser en continu à partir des affichages catalogue Unity en préversion publique
• Connecteur Apache Pulsar en préversion publique
• Pilote Snowflake mis à niveau
• Variables de session langage SQL
• Invocation de paramètre nommé pour SQL et Python UDF.
• Les arguments de table des fonctions prennent en charge le partitionnement et le classement.
• Fonctions SQL intégrées nouvelles et améliorées
• Gestion améliorée des sous-requêtes corrélées

array_insert() est basé sur 1 pour les index négatifs

La fonction array_insert est basée sur 1 pour les index positifs et négatifs. Il insère désormais un nouvel élément à la fin des tableaux d'entrée pour l'index -1. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.negativeIndexInArrayInsert la valeur true.

Les points de contrôle Delta v2 sont activés par défaut avec un clustering liquide

Les tables Delta nouvellement créées avec un clustering liquide utilisent des points de contrôle v2 par défaut. Consultez Compatibilité pour les tables avec un clustering liquide.

Annuler la fonctionnalité de table Delta dans la Préversion publique

Vous pouvez désormais annuler quelques fonctionnalités de table pour des tables Delta. La prise en charge actuelle inclut l’annulation de deletionVectors et de v2Checkpoint. Voir Annuler des fonctionnalités de table Delta.

Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec des vecteurs de suppression (préversion publique)

Les destinataires Delta Sharing peuvent effectuer des requêtes par lots sur des tables partagées qui utilisent des vecteurs de suppression. Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.

Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec le mappage de colonnes (préversion publique)

Les destinataires Delta Sharing peuvent effectuer des requêtes par lots sur des tables partagées qui utilisent le mappage de colonnes. Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.

Diffusion en continu à partir des affichages catalogue Unity en préversion publique

Vous pouvez désormais utiliser Structured Streaming pour effectuer des lectures en continu de vues inscrites auprès de Unity Catalog. Azure Databricks prend uniquement en charge les lectures en continu de vues définies sur des tables Delta. Consultez Lire une vue Unity Catalog en tant que flux.

Connecteur Apache Pulsar en préversion publique

Vous pouvez désormais utiliser Structured Streaming pour diffuser en continu des données à partir d’Apache Pulsar sur Azure Databricks. Consultez Diffuser en continu à partir d’Apache Pulsar.

Pilote Snowflake mis à niveau

Le pilote JDBC Snowflake utilise désormais la version 3.13.33.

Variables de session langage SQL

Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées à partir des requêtes. Voir Variables.

Invocation de paramètre nommé pour SQL et Python UDF.

Vous pouvez désormais utiliser l'invocation de paramètre nommé sur langage SQL et Python UDF.

Les arguments de table des fonctions prennent en charge le partitionnement et le classement.

Vous pouvez désormais utiliser les clauses PARTITION BY et ORDER BY pour contrôler la manière dont les arguments de table sont transmis à une fonction lors de l'invocation de la fonction.

Fonctions SQL intégrées nouvelles et améliorées

Les fonctions intégrées suivantes ont été ajoutées :

• from_xml : analyse un XML STRING dans un fichier STRUCT.
• schema_of_xml : Dérive un schéma à partir d'un XML STRING.
• session_user : renvoie l'utilisateur connecté.
• try_reflect : Renvoie NULL à la place de l'exception si une méthode Java échoue.

Les fonctions intégrées suivantes ont été améliorées :

• mode : Prise en charge d'un paramètre facultatif forçant un résultat déterministe.
• to_char : nouvelle prise en charge de DATE, TIMESTAMP et BINARY.
• to_varchar : nouvelle prise en charge de DATE, TIMESTAMP et BINARY.

Gestion améliorée des sous-requêtes corrélées

La capacité de traiter la corrélation dans les sous-requêtes a été étendue :

• Gérez la limite et l’ordre dans des sous-requêtes scalaires (latérales) corrélées.
• Prise en charge des fonctions de fenêtre dans les sous-requêtes scalaires corrélées.
• Prise en charge des références corrélées dans les prédicats de jointure pour les sous-requêtes scalaires et latérales

Changement de comportement

Vérification de type stricte dans le lecteur Photon Parquet

Photon échoue lors de la tentative de lecture d’une valeur décimale dans une colonne Parquet qui n’est pas de type décimal. Photon échoue également lors de la lecture d’un tableau d’octets de longueur fixe sous forme de chaîne dans Parquet.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de la version 3.12.2 vers la version 3.12.3
  • s3transfer de la version 0.6.1 vers la version 0.6.2
• Bibliothèques Java mises à niveau :
  • com.uber.h3 de la version 3.7.0 vers la version 3.7.3
  • io.airlift.aircompressor de la version 0.24 vers la version 0.25
  • io.delta.delta-sharing-spark_2.12 de la version 0.7.1 vers la version 0.7.5
  • io.netty.netty-all de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-buffer de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec-http de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec-http2 de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec-socks de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-common de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-handler de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-handler-proxy de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-resolver de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport-classes-epoll de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport-native-epoll de la version 4.1.93.Final-linux-x86_64 vers la version 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de la version 4.1.93.Final-osx-x86_64 vers la version 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de la version 4.1.93.Final vers la version 4.1.96.Final
  • net.snowflake.snowflake-jdbc de la version 3.13.29 vers la version 3.13.33
  • org.apache.orc.orc-core de la version 1.9.0-shaded-protobuf vers la version 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de la version 1.9.0-shaded-protobuf vers la version 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims de la version 1.9.0 vers la version 1.9.1

Apache Spark

Databricks Runtime 14.1 comprend Apache Spark 3.5.0. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 14.0 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-45088] [DBRRM-557] Rétablir « [SC-142785] [PYTHON] [CONNECT] Faire fonctionner getitem avec une colonne dupliquée »
• [SPARK-43453] [DBRRM-557]Revenir « [SC-143135][PS] Ignorer le names de MultiIndex quand axis=1 pour concat »
• [SPARK-45225] [SC-143207][SQL] XML : prise en charge de l’URL du fichier XSD
• [SPARK-45156] [SC-142782][SQL] Envelopper inputName avec des accents graves dans la classe d’erreur NON_FOLDABLE_INPUT
• [SPARK-44910] [SC-143082][SQL] Encoders.bean ne prend pas en charge les superclasses avec des arguments de type générique
• [SPARK-43453] [SC-143135][PS] Ignorer le names de MultiIndex lorsque axis=1 pour concat
• [SPARK-44463] [SS][CONNECT] Améliorer la gestion des erreurs pour Connect diffusant en continu un worker Python
• [SPARK-44960] [SC-141023][UI] Résumé des erreurs unescape et consist dans les pages de l’interface utilisateur
• [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] Ajouter from_xml et schema_of_xml à pyspark, spark connect et sql function
• [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5]Ajouter les packages manquants dans setup.py
• [SPARK-45151] [SC-142861][CORE][UI] Prise en charge du vidage de thread au niveau des tâches
• [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] Tests d’arrêt pour streamingQueryListener et foreachBatch
• [SPARK-45084] [SC-142828][SS] StateOperatorProgress doit utiliser un numéro de partition aléatoire effectif précis
• [SPARK-44872] [SC-142405][CONNECT] Infrastructure de test du serveur et reattachableExecuteSuite
• [SPARK-45197] [SC-142984][CORE] Faire en sorte que StandaloneRestServer ajoute JavaModuleOptions aux pilotes
• [SPARK-44404] [SC-139601][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][SQL] Prendre en charge SPJ où les clés de jointure sont inférieures aux clés de cluster
• [SPARK-45088] [SC-142785][PYTHON][CONNECT] Faire fonctionner getitem avec les colonnes dupliquées
• [SPARK-45128] [SC-142851][SQL] Prendre en charge CalendarIntervalType dans Arrow
• [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] Éviter le modèle ML Spark Connect pour modifier le dataframe Pandas d’entrée
• [SPARK-45034] [SC-142959][SQL] Prendre en charge la fonction de mode déterministe
• [SPARK-45173] [SC-142931][UI] Supprimer certains fichiers sourceMapping inutiles dans l’interface utilisateur
• [SPARK-45162] [SC-142781][SQL] Prendre en charge les mappages et paramètres de tableau construits via call_function
• [SPARK-45143] [SC-142840][PYTHON][CONNECT] Rendre PySpark compatible avec PyArrow 13.0.0
• [SPARK-45174] [SC-142837][CORE] Prendre en charge spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][CONNECT][PYTHON] Le client Python doit appeler release_all
• [SPARK-36191] [SC-142777][SQL] Gérer la limite et l’ordre dans les sous-requêtes scalaires mises en corrélation (latérales)
• [SPARK-45159] [SC-142829][PYTHON] Gérer les arguments nommés uniquement si cela est nécessaire
• [SPARK-45133] [SC-142512][CONNECT] Définir les requêtes Spark Connect sur FINISHED lorsque la dernière tâche de résultat est terminée
• [SPARK-44801] [SC-140802][SQL][UI] Capturer l’analyse des requêtes ayant échoué dans l’écouteur et l’interface utilisateur
• [SPARK-45139] [SC-142527][SQL] Ajouter DatabricksDialect pour gérer la conversion de type SQL
• [SPARK-45157] [SC-142546][SQL] Éviter les vérifications répétées de if dans [On|Off|HeapColumnVector
• [SPARK-45077] Rétablir « [SC-142069][UI] Mettre à niveau dagre-d3.js de la version 04.3 vers la version 0.6.4 »
• [SPARK-45145] [SC-142521][EXAMPLE] Ajouter un exemple JavaSparkSQLCli
• [SPARK-43295] Rétablir « [SC-142254][PS] Prendre en charge les colonnes de type chaîne pour DataFrameGroupBy.sum »
• [SPARK-44915] [SC-142383][CORE] Valider la somme de contrôle des données aléatoires de PVC remontées avant la récupération
• [SPARK-45147] [SC-142524][CORE] Supprimer l’utilisation de System.setSecurityManager
• [SPARK-45104] [SC-142206][UI] Mettre à niveau graphlib-dot.min.js vers la version 1.0.2
• [SPARK-44238] [SC-141606][CORE][SQL] Introduire une nouvelle méthode readFrom avec une entrée de tableau d’octets pour BloomFilter
• [SPARK-45060] [SC-141742][SQL] Corriger une erreur interne de to_char() sur le format NULL
• [SPARK-43252] [SC-142381][SQL] Remplacer la classe d’erreur _LEGACY_ERROR_TEMP_2016 par une erreur interne
• [SPARK-45069] [SC-142279][SQL] La variable SQL doit toujours être résolue après une référence externe
• [SPARK-44911] [SC-142388][SQL] La création d’une table Hive avec une colonne non valide doit retourner la classe d’erreur
• [SPARK-42754] [SC-125567][SQL][UI] Corriger le problème de compatibilité descendante dans une exécution SQL imbriquée
• [SPARK-45121] [SC-142375][CONNECT][PS] Prendre en charge Series.empty pour Spark Connect
• [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/etc. doivent fonctionner dans un vecteur de colonne qui dispose d’un dictionnaire
• [SPARK-45027] [SC-142248][PYTHON] Masquer les fonctions/variables internes dans pyspark.sql.functions à partir de la saisie semi-automatique
• [SPARK-45073] [SC-141791][PS][CONNECT] Remplacer LastNotNull par Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][SQL] Rétroportage manuel : Ajouter une API dans la méthode « analyze » UDTF Python pour retourner des expressions de partitionnement/classement
• [SPARK-45076] [SC-141795][PS] Basculer vers la fonction repeat intégrée
• [SPARK-44162] [SC-141605][CORE] Prendre en charge G1GC dans les métriques Spark
• [SPARK-45053] [SC-141733][PYTHON][MINOR] Améliorer la journalisation de la non-concordance des versions de Python
• [SPARK-44866] [SC-142221][SQL] Ajouter SnowflakeDialect pour gérer correctement le type BOOLEAN
• [SPARK-45064] [SC-141775][PYTHON][CONNECT] Ajouter le paramètre manquant scale dans ceil/ceiling
• [SPARK-45059] [SC-141757][CONNECT][PYTHON] Ajouter les fonctions try_reflect à Scala et à Python
• [SPARK-43251] [SC-142280][SQL] Remplacer la classe d’erreur _LEGACY_ERROR_TEMP_2015 par une erreur interne
• [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] Rendre la colonne de sortie des alias de fonction cohérente avec SQL
• [SPARK-44239] [SC-141502][SQL] Libérer la mémoire allouée par de grands vecteurs lorsque les vecteurs sont réinitialisés
• [SPARK-43295] [SC-142254][PS] Prendre en charge les colonnes de type chaîne pour DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][SS] Appeler explicitement la prise en charge des colonnes dans les sources de données de streaming DSv2
• [SPARK-45036] [SC-141768][SQL] SPJ : Simplifier la logique pour gérer la distribution partiellement en cluster
• [SPARK-45077] [SC-142069][UI] Mettre à niveau dagre-d3.js de la version 0.4.3 vers la version 0.6.4
• [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] La fonction floor/round/bround accepte le type de colonne scale
• [SPARK-45090] [SC-142019][PYTHON][CONNECT] DataFrame.{cube, rollup} doit prendre en charge les numéros de colonne
• [SPARK-44743] [SC-141625][SQL] Ajouter la fonction try_reflect
• [SPARK-45086] [SC-142052][UI] Afficher la valeur hexadécimale pour le code de hachage de verrou de thread
• [SPARK-44952] [SC-141644][SQL][PYTHON] Prendre en charge les arguments nommés dans les fonctions UDF Pandas agrégées
• [SPARK-44987] [SC-141552][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][CONNECT] Corriger les avertissements de compilation liés à Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][CONNECT] Ajouter des tests supplémentaires pour le client Python et l’exécution pouvant être attachée
• [SPARK-45072] [SC-141807][CONNECT] Corriger les étendues externes pour les classes ammonite
• [SPARK-45033] [SC-141759][SQL] Prendre en charge les mappages par sql() paramétrisé
• [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] Faire en sorte que la fonction repeat accepte le type de colonne n
• [SPARK-44860] [SC-141103][SQL] Ajouter la fonction SESSION_USER
• [SPARK-45074] [SC-141796][PYTHON][CONNECT] DataFrame.{sort, sortWithinPartitions} doit prendre en charge les numéros de colonne
• [SPARK-45047] [SC-141774][PYTHON][CONNECT] DataFrame.groupBy doit prendre en charge les numéros
• [SPARK-44863] [SC-140798][UI] Ajouter un bouton pour télécharger le vidage de thread au format .txt dans l’interface utilisateur de Spark
• [SPARK-45026] [SC-141604][CONNECT] spark.sql doit prendre en charge les types de données non compatibles avec Arrow
• [SPARK-44999] [SC-141145][CORE] Refactoriser ExternalSorter pour réduire les vérifications sur shouldPartition lors de l’appel de getPartition
• [SPARK-42304] [SC-141501][SQL] Renommer _LEGACY_ERROR_TEMP_2189 en GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][SQL] Corriger IllegalStateException lors du regroupement de deux jeux de données dérivés de la même source
• [SPARK-45018] [SC-141516][PYTHON][CONNECT] Ajouter CalendarIntervalType au client Python
• [SPARK-45024] [SC-141513][PYTHON][CONNECT] Filtrer certaines configurations dans la création de session
• [SPARK-45017] [SC-141508][PYTHON] Ajouter CalendarIntervalType à PySpark
• [SPARK-44720] [SC-139375][CONNECT] Faire en sorte que le jeu de données utilise Encoder au lieu d’AgnosticEncoder
• [SPARK-44982] [SC-141027][CONNECT] Marquer les configurations du serveur Spark Connect comme statiques
• [SPARK-44839] [SC-140900][SS][CONNECT] Améliorer la journalisation des erreurs lorsque l’utilisateur tente de sérialiser une session Spark
• [SPARK-44865] [SC-140905][SS] Faire en sorte que StreamingRelationV2 prenne en charge la colonne de métadonnées
• [SPARK-45001] [SC-141141][PYTHON][CONNECT] Implémenter DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][WEBUI] Afficher l’ID de partition de tâche dans la table de tâches
• [SPARK-45006] [SC-141143][UI] Utiliser le même format de date que d’autres éléments de date de l’interface utilisateur pour l’axe X des chronologies
• [SPARK-45000] [SC-141135][PYTHON][CONNECT] Implémenter DataFrame.foreach
• [SPARK-44967] [SC-141137][SQL][CONNECT] L’unité doit être considérée en premier avant d’utiliser un booléen pour TreeNodeTag
• [SPARK-44993] [SC-141088][CORE] Ajouter ShuffleChecksumUtils.compareChecksums en réutilisant ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][CONNECT] Ajouter Dataset.metadataColumn au client Scala
• [SPARK-44965] [SC-141098][PYTHON] Masquer les fonctions/variables internes de pyspark.sql.functions
• [SPARK-44983] [SC-141030][SQL] Convertir la valeur binaire en chaîne par to_char pour les formats hex, base64 et utf-8
• [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] Corriger les tuples nommés pour fonctionner dans createDataFrame
• [SPARK-44985] [SC-141033][CORE] Utiliser toString au lieu de stacktrace pour le reaper de tâche threadDump
• [SPARK-44984] [SC-141028][PYTHON][CONNECT] Supprimer _get_alias de DataFrame
• [SPARK-44975] [SC-141013][SQL] Supprimer le remplacement inutile de binaryArithmetic (résolu)
• [SPARK-44969] [SC-140957][SQL] Réutiliser ArrayInsert dans ArrayAppend
• [SPARK-44549] [SC-140714][SQL] Prendre en charge les fonctions de fenêtre dans les sous-requêtes scalaires mises en corrélation
• [SPARK-44938] [SC-140811][SQL] Remplacer la valeur par défaut de spark.sql.maxSinglePartitionBytes par 128m
• [SPARK-44918] [SC-140816][SQL][PYTHON] Prendre en charge les arguments nommés dans les fonctions UDF Python/Pandas scalaires
• [SPARK-44966] [SC-140907][CORE][CONNECT] Remplacer var (jamais remplacé) par val
• [SPARK-41471] [SC-140804][SQL] Réduire la lecture aléatoire dans Spark quand un seul côté d’une jointure est KeyGroupedPartitioning
• [SPARK-44214] [SC-140528][CORE] Prendre en charge l’interface utilisateur des journaux en direct de Spark Driver
• [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][CONNECT] Ajouter ProducedRowCount à SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][PYTHON][CONNECT] df['col_name'] doit valider le nom de la colonne
• [SPARK-40178] [SC-140433][SQL][COONECT] Prendre facilement en charge les indicateurs de fusion pour PySpark et R
• [SPARK-44840] [SC-140593][SQL] Définir array_insert() en base 1 pour les index négatifs
• [SPARK-44939] [SC-140778][R] Prendre en charge Java 21 dans SparkR SystemRequirements
• [SPARK-44936] [SC-140770][CORE] Simplifier le journal quand Spark HybridStore atteint la limite de mémoire
• [SPARK-44908] [SC-140712][ML][CONNECT] Corriger fonctionnalité du paramètre foldCol entre validateurs
• [SPARK-44816] [SC-140717][CONNECT] Améliorer le message d’erreur quand la classe UDF est introuvable
• [SPARK-44909] [SC-140710][ML] Ignorer le démarrage du serveur de streaming de journaux du distributeur torch quand il n’est pas disponible
• [SPARK-44920] [SC-140707][CORE] Utiliser await() à la place d’awaitUninterruptibly() dans TransportClientFactory.createClient()
• [SPARK-44905] [SC-140703][SQL] LastRegex avec état entraîne NullPointerException sur eval pour regexp_replace
• [SPARK-43987] [SC-139594][Shuffle] Séparer le traitement de FinaliseShuffleMerge en pools de threads dédiés
• [SPARK-42768] [SC-140549][SQL] Activer le plan mis en cache pour appliquer AQE par défaut
• [SPARK-44741] [SC-139447][CORE] Prendre en charge MetricFilter basé sur regex dans StatsdSink
• [SPARK-44751] [SC-140532][SQL] Implémentation de l’interface XML FileFormat
• [SPARK-44868] [SC-140438][SQL] Convertir datetime en chaîne par to_char/to_varchar
• [SPARK-44748] [SC-140504][SQL] Exécution de requête pour la clause PARTITION BY dans les arguments UDTF TABLE
• [SPARK-44873] [SC-140427] Prendre en charge la modification de la vue avec des colonnes imbriquées dans le client Hive
• [SPARK-44876] [SC-140431][PYTHON] Corriger la fonction UDF Python optimisée pour Arrow sur Spark Connect
• [SPARK-44520] [SC-137845][SQL] Remplacer le terme UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY par UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY et la divulgation des AE racines
• [SPARK-42664] [SC-139769][CONNECT] Prendre en charge la fonction bloomFilter pour DataFrameStatFunctions
• [SPARK-43567] [SC-139227][PS] Prendre en charge use_na_sentinel pour factorize
• [SPARK-44859] [SC-140254][SS] Corriger le nom de propriété incorrect dans la documentation de Structured Streaming
• [SPARK-44822] [SC-140182][PYTHON][SQL] Rendre les fonctions définies par l’utilisateur Python par défaut non déterministes
• [SPARK-44731] [SC-139524][PYTHON][CONNECT] Faire fonctionner TimestampNTZ avec des littéraux dans Python Spark Connect
• [SPARK-44836] [SC-140180][PYTHON] Refactoriser les fonctions UDF Python Arrow
• [SPARK-44714] [SC-139238] Assouplir les restrictions de la résolution LCA concernant les requêtes avec having
• [SPARK-44749] [SC-139664][SQL][PYTHON] Prendre en charge les arguments nommés dans les fonctions UDTF Python
• [SPARK-44737] [SC-139512][SQL][UI] Ne pas afficher les erreurs de format JSON sur la page SQL pour les non-SparkThrowables sous l’onglet SQL
• [SPARK-44665] [SC-139307][PYTHON] Ajouter la prise en charge de DataFrame assertDataFrameEqual dans Pandas
• [SPARK-44736] [SC-139622][CONNECT] Ajouter Dataset.explode au client Scala Spark Connect
• [SPARK-44732] [SC-139422][SQL] Prise en charge de la source de données XML intégrée
• [SPARK-44694] [SC-139213][PYTHON][CONNECT] Refactoriser les sessions actives et les exposer en tant qu’API
• [SPARK-44652] [SC-138881] Déclencher une erreur quand un seul df est None
• [SPARK-44562] [SC-138824][SQL] Ajouter OptimizeOneRowRelationSubquery dans le lot de la sous-requête
• [SPARK-44717] [SC-139319][PYTHON][PS] Respecter TimestampNTZ dans le rééchantillonnage
• [SPARK-42849] [SC-139365] [SQL] Variables de session
• [SPARK-44236] [SC-139239][SQL] Désactiver WholeStageCodegen lors de la définition de spark.sql.codegen.factoryMode sur NO_CODEGEN
• [SPARK-44695] [SC-139316][PYTHON] Améliorer le message d’erreur pour DataFrame.toDF
• [SPARK-44680] [SC-139234][SQL] Améliorer l’erreur pour les paramètres dans DEFAULT
• [SPARK-43402] [SC-138321][SQL] FileSourceScanExec prend en charge le pushdown de filtres de données avec une sous-requête scalaire
• [SPARK-44641] [SC-139216][SQL] Résultat incorrect dans certains scénarios lorsque SPJ n’est pas déclenché
• [SPARK-44689] [SC-139219][CONNECT] Rendre la gestion des exceptions de la fonction SparkConnectPlanner#unpackScalarScalaUDF plus universelle
• [SPARK-41636] [SC-139061][SQL] Vérifier que selectFilters retourne des prédicats dans l’ordre déterministe
• [SPARK-44132] [SC-139197][SQL] Matérialiser Stream des noms de colonnes de jointure pour éviter l’échec de codegen
• [SPARK-42330] [SC-138838][SQL] Attribuer le nom RULE_ID_NOT_FOUND à la classe d’erreur _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][SS] Le niveau de journalisation n’est pas passé correctement au fournisseur de magasins d’état RocksDB
• [SPARK-44658] [SC-138868][CORE] ShuffleStatus.getMapStatus doit retourner None au lieu de Some(null)
• [SPARK-44603] [SC-138353] Ajouter pyspark.testing à setup.py
• [SPARK-44252] [SC-137505][SS] Définir une nouvelle classe d’erreur et l’appliquer lorsque le chargement de l’état à partir de DFS échoue
• [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] Lever une erreur lorsque la fonction UDF n’est pas désérialisable
• [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] Retenter ExecutePlan si la requête initiale n’a pas atteint le serveur
• [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Supprimer la dépendance de Connect Client Catalyst
• [SPARK-44059] [SC-138833][SQL] Ajouter de meilleurs messages d’erreur pour les arguments nommé SQL
• [SPARK-44620] [SC-138831][SQL][PS][CONNECT] Faire en sorte que ResolvePivot conserve Plan_ID_TAG
• [SPARK-43838] [SC-137413][SQL] Correction de la sous-requête sur une table unique avec une clause having ne pouvant pas être optimisée
• [SPARK-44555] [SC-138820][SQL] Utilisation de checkError() pour vérifier l’exception dans la suite de commandes et affecter certains noms de classes d’erreur
• [SPARK-44280] [SC-138821][SQL] Ajouter convertJavaTimestampToTimestamp à l’API JDBCDialect
• [SPARK-44602] [SC-138337][SQL][CONNECT][PS] Faire en sorte que WidenSetOperationTypes conserve Plan_ID_TAG
• [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Rétablir « [SC-137413][SQL] Corriger la sous-requête sur une table unique… »
• [SPARK-44538] [SC-138178][CONNECT][SQL] Rétablir Row.jsonValue et amis
• [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Exécution rattachable dans Spark Connect
• [SPARK-43838] [SC-137413][SQL] Correction de la sous-requête sur une table unique avec une clause having ne pouvant pas être optimisée
• [SPARK-44587] [SC-138315][SQL][CONNECT] Augmenter la limite de récursivité du marshaleur protobuf
• [SPARK-44605] [SC-138338][CORE] Affiner l’API ShuffleWriteProcessor interne
• [SPARK-44394] [SC-138291][CONNECT][WEBUI] Ajouter une page d’interface utilisateur Spark pour Spark Connect
• [SPARK-44585] [SC-138286][MLLIB] Corriger la condition d’avertissement dans MLLib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137][CORE] Prendre en charge la propagation du niveau de journal aux exécuteurs
• [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType doit prendre en charge une action de secours
• [SPARK-44425] [SC-138135][CONNECT] Vérifier que le sessionId fourni par l’utilisateur est un UUID
• [SPARK-43611] [SC-138051][SQL][PS][CONNECT] Faire en sorte que ExtractWindowExpressions conserve PLAN_ID_TAG
• [SPARK-44560] [SC-138117][PYTHON][CONNECT] Améliorer les tests et la documentation pour les fonctions UDF Python Arrow
• [SPARK-44482] [SC-138067][CONNECT] Le serveur Connect doit pouvoir spécifier l’adresse de liaison
• [SPARK-44528] [SC-138047][CONNECT] Prendre en charge l’utilisation appropriée de hasattr() pour le dataframe Connect
• [SPARK-44525] [SC-138043][SQL] Améliorer le message d’erreur lorsque la méthode Invoke est introuvable
• [SPARK-44355] [SC-137878][SQL] Déplacer WithCTE dans les requêtes de commande

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance databricks Runtime 14.1.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.3 LTS
• Java : Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 3.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)