Databricks Runtime 14.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.2 avec Apache Spark 3.5.0.

Databricks a publié cette version en novembre 2023.

Améliorations et nouvelles fonctionnalités

• CACHE SELECT snot désormais ignorés
• Comportement de mise en cache amélioré
• Correction de la gestion des fichiers corrompus dans les commandes DML
• Prise en charge du registre de schémas pour les fonctions liées à protobuf et Avro dans les clusters partagés
• Prise en charge de foreachBatch et de StreamingListener
• La concurrence au niveau des lignes est en disponibilité générale et activée par défaut
• Delta Sharing : les destinataires peuvent effectuer des requêtes par lots, CDF et de streaming sur des tables partagées avec des vecteurs de suppression (préversion publique)
• Clone superficiel pour des tables externes Unity Catalog (préversion publique)
• Nouvel algorithme d’affectation de mise en cache du disque
• Ajout de la prise en charge de l’évolution de schéma à from_avro avec connecteur de registre de schéma
• Collecte de statistiques multithread plus rapide
• Filtres pushdown de la source Delta sur les fichiers Delta
• Prise en charge des fonctions scalaires définies par l’utilisateur Scala sur des clusters partagés (préversion publique)

CACHE SELECT est désormais ignoré

La commande SQL CACHE SELECT est désormais ignorée en faveur d’un algorithme de mise en cache amélioré. Consultez Optimisation des performances avec la mise en cache sur Azure Databricks.

Comportement de mise en cache amélioré

Le placement DiskCache par le planificateur Spark dispose désormais d’une attribution de partition plus rapide, d’un meilleur équilibrage pendant la mise à l’échelle automatique du cluster et d’une exécution des requêtes plus cohérente.

Correction de la gestion des fichiers corrompus dans les commandes DML

Les commandes DML DELETE, UPDATEet MERGE INTO ne respectent plus les options de lecture ignoreCorruptFiles et ignoreMissingFiles. Lorsqu’elles rencontrent un fichier non lisible dans un tableau, ces commandes échouent désormais même si ces options sont spécifiées.

Prise en charge du registre de schémas pour les fonctions liées à protobuf et Avro dans les clusters partagés

Vous pouvez maintenant utiliser les fonctions Python from_avro, to_avro, from_protobufet to_protobuf avec le Registre de schémas dans des clusters partagés.

Prise en charge de foreachBatch et de StreamingListener

Vous pouvez désormais utiliser les API foreachBatch() et StreamingListener dans les clusters partagés. Consultez Utiliser foreachBatch pour écrire dans des récepteurs de données arbitraires et Surveillance des requêtes de Structured Streaming sur Azure Databricks.

La concurrence au niveau des lignes est en disponibilité générale et activée par défaut

L’accès concurrentiel au niveau des lignes réduit les conflits entre les opérations d’écriture simultanées en détectant les modifications au niveau des lignes. La concurrence au niveau des lignes est prise en charge uniquement sur les tables sans partitionnement dont font partie les tables avec clustering liquide. La concurrence au niveau des lignes est activée par défaut sur les tables Delta avec les vecteurs de suppression activés. Consultez Conflits d’écriture avec concurrence au niveau des lignes.

Delta Sharing : les destinataires peuvent effectuer des requêtes par lots, CDF et de streaming sur des tables partagées avec des vecteurs de suppression (préversion publique)

Les destinataires Delta Sharing peuvent désormais effectuer des requêtes par lots, CDF et de streaming sur des tables partagées qui utilisent des vecteurs de suppression. Sur Databricks Runtime 14.1, ils peuvent effectuer seulement des requêtes par lots. Consultez les articles Ajouter des tables avec des vecteurs de suppression ou un mappage de colonnes à un partage, Lire des tables avec un mappage de colonnes ou des vecteurs de suppression activés et Lire des tables avec un mappage de colonnes ou des vecteurs de suppression activés.

Clone superficiel pour des tables externes Unity Catalog (préversion publique)

Vous pouvez désormais utiliser un clone superficiel avec des tables externes Unity Catalog. Consultez Clone superficiel pour les tables Unity Catalog.

Nouvel algorithme d’affectation de mise en cache du disque

Le planificateur Spark utilise désormais un nouvel algorithme de mise en cache du disque. L’algorithme améliore l’utilisation du disque et de l’affectation de partitions entre les nœuds, avec une affectation plus rapide au début et après les événements de mise à l’échelle du cluster. Du fait d’une affectation de cache plus stable, la cohérence entre les exécutions est améliorée et la quantité de données déplacées réduite durant les opérations de rééquilibrage.

Ajout de la prise en charge de l’évolution de schéma à from_avro avec connecteur de registre de schéma

Vous pouvez désormais permettre le redémarrage de vos pipelines lorsque des enregistrements ayant évolué sont détectés. Auparavant, si une évolution de schéma se produisait avec le connecteur from_avro, les nouvelles colonnes retournaient null. Consultez Lire et écrire des données Avro en streaming.

Collecte de statistiques multithread plus rapide

La collecte de statistiques est jusqu’à 10 fois plus rapide sur les petits clusters lors de l’exécution de CONVERT TO DELTA ou du clonage à partir de tables Iceberg et Parquet. Consultez Convertir en Delta Lake et Cloner des tables Parquet et Iceberg.

Filtres pushdown de la source Delta sur les fichiers Delta

Pour une meilleure utilisation, les filtres de partition sur les requêtes de streaming de tables Delta font désormais l’objet d’un pushdown vers Delta avant la limitation de débit.

Prise en charge des fonctions scalaires définies par l’utilisateur Scala sur des clusters partagés (préversion publique)

Vous pouvez désormais utiliser des fonctions Scala définies par l’utilisateur sur des clusters Unity Catalog configurés avec le mode d’accès partagé. Consultez Fonctions scalaires définies par l’utilisateur – Scala.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • fastjsonschema, versions 2.18.0 à 2.19.0
  • filelock de la version 3.12.3 à la version 3.12.4
  • googleapis-common-protos de la version 1.60.0 à la version 1.61.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :

Apache Spark

Databricks Runtime 14.2 comprend Apache Spark 3.5.0. Cette version comprend l’ensemble des correctifs et améliorations Spark présentes dans Databricks Runtime 14.1 ainsi que les autres correctifs de bogues et améliorations apportés à Spark, à savoir :

• [SPARK-45592] [DBRRM-624] Rétablir « [SC-146977][SQL] Problème d’exactitude dans AQE avec InMemoryTableScanExec »
• [SPARK-45524] [DBRRM-625] Rétablir « [SC-146319][PYTHON][SQL] Prise en charge initiale…
• [SPARK-45433] [DBRRM-621] Rétablir « [SC-145163][SQL] Correction de l’inférence de schéma CSV/JSON…
• [SPARK-45592] [SC-146977][SQL] Problème d’exactitude dans AQE avec InMemoryTableScanExec
• [SPARK-45354] Rétablir « [SC-143991][SQL] Résolution ascendante des fonctions »
• [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] Correction de tests
• [SPARK-45680] [CONNECT] Libération de session
• [SPARK-43380] [SC-146726][ES-897115][SQL] Correction de ralentissement dans la lecture Avro
• [SPARK-45649] [SC-146742][SQL] Unification de l’infrastructure de préparation pour OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PYTHON][SQL] Création de StructType à partir de JSON
• [SPARK-45620] [SC-146225][PYTHON] Correction des API orientées utilisateur en rapport avec les fonctions UDTF Python pour une utilisation de la casse mixte
• [SPARK-45727] [SC-146978][SS] Suppression de mappage non utilisé dans une simulation de propagation de filigrane
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] Les méthodes catalogue évitent la conversion pandas
• [SPARK-45574] [SC-146106][SQL] Ajout de la syntaxe :: comme abréviation pour la conversion (cast)
• [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit ne prend pas en charge --total-executor-cores lors du déploiement sur K8s
• [SPARK-45661] [SC-146594][SQL][PYTHON] Ajout de toNullable dans StructType, MapType et ArrayType
• [SPARK-45524] [SC-146319][PYTHON][SQL] Prise en charge initiale de l’API de lecture de source de données Python
• [SPARK-45542] [SC-145892][CORE] Remplacement de setSafeMode(HdfsConstants.SafeModeAction, boolean) par setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ : gestion des partitions d’entrée vides après un filtrage dynamique
• [SPARK-45454] [SC-144846][SQL] Définition du propriétaire par défaut de la table sur current_user
• [SPARK-45554] [SC-146875][PYTHON] Introduction d’un paramètre flexible pour assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] Utilisation de l’ID DataFrame pour valider sémantiquement CollectMetrics
• [SPARK-45674] [SC-146862][CONNECT][PYTHON] Amélioration du message d’erreur pour les attributs dépendants de JVM sur Spark Connect.
• [SPARK-45646] [SC-146276][SQL] Suppression des variables de temps codées en dur antérieures à Hive 2.0
• [SPARK-43380] [SC-146726][ES-897115][SQL] Correction de ralentissement dans la lecture Avro
• [SPARK-45545] [SC-146484][CORE] Transmission de SSLOptions chaque fois qu’un SparkTransportConf est créé
• [SPARK-45641] [SC-146260][UI] Affichage de l’heure de démarrage de l’application sur AllJobsPage
• [SPARK-40154] [SC-146491][Python][Docs] Correction du niveau de stockage dans Dataframe.cache docstring
• [SPARK-45626] [SC-146259][SQL] Conversion de _LEGACY_ERROR_TEMP_1055 en REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] Correction d’exactitude pour les sous-requêtes scalaires corrélées imbriquées avec des agrégats COUNT
• [SPARK-45619] [SC-146226][CONNECT][PYTHON] Application des métriques observées à l’objet Observation
• [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] Amélioration de Scaladoc pour StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][CORE] Évitement de ParVector, qui ne propage ni ThreadLocals ni SparkSession
• [SPARK-45604] [SC-146105][SQL] Ajout de la vérification LogicalType sur INT64 -> Conversion DateTime sur le lecteur vectorisé Parquet
• [SPARK-44649] [SC-145891][SQL] Le filtre de runtime prend en charge la transmission d’expressions côté création équivalentes
• [SPARK-41674] [SC-128408][SQL] Le filtre d’exécution doit prendre en charge le côté jointure aléatoire multiniveau en tant que côté création de filtre
• [SPARK-45547] [SC-146228][ML] Validation des vecteurs à l’aide d’une fonction intégrée
• [SPARK-45558] [SC-145890][SS] Introduction d’un fichier de métadonnées pour l’opérateur avec état de streaming
• [SPARK-45618] [SC-146252][CORE] Suppression de BaseErrorHandler
• [SPARK-45638] [SC-146251][SQL][Avro] Amélioration de la couverture des tests de conversion décimale
• [SPARK-44837] [SC-146020][SQL] Modification du message d’erreur de la colonne ALTER TABLE ALTER PARTITION
• [SPARK-45561] [SC-146264][SQL] Ajout de conversions appropriées pour TINYINT dans MySQLDialect
• [SPARK-45632] [SC-146255][SQL] Le cache de table doit éviter les ColumnarToRow inutiles lors de l’activation d’AQE
• [SPARK-45569] [SC-145932][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][CONNECT] Tests SBT désormais hermétiques.
• [SPARK-45452] [SC-144836][SQL] Amélioration de InMemoryFileIndex pour utiliser l’API FileSystem.listFiles
• [SPARK-44735] [SC-146186][SQL] Ajout d’un message d’avertissement lors de l’insertion de colonnes de même nom par ligne qui ne correspondent pas
• [SPARK-45351] [SC-144791][SQL] Remplacement de la valeur par défaut spark.shuffle.service.db.backend par ROCKSDB
• [SPARK-45553] [SC-145906][PS] Désapprobation de assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE] Exposition de DeterministicLevel en tant que DeveloperApi
• [SPARK-45549] [SC-145895][CORE] Suppression de numExistingExecutors non utilisé dans CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][CONNECT] Inclusion de SqlState dans le message proto SparkThrowable
• [SPARK-45595] [SC-146037] Exposition de sqlstate dans le message d’erreur
• [SPARK-45628] [SC-146123][ML] Amélioration de vector_to_array pour .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][FOLLOW UP] Désactivation de la décorrélation dans les conditions de jointure pour le test AQE InSubquery
• [SPARK-45576] [SC-145883][CORE] Suppression des journaux de débogage inutiles dans ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][CONNECT] Améliorations de l’agent utilisateur : utilisation de la variable d’environnement SPARK_CONNECT_USER_AGENT et inclusion d’attributs spécifiques d’environnement
• [SPARK-45508] [SC-145513][CORE] Ajout de « –add-opens=java.base/jdk.internal.ref=ALL-UNNAMED » pour que la plateforme puisse accéder à Cleaner sur Java 9+
• [SPARK-45595] Rétablir « [SC-146037] Exposition de SQLSTATE dans le message d’erreur »
• [SPARK-45595] [SC-146037] Exposition de SQLSTATE dans le message d’erreur
• [SPARK-45112] Rétablir « [SC-143259][SQL] Utilisation de la résolution basée sur UnresolvedFunction…
• [SPARK-45257] [SC-143411][SQL] Activation par défaut de spark.eventLog.compress
• [SPARK-45586] [SC-145899][SQL] Diminution de la latence du compilateur pour les plans présentant de grandes arborescences d’expressions
• [SPARK-45517] [SC-145691][CONNECT][14.x] Développement de constructeurs d’exceptions supplémentaires pour prendre en charge les paramètres de l’infrastructure d’erreurs
• [SPARK-45581] [SC-145896] SQLSTATE rendu obligatoire.
• [SPARK-45427] [SC-145590][CORE] Ajout des paramètres SSL RPC à SSLOptions et SparkTransportConf
• [SPARK-45261] [SC-143357][CORE] Correction de EventLogFileWriters pour gérer none en tant que codec
• [SPARK-45582] [SC-145897][SS] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de streaming en mode sortie
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML : option « rowTag » rendue obligatoire
• [SPARK-45392] [SC-144362][CORE] Remplacement de Class.newInstance() par Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] Correction de l’inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au timestampFormat spécifié
• [SPARK-45458] [SC-145011][SQL] Conversion d’IllegalArgumentException en SparkIllegalArgumentException dans bitwiseExpressions
• [SPARK-45564] [SC-145735][SQL] Simplification de « DataFrameStatFunctions.bloomFilter » avec l’expression « BloomFilterAggregate »
• [SPARK-45566] [SC-145777][PS] Prise en charge des utilitaires de test de type Pandas pour l’API Pandas sur Spark
• [SPARK-45498] [SC-145509][CORE] Suivi : non prise en compte de l’achèvement des tâches de l’ancienne phase…
• [SPARK-45483] [SC-145152][CONNECT] Correction des groupes de fonctions dans connect.functions
• [SPARK-45577] [SC-145781][PYTHON] Correction d’UserDefinedPythonTableFunctionAnalyzeRunner pour permettre la transmission de valeurs pliées d’arguments nommés
• [SPARK-45009] [SC-138223][FOLLOW UP] Désactivation de la décorrélation dans les conditions de jointure pour AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Autorisation de la désactivation sélective de « fallocate »dans le magasin d’états RocksDB
• [SPARK-45500] [SC-145134][CORE][WEBUI] Affichage du nombre de pilotes anormalement arrêtés dans MasterPage
• [SPARK-44120] [SC-144349][PYTHON] Prise en charge de Python 3.12
• [SPARK-45439] [SC-145589][SQL][UI] Réduction de l’utilisation de la mémoire de LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][UI] Boucle inutile de JSON.stringify et de JSON.parse pour la liste des tâches dans les détails de la phase
• [SPARK-45567] [SC-145718][CONNECT] Suppression de l’élément if redondant dans org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] Utilisation de la résolution basée sur UnresolvedFunction dans les fonctions de jeu de données SQL
• [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Demande add_artifact rendue idempotente
• [SPARK-44913] [SC-144326][SQL] DS V2 prend en charge le pushdown des fonctions définies par l’utilisateur V2 qui contiennent une méthode magic
• [SPARK-45538] [SC-145635][PYTHON][CONNECT] Bogue overwrite_partitions de pyspark connect
• [SPARK-45491] [SC-145622] Ajout de SQLSTATES manquant 2/2
• [SPARK-45009] [SC-145620][SC-138223][SQL] Décorrélation des sous-requêtes de prédicat dans la condition de jointure
• [SPARK-45377] [SC-144377][CORE] Gestion d’InputStream dans NettyLogger
• [SPARK-45248] [SC-143759][CORE]Définition du délai d’expiration du serveur d’interface utilisateur spark
• [SPARK-44594] [SC-145611][SS] Suppression du paramètre de méthode redondant dans le connecteur kafka
• [SPARK-45539] [SC-145621][SS] Ajout d’une assertion et d’un journal pour indiquer le caractère obligatoire de la définition de filigrane pour les requêtes d’agrégation de streaming en mode ajout
• [SPARK-44262] [SC-145639][SQL] Ajout de dropTable et de getInsertStatement à JdbcDialect
• [SPARK-45516] [SC-145480][CONNECT] Inclusion de QueryContext dans le message proto SparkThrowable
• [SPARK-45310] [SC-145127][CORE] L’état de rapport de blocs de redistribution doit respecter le service de redistribution lors de la désactivation/migration
• [SPARK-45521] [SC-145487][ML] Évitement du recalcul de nnz dans VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Remplacement de l’alias de colonne current_database() par current_schema()
• [SPARK-45116] [SC-145142][SQL] Ajout de commentaire pour le paramètre de jdbcDialect createTable
• [SPARK-45495][SC-145529][core] Prise en charge du profil de ressource de tâche de niveau phase pour le cluster k8s lorsque l’allocation dynamique est désactivée
• [SPARK-45487] [SC-145559] Correction des SQLSTATE et des erreurs temporaires
• [SPARK-45505] [SC-145550][PYTHON] Refactorisation d’analyzeInPython pour le rendre réutilisable
• [SPARK-45132] [SC-145425][SQL] Correction d’IDENTIFIER pour l’appel de fonction
• [SPARK-45213] [SC-145020][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][CONNECT] Vérification d’intégrité de la cohérence des résultats Arrow
• [SPARK-45163] [SC-143386][SQL] Fusion d’UNSUPPORTED_VIEW_OPERATION et d’UNSUPPORTED_TABLE_OPERATION et correction d’un problème
• [SPARK-45421] [SC-144814][SQL] Interception d’AnalysisException sur InlineCTE
• [SPARK-43664] [SC-145404][CONNECT][PS] Déclenchement d’une exception pour ps.sql avec l’objet Pandas-on-Spark sur Spark Connect.
• [SPARK-45402] [SC-145371][SQL][PYTHON] Ajout de l’API UDTF pour les méthodes « eval » et « terminate » afin de consommer le résultat « analyze » précédent
• [SPARK-36112] [SC-67885] [SQL] Prise en charge des sous-requêtes EXISTS et IN corrélées avec l’infrastructure DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][SQL] Correction du message d’erreur pour un voyage dans le temps avec une table non existante
• [SPARK-43254] [SC-143318][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167] [SS] [CONNECT] Ajout d’un ExecuteHolder facultatif à SparkConnectPlanner
• [SPARK-45451] [SC-145144][SQL] Niveau de stockage par défaut du cache de jeu de données rendu configurable
• [SPARK-45192] [SC-143194][UI] Correction du paramètre lineInterpolate en retard pour le bord graphviz
• [SPARK-45467] [SC-145146][CORE] Remplacement de Proxy.getProxyClass() par Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][CONNECT] Ajout d’un transformateur de fonctionnalité d’assemblage de tableau
• [SPARK-44855] [SC-145226][CONNECT] Petits ajustements pour attacher ExecuteGrpcResponseSender à ExecuteResponseObserver
• [SPARK-45398] [SC-144796][SQL] Ajout de ESCAPE dans sql() de l’expression Like
• [SPARK-45494] [SC-145129][CORE][PYTHON] Introduction de fonctions utilitaires pour lire/écrire un tableau d’octets pour PythonWorkerUtils
• [SPARK-45464] [SC-145125][CORE] Correction de la build de distribution de network-yarn
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Introduction d’un mappeur pour StorageLevel
• [SPARK-45450] [SC-145009][PYTHON] Correction des importations en fonction de PEP8 : pyspark.pandas et pyspark (core)
• [SPARK-45475] [SC-145018][SQL] Utilisation de DataFrame.foreachPartition à la place de RDD.foreachPartition dans JdbcUtils
• [SPARK-45271] [SC-143778][SQL] Fusion de _LEGACY_ERROR_TEMP_1113 dans TABLE_OPERATION et suppression d’une méthode inutilisée dans QueryCompilationErrors
• [SPARK-45449] [SC-145013][SQL] Problème d’invalidation du cache avec la table JDBC
• [SPARK-45473] [SC-145017][SQL] Correction d’un message d’erreur incorrect pour RoundBase
• [SPARK-43299] [SC-145022][SS][CONNECT] Conversion de StreamingQueryException dans le client Scala
• [SPARK-45474] [SC-145014][CORE][WEBUI] Prise en charge du filtrage de niveau supérieur dans l’API JSON MasterPage
• [SPARK-45205] [SC-145012][SQL] CommandResultExec pour remplacer les méthodes d’itérateur et éviter le déclenchement de plusieurs travaux
• [SPARK-45472] [SC-145004][SS] Le magasin d’état RocksDB n’a pas besoin de revérifier l’existence d’un chemin de point de contrôle
• [SPARK-45470] [SC-145010][SQL] Évitement du collage de la valeur de chaîne de hive orc compression kind
• [SPARK-45448] [SC-144829][PYTHON] Correction des importations en fonction de PEP8 : pyspark.testing, pyspark.mllib, pyspark.resource et pyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON] Correction des importations en fonction de PEP8 : pyspark.errors et pyspark.ml
• [SPARK-45239] [SC-144832][CONNECT] Diminution de la valeur par défaut de spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][PYTHON][CONNECT] Vérification que la même session est utilisée pour les méthodes de DataFrame
• [SPARK-45413] [SC-144847][CORE] Ajout d’un avertissement en vue de l’abandon de la prise en charge de LevelDB
• [SPARK-45462] [SC-144848][CORE][WEBUI] Affichage de Duration dans ApplicationPage
• [SPARK-44527] [SC-144855][SQL] Remplacement de ScalarSubquery par null si sa valeur maxRows est égale à 0
• [SPARK-45401] [SC-144854][PYTHON] Ajout d’une nouvelle méthode cleanup dans l’interface UDTF
• [SPARK-43704] [SC-144849][CONNECT][PS] Prise en charge de MultiIndex pour to_series()
• [SPARK-45424] [SC-144888][SQL] Correction du retour des résultats de l’analyse facultative de TimestampFormatter en cas de correspondance de préfixe uniquement
• [SPARK-45441] [SC-144833][PYTHON] Introduction de fonctions utilitaires supplémentaires pour PythonWorkerUtils
• [SPARK-45412] [SC-144803][PYTHON][CONNECT] Validation du plan de la session dans DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] Ajout de paramètres SSL RPC à TransportConf
• [SPARK-45432] [SC-144818][CORE] Suppression du constructeur déconseillé Hadoop-2 LocatedFileStatus
• [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression vérifie les étiquettes d’apprentissage
• [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Ajout de DataType.fromDDL dans PySpark
• [SPARK-45406] [SC-144793][PYTHON][CONNECT] Suppression de schema du constructeur de DataFrame
• [SPARK-45404] [SC-144799][CORE] Prise en charge de la variable d’environnement AWS_ENDPOINT_URL
• [SPARK-43620] [SC-144792][CONNECT][PS] Correction des API Pandas qui dépendent de fonctionnalités non prises en charge
• [SPARK-45354] [SC-143991][SQL] Résolution ascendante des fonctions
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Ajout des nouvelles tentatives pour l’API artifact. Amélioration de la gestion des erreurs (suivi de [SPARK-45093]).
• [SPARK-45120] [SC-142780][SPARK-45150][UI] Mise à niveau de d3 de v3 vers v7(v7.8.5) et application des modifications d’API dans l’interface utilisateur
• [SPARK-44838] [SC-143983][SQL] Amélioration de raise_error
• [SPARK-45312] [SC-143754][SQL][UI] Prise en charge de l’affichage/masquage du plan svg dans la page d’exécution
• [SPARK-45378] [SC-144448][CORE] Ajout de convertToNettyForSsl à ManagedBuffer
• [SPARK-44762] [SC-144338][CONNECT][CORE] Documentation pour SparkConnect.addJobTag et Connect SparkSession.addTag
• [SPARK-45383] Gestion appropriée des opérations RelationTimeTravel non résolues
• [SPARK-45347] [SC-144512][SQL][CONNECT] Inclusion de SparkThrowable dans FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][SQL] CheckAnalysis doit lever un plan inline dans AnalysisException
• [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} doit déclencher des exceptions lorsque le plan n’est pas valide
• [SPARK-45227] [SC-144233][CORE] Correction d’un léger problème de sécurité de thread avec CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][PYTHON] Refactorisation de la règle d’analyseur ResolveFunctions pour retarder la création d’une jointure latérale lorsque des arguments de table sont utilisés
• [SPARK-45266] Rétablir « [SC-144171][PYTHON] Refactorisation de la règle d’analyseur ResolveFunctions pour retarder la création d’une jointure latérale lorsque des arguments de table sont utilisés »
• [SPARK-45371] [SC-144389][CONNECT] Correction des problèmes d’ombrage dans le client Scala Spark Connect
• [SPARK-45057] [SC-144214][CORE] Acquisition de verrou de lecture évitée quand keepReadLock a la valeur false
• [SPARK-45385] [SC-144357][SQL] Désapprobation de spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] Suppression de la configuration SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PYTHON] Refactorisation de la règle d’analyseur ResolveFunctions pour retarder la création d’une jointure latérale lorsque des arguments de table sont utilisés
• [SPARK-45362] [SC-144198][PYTHON] Projection d’expressions PARTITION BY avant que la méthode « eval » d’une UDTF Python ne les utilise
• [SPARK-45346] [SC-143925][SQL] L’inférence de schéma Parquet doit respecter l’indicateur sensible à la casse lors de la fusion d’un schéma
• [SPARK-45341] [SC-143933][CORE] Correction du niveau de titre dans les commentaires de KVStore.java pour permettre à sbt doc de s’exécuter correctement avec Java 17
• [SPARK-45334] [SC-143914][SQL] Suppression du commentaire trompeur dans parquetSchemaConverter
• [SPARK-45337] [SC-143932][CORE] Refactorisation AbstractCommandBuilder#getScalaVersion pour supprimer la vérification pour Scala 2.12
• [SPARK-45329] [SC-143918][PYTHON][CONNECT] Les méthodes de DataFrame ignorent la conversion pandas
• [SPARK-43662] [SC-143923][PS][CONNECT] Prise en charge de merge_asof dans Spark Connect
• [SPARK-44126] [SC-143751][CORE] Le nombre d’échecs de migration aléatoire ne doit pas augmenter lorsque l’exécuteur cible est désactivé
• [SPARK-44550] [SC-119768][SQL] Correction de l’exactitude autorisée pour null IN (empty list) sous ANSI
• [SPARK-45316] [SC-143783][CORE][SQL] Ajout des nouveaux paramètres ignoreCorruptFiles/ignoreMissingFiles à HadoopRDD et NewHadoopRDD
• [SPARK-45093] [SC-143414][CONNECT][PYTHON] Rapport d’erreurs pour la requête addArtifacts
• [SPARK-44756] [SC-143787][CORE] Blocage de l’exécuteur lorsque RetryingBlockTransferor ne parvient pas à lancer une nouvelle tentative
• [SPARK-45333] [SC-143768][CORE] Correction d’une erreur d’unité liée à spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][SQL][CONNECT] Gestion de la valeur null pour le nom de fichier dans les traces d’exceptions
• [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId ajoute des informations en colonnes
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] Prise en charge des paramètres map et array par sql()
• [SPARK-45138] [SC-143309][SS] Définition d’une nouvelle classe d’erreur et application de celle-ci en cas d’échec de l’enregistrement du point de contrôle d’état dans DFS
• [SPARK-45297] [SC-143644][SQL] Suppression de la solution de contournement pour le dateformatter ajouté dans SPARK-31827
• [SPARK-44345] [SC-143593][CORE] Abaissement du niveau de journal unknown shuffle map output à WARN si la migration aléatoire est activée
• [SPARK-44463] [SC-143251][SS][CONNECT] Amélioration de la gestion des erreurs pour les workers Python de streaming Connect
• [SPARK-45207] [SC-143603][SQL][CONNECT] Implémentation de l’enrichissement d’erreurs pour le client Scala
• [SPARK-45240] [SC-143602][SQL][CONNECT] Implémentation de l’enrichissement d’erreurs pour le client Python
• [SPARK-45216] [SC-143288][SQL] Correction des API Dataset amorcées non déterministes
• [SPARK-45251] [SC-143419][CONNECT] Ajout du champ client_type pour FetchErrorDetails
• [SPARK-45137] [SC-143001][CONNECT][PYTHON] Prise en charge des paramètres map/array dans la méthode sql() paramétrisée
• [SPARK-45224] [SC-143257][PYTHON] Ajout d’exemples avec map et array en tant que paramètres de sql()
• [SPARK-44622] [SC-143205][SQL][CONNECT] Implémentation du RPC FetchErrorDetails
• [SPARK-45178] [SC-136089] Recours à l’exécution d’un lot unique pour Trigger.AvailableNow avec des sources non prises en charge au lieu d’utiliser un wrapper
• [SPARK-44823] [14.x][SC-142979][PYTHON] Mise à jour de Black vers la version 23.9.1 et correction des vérifications erronées
• [SPARK-45078] [SC-142954][SQL] Correction de array_insert ImplicitCastInputTypes inopérant
• [SPARK-44579] [SC-138428][SQL] Prise en charge de Interrupt on Cancel lors de l’exécution de SQL
• [SPARK-45252] [SC-143371][CORE] Échappement des symboles supérieur/inférieur à dans les commentaires pour permettre l’exécution de sbt doc
• [SPARK-45189] [SC-142973][SQL] La création d’UnresolvedRelation à partir de TableIdentifier doit inclure le champ catalog
• [SPARK-45229] [SC-143254][CORE][UI] Affichage du nombre de pilotes en attente à l’état SUBMITTED dans MasterPage
• [SPARK-43453] Rétablir « [SC-143135][PS] Ignorer le names de MultiIndex quand axis=1 pour concat »

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance databricks Runtime 14.2.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.3 LTS
• Java : Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 3.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)