Aktualizace údržby Databricks Runtime

  • Článek

Tento článek obsahuje seznam aktualizací údržby podporovaných verzí databricks Runtime. Pokud chcete přidat aktualizaci údržby do existujícího clusteru, restartujte cluster. Informace o aktualizacích údržby v nepodporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby pro Databricks Runtime (archivované).

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat několik dní po počátečním datu vydání.

Verze Databricks Runtime

Aktualizace údržby podle verze:

Databricks Runtime 15.4

Viz Databricks Runtime 15.4 LTS.

  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49867][SQL] Zlepšení chybové zprávy, když je index mimo hranice při volání GetColumnByOrdinal
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49443][SQL][PYTHON] Implementace výrazu to_variant_object a vytvoření výrazů schema_of_variant tisk OBJECT pro variantní objekty
    • [SPARK-49615] Oprava chyby: Ověření schématu sloupce ML odpovídá konfiguraci spark.sql.caseSensitiveSparku .
  • 10. října 2024
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute.
    • [SPARK-49017][SQL] Příkaz Insert selže, když se používá více parametrů
    • [SPARK-49451] Povolit duplicitní klíče v parse_json
    • Různé opravy chyb
  • 17. září 2024
    • [SPARK-48463][ML] Nastavit binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupní sloupce
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Podpora cest ve stylu Windows v ArtifactManageru
    • Vrátit zpět "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark by měl přijmout proměnné délky args"
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49366][CONNECT] Zacházení s uzlem Sjednocení jako s listem v rozlišení sloupce datového rámce
    • [SPARK-49018][SQL] Oprava, approx_count_distinct nefunguje správně s kolací
    • [SPARK-49460][SQL] Odebrat cleanupResource() z EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-49336][CONNECT] Omezení úrovně vnoření při zkrácení zprávy protobuf
  • 29. srpna 2024
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-49074][SQL] Oprava varianty pomocí df.cache()
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-48955][SQL] Zahrnout změny ArrayCompact ve verzi 15.4
    • [SPARK-48937][SQL] Přidání podpory kolace pro řetězcové výrazy StringToMap
    • [SPARK-48929] Oprava vnitřní chyby zobrazení a vyčištění kontextu výjimek analyzátoru
    • [SPARK-49125][SQL] Povolit duplicitní názvy sloupců ve formátu CSV
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-48981] Oprava metody simpleString StringType v pyspark pro kolace
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48725][SQL] Integrace collationAwareUTF8String.lowerCaseCodePoints do řetězcových výrazů
    • [SPARK-48978][SQL] Implementace rychlé cesty ASCII v podpoře kolace pro UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Zkrácení zprávy pro protokolování
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
    • [SPARK-48977][SQL] Optimalizace prohledávání řetězců v rámci kolace UTF8_LCASE
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
    • [SPARK-48954] try_mod() nahrazuje try_remainder()
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.3

Viz Databricks Runtime 15.3.

  • 22. října 2024
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-49867][SQL] Zlepšení chybové zprávy, když je index mimo hranice při volání GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Zabránění nekonečné smyčce s BindParameters
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a spuštěním plánu
    • [SPARK-49743][SQL] Při vyprázdnění GetArrayStructFields by optimizecsvJsonExpr nemělo měnit pole schématu.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute.
    • [SPARK-48719][SQL] Oprava chyby výpočtu při RegrSlope RegrIntercept hodnotě null prvního parametru
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení úrovně vnoření při zkrácení zprávy protobuf
    • [SPARK-49526][CONNECT][15.3.5] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-49366][CONNECT] Zacházení s uzlem Sjednocení jako s listem v rozlišení sloupce datového rámce
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-48954] try_mod() nahrazuje try_remainder()
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49047][PYTHON][CONNECT] Zkrácení zprávy pro protokolování
    • [SPARK-48740][SQL] Zachytávání chyby chybějící specifikace okna v rané fázi
  • 1. srpna 2024
    • [Zásadní změna] Ve službě Databricks Runtime 15.3 a novějších volání libovolné uživatelem definované funkce Pythonu (UDF), uživatelem definované agregační funkce (UDAF) nebo uživatelem definované funkce tabulky (UDTF), která používá VARIANT typ jako argument nebo návratovou hodnotu vyvolá výjimku. Tato změna brání problémům, ke kterým může dojít kvůli neplatné hodnotě vrácené některou z těchto funkcí. Další informace o VARIANT typu najdete v tématu Použití VARIANTs k ukládání částečně strukturovaných dat.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-46957][JÁDRO] Vyřazení migrovanýchsouborůch
    • [SPARK-48648][PYTHON][CONNECT] Správné nastavení SparkConnectClient.značek threadlocal
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48713][SQL] Přidání kontroly rozsahu indexu pro NezabezpečenéRow.pointTo, pokud je baseObject bajtové pole
    • [SPARK-48834][SQL] Zakázání vstupu a výstupu varianty pro skalární uživatelem definované uživatelem v Pythonu, UDTF a UDAF během kompilace dotazů
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-49054][SQL] Výchozí hodnota sloupce by měla podporovat funkce current_*
    • [SPARK-48653][PYTHON] Oprava neplatných odkazů na třídu chyb zdroje dat v Pythonu
    • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48873][SQL] Použití nezabezpečeného V analyzátoru JSON
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je ve výchozím nastavení false.
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-47463][SQL] Použití V2Predicate k zabalení výrazu s návratovým typem logické hodnoty
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48286] Oprava analýzy sloupce s výchozím výrazem – Přidání chyby, ke které dochází uživatelům
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • Vrátit zpět "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48503][14.3-15.3][SQL] Opravaneplatných
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48273][master][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Oprava chyby, kdy jsou indexy oddílů nesprávné, když funkce UDTF analyze() používá metodu select i partitionColumns
    • [SPARK-48556][SQL] Oprava nesprávné chybové zprávy odkazující na UNSUPPORTED_GROUPING_EXPRESSION
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.2

Viz Databricks Runtime 15.2.

  • 22. října 2024
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-48843][15.3,15.2] Zabránění nekonečné smyčce s BindParameters
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
    • [SPARK-49743][SQL] Při vyprázdnění GetArrayStructFields by optimizecsvJsonExpr nemělo měnit pole schématu.
    • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a spuštěním plánu
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-48719][SQL] Oprava chyby výpočtu regrSlope & RegrIntercept při prvním parametru s hodnotou null
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute.
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení úrovně vnoření při zkrácení zprávy protobuf
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-49366][CONNECT] Zacházení s uzlem Sjednocení jako s listem v rozlišení sloupce datového rámce
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-48050][SS] Log logical plan at query start
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-48740][SQL] Zachytávání chyby chybějící specifikace okna v rané fázi
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49047][PYTHON][CONNECT] Zkrácení zprávy pro protokolování
  • 1. srpna 2024
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48873][SQL] Použití nezabezpečeného V analyzátoru JSON
    • [SPARK-46957][JÁDRO] Vyřazení migrovanýchsouborůch
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48713][SQL] Přidání kontroly rozsahu indexu pro NezabezpečenéRow.pointTo, pokud je baseObject bajtové pole
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • V bezserverových poznámkových blocích a úlohách bude režim ANSI SQL ve výchozím nastavení povolený a podporuje krátké názvy.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je ve výchozím nastavení false.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48286] Oprava analýzy sloupce s výchozím výrazem – Přidání chyby, ke které dochází uživatelům
    • [SPARK-48294][SQL] Zpracování malých písmen v nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] Oprava nesprávné chybové zprávy odkazující na UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Správné nastavení SparkConnectClient.značek threadlocal
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48566][PYTHON] Oprava chyby, kdy jsou indexy oddílů nesprávné, když funkce UDTF analyze() používá metodu select i partitionColumns
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-47463][SQL] Použití V2Predicate k zabalení výrazu s návratovým typem logické hodnoty
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • applyInPandasWithState() je k dispozici ve sdílených clusterech.
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
    • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48014][SQL] Změna chyby makeFromJava v EvaluatePython na chybu zobrazenou uživateli
    • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide v případě desetinných míst
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • [SPARK-48173][SQL] KontrolaAnalysis by měla vidět celý plán dotazu.
    • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
    • [SPARK-48172][SQL] Oprava problémů s únikem dat v backportu JDBCDialects na verzi 15.2
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • [SPARK-48288] Přidání zdrojového datového typu pro výraz přetypování konektoru
    • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • Vrátit zpět "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-47994][SQL] Oprava chyby s odsdílením filtru sloupců CASE WHEN v SQLServeru
    • [SPARK-47764][JÁDRO][SQL] Vyčištění závislostí náhodného prohazu na základě shuffleCleanupMode
    • [SPARK-47921][CONNECT] Oprava vytváření ExecuteJobTag v ExecuteHolderu
    • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
    • [SPARK-48146][SQL] Oprava agregační funkce ve výrazu podřízený kontrolní výraz
    • [SPARK-48180][SQL] Zlepšení chyby, když volání UDTF s funkcí TABLE arg zapomene závorky kolem více výrazů PARTITION/ORDER BY
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.3

Viz Databricks Runtime 14.3 LTS.

  • 22. října 2024
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyby pro chybu uživatelské funkce jímky Foreach
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
  • 25. září 2024
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení úrovně vnoření při zkrácení zprávy protobuf
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-48463][ML] Nastavit binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupní sloupce
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Zacházení s uzlem Sjednocení jako s listem v rozlišení sloupce datového rámce
  • 29. srpna 2024
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou ArrayIndexOutOfBoundsException může být vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-46957][JÁDRO] Vyřazení migrovanýchsouborůch
    • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • [SPARK-47713][SQL][CONNECT] Oprava selhání samoobslužného připojení
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je ve výchozím nastavení false.
    • [SPARK-48648][PYTHON][CONNECT] Správné nastavení SparkConnectClient.značek threadlocal
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • applyInPandasWithState() je k dispozici ve sdílených clusterech.
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48294][SQL] Zpracování malých písmen v nestedTypeMissingElementTypeError
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • (Změna chování) dbutils.widgets.getAll() je teď podporovaná, aby se v poznámkovém bloku získaly všechny hodnoty widgetů.
    • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
    • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
    • [SPARK-48146][SQL] Oprava agregační funkce ve výrazu podřízený kontrolní výraz
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • [SPARK-48180][SQL] Zlepšení chyby, když volání UDTF s funkcí TABLE arg zapomene závorky kolem více výrazů PARTITION/ORDER BY
    • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide v případě desetinných míst
    • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda
    • [SPARK-47994][SQL] Oprava chyby s odsdílením filtru sloupců CASE WHEN v SQLServeru
    • [SPARK-48173][SQL] KontrolaAnalysis by měla vidět celý plán dotazu.
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • (Změna chování) applyInPandas a mapInPandas typy UDF se teď podporují ve výpočetním režimu sdíleného přístupu, na kterém běží Databricks Runtime 14.3 a novější.
    • [SPARK-47739][SQL] Registrace logického typu avro
    • [SPARK-47941] [SS] [Připojit] Šíření chyb inicializace pracovních procesů ForeachBatch uživatelům pro PySpark
    • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-47543][CONNECT][PYTHON] Odvození diktování jako Mapype z datového rámce Pandas za účelem povolení vytváření datového rámce
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Pro vyčištění provádění použijte asynchronní zpětné volání.
    • [SPARK-47764][JÁDRO][SQL] Vyčištění závislostí náhodného prohazu na základě shuffleCleanupMode
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Oprava agregační chyby v rewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47543][CONNECT][PYTHON] Odvození dict z MapType datového rámce Pandas za účelem povolení vytváření datového rámce
    • [SPARK-47694][CONNECT] Nastavení maximální velikosti zprávy na straně klienta
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
    • [SPARK-47862][PYTHON][CONNECT]Oprava generování souborů proto
    • Vrácení kódu [SPARK-47543][CONNECT][PYTHON] Odvozování dict z MapType datového rámce Pandas kvůli povolení vytváření datového rámce
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí Analyzovat
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou funkce PySpark UDF ve sdílených clusterech nyní odpovídat chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterů. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
      • Funkce definované uživatelem s návratovým typem string už implicitně nepřevádějí hodnoty na stringstring hodnoty. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
      • UDF s návratovými timestamp typy již implicitně nepoužijí převod s timestamp timezone.
      • Konfigurace clusteru spark.databricks.sql.externalUDF.* Spark se už nevztahují na uživatelem definované funkce PySpark ve sdílených clusterech.
      • Konfigurace spark.databricks.safespark.externalUDF.plan.limit clusteru Spark už nemá vliv na uživatelem definované funkce PySpark a odebere omezení verze Public Preview 5 definovaných uživatelem na dotaz pro uživatelem definované uživatelem PySpark.
      • Konfigurace spark.databricks.safespark.sandbox.size.default.mib clusteru Spark už neplatí pro uživatelem definované funkce PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
    • Datový TimestampNTZ typ se teď podporuje jako sloupec clusteringu s clusteringem s clusteringem liquid. Viz Použití liquid clusteringu pro tabulky Delta.
    • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning ID
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do kontroly zdroje dat řádku pro strategii V2
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47121][JÁDRO] Vyhněte se odmítnutíExecutionExceptions během vypnutí StandaloneSchedulerBackend
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • [SPARK-46999][SQL] VýrazWithUnresolvedIdentifier by měl obsahovat další výrazy ve stromu výrazů.
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protokol pro naslouchací proces na straně klienta
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění SELECT a MODIFY pro LIBOVOLNÝ SOUBOR.
    • [SPARK-47071][SQL] Vložený výraz With, pokud obsahuje speciální výraz
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46993][SQL] Oprava skládání konstant pro proměnné relace
    • Aktualizace zabezpečení operačního systému.
  • 3. ledna 2024
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-46954] XML: Zabalení InputStreamReader s BufferedReader.
    • [SPARK-46655] Přeskočte kontext dotazu zachytávání v DataFrame metodách.
    • [SPARK-44815] Mezipaměť df.schema, abyste se vyhnuli dodatečnému rpc.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • [SPARK-46736] zachovat prázdné pole zprávy v konektoru protobuf.
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46414] K vykreslení importů javascriptu použijte prependBaseUri.
    • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46954] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
    • [SPARK-46731] Správa instance zprostředkovatele úložiště stavu podle zdroje dat stavu – čtenář.
    • [SPARK-46677] Opravte dataframe["*"] řešení.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
    • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
    • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
    • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
    • [SPARK-46227] Backport to 14.3.
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.1

Viz Databricks Runtime 14.1.

  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • 10. října 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
    • [SPARK-49743][SQL] Při vyprázdnění GetArrayStructFields by optimizecsvJsonExpr nemělo měnit pole schématu.
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • 14. srpna 2024
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48050][SS] Log logical plan at query start
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou ArrayIndexOutOfBoundsException může být vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-47218][SQL] XML: Ignorování značek okomentovaných řádků v tokenizátoru XML
    • [SPARK-47300][SQL] quoteIfNeeded by měl identifikátor uvozovek začíná číslicemi
    • [SPARK-47368][SQL] Odebrání konfigurace inferTimestampNTZ v parquetRowConverter
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47322][PYTHON][CONNECT] Zdvojování withColumnsRenamed názvů sloupců konzistentně withColumnRenamed
    • [SPARK-47300] Oprava pro DecomposerSuite
    • [SPARK-47218] [SQL] XML: Změna schématuOfXml na selhání v režimu DROPMALFORMED
    • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do kontroly zdroje dat řádku pro strategii V2
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění SELECT a MODIFY pro LIBOVOLNÝ SOUBOR.
    • Teď můžete ingestovat soubory XML pomocí automatického zavaděče, read_files, COPY INTO, DLT a DBSQL. Podpora souborů XML může automaticky odvodit a vyvíjet schéma, ukládat data s neshodami typů, ověřovat XML pomocí XSD, podporovat výrazy SQL, jako jsou from_xml, schema_of_xml a to_xml. Další podrobnosti najdete v podpoře souborů XML. Pokud jste dříve používali externí balíček spark-xml, projděte si pokyny k migraci tady .
    • [SPARK-46248][SQL] XML: Podpora pro ignoreCorruptFiles a ignorovat MožnostiMissingFiles
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Zabalení inputStreamReader s bufferedReader
    • [SPARK-46954][SQL] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-46630][SQL] XML: Ověření názvu elementu XML při zápisu
    • Aktualizace zabezpečení operačního systému.
  • 8. února 2024
    • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Streamovací tabulky Služby Unity podporují dotazy CDF na tabulky mimoAPPLY CHANGES tabulky v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
    • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
    • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-45498] Sledování: Přeskočení dokončení úkolu ze starých pokusů o fázi
    • [SPARK-46382] XML: Aktualizace dokumentu pro ignoreSurroundingSpaces.
    • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
    • [SPARK-46382] XML: Výchozí ignorovatSurroundingSpaces na true.
    • [SPARK-46677] Opravte dataframe["*"] řešení.
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
    • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
    • [SPARK-46382] XML: Zachytávání hodnot interspersed mezi elementy.
    • [SPARK-46769] Upřesněte odvození schématu související s časovým razítkem.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
    • [SPARK-45964] Odeberte privátní přístupové objekty SQL v balíčku XML a JSON v rámci balíčku s katalyzátorem.
    • Vrátit zpět [SPARK-46769] Upřesnit časové razítko související s odvozováním schématu.
    • [SPARK-45962] Místo toho odeberte treatEmptyValuesAsNulls a použijte nullValue možnost v JAZYCE XML.
    • [SPARK-46541] Opravte nejednoznačný odkaz na sloupec ve spojení sebe sama.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
    • [SPARK-46153] XML: Přidání podpory TimestampNTZType
    • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML
    • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
    • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
    • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
    • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
    • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46602] allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46261] DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
    • [SPARK-46260] DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
    • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Connect
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
    • [SPARK-46028] Přijměte Column.__getitem__ vstupní sloupec.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
    • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-45852] Během protokolování můžete bez problémů řešit chybu rekurze.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • Při ingestování dat CSV pomocí automatického zavaděče nebo streamovaných tabulek jsou teď velké soubory CSV rozdělené a je možné je zpracovávat paralelně během odvozování schématu i zpracování dat.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45620] Rozhraní API související s uživatelem definovaného uživatelem Pythonu teď používají camelCase.
    • [SPARK-44790] Přidání to_xml implementace a vazeb pro Python, Spark Connect a SQL
    • [SPARK-45770] Opravené rozlišení sloupců pro DataFrameDropColumns Dataframe.drop.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Bylo provedeno testování hermetiky SBT.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45250] Přidání podpory pro profil prostředků úloh na úrovni fáze pro clustery yarn, když je dynamické přidělování vypnuté.
    • [SPARK-44753] Přidání čtečky a zapisovače datových rámců XML pro PySpark SQL
    • [SPARK-45396] Přidání položky dokumentu pro PySpark.ml.connect modul
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidání SSLFactory
    • [SPARK-45577] Opraveno UserDefinedPythonTableFunctionAnalyzeRunner předání přeložených hodnot z pojmenovaných argumentů.
    • [SPARK-45562] Nasadili jsme požadovanou možnost rowTag.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-43380] Opravili jsme zpomalení čtení Avro.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45386] Opravili jsme problém, kdy StorageLevel.NONE se nesprávně vrátilo číslo 0.
    • [SPARK-44219] Přidání kontrol ověření jednotlivých pravidel pro přepsání optimalizace
    • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 27. září 2023
    • [SPARK-44823] Aktualizováno black na verzi 23.9.1 a opravili jsme chybnou kontrolu.
    • [SPARK-45339] PySpark teď protokoluje chyby, které opakuje.
    • Vraťte [SPARK-42946] Redacted sensitive data vnořená do proměnných substitucí.
    • [SPARK-44551] Upravované komentáře pro synchronizaci s operačním systémem
    • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
    • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
    • [SPARK-45425] Namapováno TINYINT na MsSqlServerDialectShortType .
    • [SPARK-45419] Odebrání položky mapování verzí souboru větších verzí, aby se zabránilo opakovanému použití rocksdb ID souborů sst.
    • [SPARK-45488] Přidání podpory pro hodnotu v rowTag elementu
    • [SPARK-42205] Odebrali jsme protokolování při Task/Stage počátečních Accumulables událostech v JsonProtocol protokolech událostí.
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • [SPARK-45256] DurationWriter selže při zápisu více hodnot než počáteční kapacita.
    • [SPARK-43380] Opravili jsme Avro problémy s převodem datových typů, aniž by to způsobilo regresi výkonu.
    • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
    • [SPARK-45399] Přidání možností XML pomocí newOption.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.3 LTS

Viz Databricks Runtime 13.3 LTS.

  • 22. října 2024
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyby pro chybu uživatelské funkce jímky Foreach
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49743][SQL] Při vyprázdnění GetArrayStructFields by optimizecsvJsonExpr nemělo měnit pole schématu.
  • 25. září 2024
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-48719][SQL] Oprava chyby výpočtu regrSlope & RegrIntercept při prvním parametru s hodnotou null
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-48463][ML] Nastavit binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
  • 14. srpna 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou ArrayIndexOutOfBoundsException může být vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-46822][SQL] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-44653][SQL] Jiné než triviální sjednocení datových rámců by neměly přerušit ukládání do mezipaměti.
    • Různé opravy chyb
  • 11. dubna 2024
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
    • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • [SPARK-47368][SQL] Odebrání konfigurace inferTimestampNTZ v parquetRowConverter
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ selhání načítání ze systému souborů DFS.
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47300][SQL] quoteIfNeeded by měl identifikátor uvozovek začíná číslicemi
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do kontroly zdroje dat řádku pro strategii V2
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění SELECT a MODIFY pro LIBOVOLNÝ SOUBOR.
    • Aktualizace zabezpečení operačního systému.
  • 8. února 2024
    • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Streamovací tabulky Služby Unity podporují dotazy CDF na tabulky mimoAPPLY CHANGES tabulky v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
    • [SPARK-46383] Snižte využití haldy ovladačů snížením životnosti TaskInfo.accumulables().
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46602] allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
    • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
    • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
    • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • Změněné dotazy datového kanálu v tabulkách streamování katalogu Unity a materializovaných zobrazeních tak, aby zobrazovaly chybové zprávy.
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-44219] Přidání dalších ověření podle pravidel pro přepsání optimalizace
    • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 23. října 2023
    • [SPARK-45256] Opravili jsme problém, kdy DurationWriter se při zápisu více hodnot než počáteční kapacity nezdařilo.
    • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert hodnotu true.
    • Opravili jsme problém způsobující, že ignoreCorruptFiles se při odvozování schématu CSV s automatickým zavaděčem neignorují poškozené soubory.
    • Vrátit [SPARK-42946].
    • [SPARK-42205] Aktualizovali jsme protokol JSON tak, aby odebral protokolování Accumulables v událostech zahájení úkolu nebo fáze.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45316] Přidat nové parametry ignoreCorruptFiles a ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-44740] Opravili jsme hodnoty metadat pro artefakty.
    • [SPARK-45360] Inicializovaná konfigurace tvůrce relací Sparku z SPARK_REMOTE.
    • [SPARK-44551] Upravované komentáře pro synchronizaci s operačním systémem
    • [SPARK-45346] Odvozování schématu Parquet teď při slučování schématu respektuje příznaky citlivé na malá a velká písmena.
    • [SPARK-44658] ShuffleStatus.getMapStatus nyní vrátí místo None Some(null).
    • [SPARK-44840] Vytvořili array_insert() jsme 1 pro záporné indexy.
  • 14. září 2023
    • [SPARK-44873] Přidání podpory pro alter view vnořené sloupce v klientovi Hive
    • [SPARK-44878] Vypnutí přísného limitu pro správce zápisu, RocksDB aby se zabránilo výjimce vložení do mezipaměti dokončeno.
  • 30. srpna 2023
    • Příkaz dbutils cp (dbutils.fs.cp) byl optimalizován pro rychlejší kopírování. Díky tomuto vylepšení můžou operace kopírování v závislosti na velikosti souboru trvat až 100krát. Tato funkce je dostupná ve všech cloudech a souborových systémech přístupných v Databricks, včetně svazků katalogu Unity a připojení DBFS.
    • [SPARK-44455] Identifikátory uvozovek s backticks ve výsledku SHOW CREATE TABLE .
    • [SPARK-44763] Opravili jsme problém, který v binární aritmetice s intervalem zobrazoval řetězec jako dvojitý řetězec.
    • [SPARK-44871] Opravené percentile_disc chování.
    • [SPARK-44714] Snadné omezení překladu LCA v souvislosti s dotazy.
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44505] Přidání přepsání pro podporu sloupcových dat v nástroji Scan for DSv2
    • [SPARK-44479] Oprava převodu protobuf z prázdného typu struktury.
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • [SPARK-42941] Přidání podpory pro StreamingQueryListener v Pythonu
    • [SPARK-44558] Export úrovně protokolu Spark Connect pro PySpark
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají hodnotu Null jako první hodnotu sloupce.
    • [SPARK-44643] Opraveno Row.__repr__ , když je pole prázdný řádek.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.2 LTS

Viz Databricks Runtime 12.2 LTS.

  • 10. října 2024
    • [SPARK-49743][SQL] Při vyprázdnění GetArrayStructFields by optimizecsvJsonExpr nemělo měnit pole schématu.
  • 25. září 2024
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • Různé opravy chyb
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • Různé opravy chyb
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48463][ML] Vytvoření stringIndexeru podporujícího vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 1. srpna 2024
  • 1. srpna 2024
    • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 12.2 LTS z verze 3.9.5 na verzi 3.9.19.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-42741][SQL] Nevybalit přetypování v binárním porovnání, pokud je literál null
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Různé opravy chyb
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u spojování shodného spojovacího klíče v plném vnějším spojení USING.
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ selhání načítání ze systému souborů DFS.
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění SELECT a MODIFY pro LIBOVOLNÝ SOUBOR.
    • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • Aktualizace zabezpečení operačního systému.
  • 13. února 2024
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-43067] Opravte umístění souboru prostředků třídy chyb v konektoru Kafka.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
    • [SPARK-46602] allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-42852] Revert NamedLambdaVariable související změny z EquivalentExpressions.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
    • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-42205] Odebrané protokolování je možné v Stage událostech a Task zahájit je.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-42553] Zajistěte alespoň jednu časovou jednotku po intervalu.
    • [SPARK-45346] Odvozování schématu Parquet respektuje příznak rozlišující malá a velká písmena při slučování schématu.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084] StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
  • 12. září 2023
    • [SPARK-44873] Přidání podpory pro alter view vnořené sloupce v klientovi Hive
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • [SPARK-44714] Zmírnění omezení překladu LCA v souvislosti s dotazy
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199] CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44337] Opravili jsme problém, kdy jakákoli sada Any.getDefaultInstance polí způsobovala chyby analýzy.
    • [SPARK-44136] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43156][SPARK-43098] Rozšířený skalární test počtu poddotazů s vypnutým vypnutým testem decorrelateInnerQuery počtu poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
    • [SPARK-43522] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
    • [SPARK-43541] Rozšíří všechny Project značky při překladu výrazů a chybějících sloupců.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43123] Interní metadata polí už nedochází k únikům do katalogů.
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42444] DataFrame.drop nyní zpracovává duplicitní sloupce správně.
    • [SPARK-42937] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-43286] Aktualizace aes_encrypt režimu CBC pro generování náhodných IV.
    • [SPARK-43378] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
  • 17. května 2023
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • Pokud byl soubor Avro přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorta Byte typy, pokud je jeden z těchto datových typů k dispozici, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje čtení typů intervalů jako typů kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
      • Zabraňuje typům čtení Decimal s nižší přesností.
    • [SPARK-43172] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-43293] __qualified_access_only se ignoruje v normálních sloupcích.
    • [SPARK-43098] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43085] Podpora přiřazení sloupců DEFAULT pro názvy tabulek s více částmi
    • [SPARK-43190] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • [SPARK-43192] Odebrání ověření znakové sady uživatelského agenta
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání IntegerShort, a Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datových typů sloupce, i když byly čitelné.
    • [SPARK-43009] Parametrizované sql() s Any konstantami
    • [SPARK-42406] Ukončení rekurzivních polí Protobuf přetažením pole
    • [SPARK-43038] Podpora režimu CBC podle aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
    • [SPARK-43018] Oprava chyby pro příkazy INSERT s literály časového razítka
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Řeší problém v chování %automatického načítání v poznámkových blocích mimo úložiště.
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42928] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42936] Opraví problém LCan, když je možné klauzuli vyřešit přímo podřízenou agregací.
    • [SPARK-42967] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.
  • 29. března 2023

    • Databricks SQL teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta Lake, a to buď při vytváření tabulky, nebo potom. Následující INSERTpříkazy , , UPDATEDELETEa MERGE příkazy mohou odkazovat na výchozí hodnotu libovolného sloupce pomocí explicitního DEFAULT klíčového slova. Kromě toho platí, že pokud má jakékoli INSERT přiřazení explicitní seznam méně sloupců než cílová tabulka, nahradí se výchozí hodnoty odpovídajících sloupců zbývajícím sloupcům (nebo null, pokud není zadána žádná výchozí hodnota).

      Příklad:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader teď zahájí alespoň jeden synchronní vyčištění protokolů RocksDB pro Trigger.AvailableNow streamy a zkontroluje, že kontrolní bod se může pravidelně vyčistit pro rychlé automatické zavaděče datových proudů. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte prostředí automatického zavaděče v budoucích spuštěních.

    • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury

    • [SPARK-42521] Přidání seznamů NUL pro insert s uživatelsky zadanými seznamy méně sloupců než cílová tabulka

    • [SPARK-42702][SPARK-42623] Podpora parametrizovaného dotazu v poddotazech a CTE

    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null

  • 8. března 2023
    • Chybová zpráva "Selhání inicializace konfigurace" byla vylepšena tak, aby poskytovala zákazníkovi více kontextu.
    • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
    • Od této verze je možné vytvořit nebo nahradit tabulku další vlastností delta.ignoreProtocolDefaults tabulky, která ignoruje konfigurace Sparku související s protokolem, která zahrnuje výchozí verze čtečky a zapisovací verze a funkce tabulek podporované ve výchozím nastavení.
    • [SPARK-42070] Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL
    • [SPARK-41793] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u významných desetinných míst
    • [SPARK-42484] Nebezpečná službaRowUtils – lepší chybová zpráva
    • [SPARK-42516] Při vytváření zobrazení vždy zachyťte konfiguraci časového pásma relace.
    • [SPARK-42635] Oprava výrazu TimestampAdd
    • [SPARK-42622] Vypnutí nahrazení v hodnotách
    • [SPARK-42534] Oprava klauzule DB2Dialect Limit
    • [SPARK-42121] Přidání předdefinovaných funkcí hodnot tabulky posexplode, posexplode_outer, json_tuple a zásobníku
    • [SPARK-42045] Režim ANSI SQL: Zaokrouhlení nebo Bround by mělo vrátit chybu u malého, malého nebo významného celočíselného přetečení
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.3 LTS

Viz Databricks Runtime 11.3 LTS.

  • 10. října 2024
    • Různé opravy chyb
  • 25. září 2024
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • Různé opravy chyb
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48463][ML] Vytvoření stringIndexeru podporujícího vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 1. srpna 2024
  • 1. srpna 2024
    • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 11.3 LTS z verze 3.9.5 na verzi 3.9.19.
  • 11. července 2024
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u spojování shodného spojovacího klíče v plném vnějším spojení USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ selhání načítání ze systému souborů DFS.
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • 13. února 2024
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46602] allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • Vrátit [SPARK-33861].
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084] StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
    • [SPARK-45346] Odvozování schématu Parquet teď při slučování schématu respektuje příznak rozlišující malá a velká písmena.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199] CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44136] Opravili jsme problém, kdy StateManager mohl místo ovladače v FlatMapGroupsWithStateExec získat materializaci v exekutoru.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test chyby rozšířeného poddotazového poddotazu s decorrelateInnerQuery vypnutým.
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.

Databricks Runtime 10.4 LTS

Viz Databricks Runtime 10.4 LTS.

  • 22. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • 14. srpna 2024
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-48463][ML] Vytvoření stringIndexeru podporujícího vnořené vstupní sloupce
  • 1. srpna 2024
  • 11. července 2024
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u spojování shodného spojovacího klíče v plném vnějším spojení USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ selhání načítání ze systému souborů DFS.
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • Aktualizace zabezpečení operačního systému.
  • 13. února 2024
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • 14. prosince 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • [SPARK-45084] StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování se teď zobrazuje jako neúspěšné dotazy správně.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test počtu rozšířených skalárních poddotazů s decorrelateInnerQuery vypnutým vypnutým.
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.
  • 17. května 2023
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • [SPARK-41520] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43190] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • [SPARK-42928] Proveďte resolvePersistentFunction synchronizaci.
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42937] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
  • 29. března 2023
    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider
    • [SPARK-42635] Opravte ...
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2023
    • [SPARK-41162] Oprava anti-a polo-join pro samoobslužné spojení s agregacemi
    • [SPARK-33206] Oprava výpočtu váhy mezipaměti indexu náhodného prohazování u malých indexových souborů
    • [SPARK-42484] Vylepšená UnsafeRowUtils chybová zpráva
    • Různé opravy.
  • 28. února 2023
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
    • Uživatelé teď můžou číst a zapisovat konkrétní tabulky Delta vyžadující Čtečku verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • [SPARK-30220] Povolení použití poddotazů mimo uzel filtru
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
  • 18. ledna 2023
    • Konektor Azure Synapse vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • [SPARK-41199] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41198] Oprava metrik v dotazu streamování se zdrojem streamování CTE a DSv1
    • [SPARK-41339] Místo pouhého vymazání zavřete a znovu vytvořte dávku zápisu RocksDB.
    • [SPARK-41732] Použití vyřezávání založeného na stromové struktuře pro pravidlo SessionWindowing
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Byly přidány následující možnosti pro řízení zpracování prázdných znaků:
      • csvignoreleadingwhitespace, pokud je nastavena na truehodnotu , odebere počáteční prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastaveno na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • Opravili jsme problém s parsováním JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu se dá dál správně analyzovat místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults hodnotu true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • [SPARK-40292] Oprava názvů sloupců ve arrays_zip funkci při odkazování polí z vnořených struktur
    • Aktualizace zabezpečení operačního systému.
  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40697] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • [SPARK-40468] Opravte vyřezávání sloupců ve sdíleném svazku clusteru, když _corrupt_record je vybráno.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • Uživatelé můžou nastavit spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) a znovu povolit předdefinovaný výpis automatického zavaděče v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40213] Podpora převodu hodnot ASCII pro znaky latinky-1
    • [SPARK-40380] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-38404] Vylepšení překladu CTE, když vnořený CTE odkazuje na vnější CTE
    • [SPARK-40089] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
  • 6. září 2022
    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40218] SESKUPOVACÍ SADY by měly zachovat sloupce seskupení.
    • [SPARK-39976] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053] Přidejte assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu.
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení.
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39983] Neuklášejte do mezipaměti neserializované relace vysílání na ovladači.
    • [SPARK-39775] Při analýze schémat Avro zakažte ověřování výchozích hodnot.
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-37643] Pokud je parametr charVarcharAsString pravdivý, měl by dotaz predikátu datového typu char přeskočit pravidlo rpadding.
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
    • [SPARK-39731] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39625] Přidat Dataset.as(StructType).
    • [SPARK-39689]Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39570] Vložená tabulka by měla umožňovat výrazy s aliasem.
    • [SPARK-39702] Snižte režii paměti transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel.
    • [SPARK-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí nebo dvojitou nebo celočíselnou hodnotu na plovoucí.
    • [SPARK-38868] Při optimalizaci vnějších spojení nešíření výjimek z predikátu filtru.
    • Aktualizace zabezpečení operačního systému.
  • 20. července 2022
    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39355] Jeden sloupec používá uvozování k vytvoření UnresolvedAttribute.
    • [SPARK-39548] Příkaz CreateView s dotazem klauzule okna stiskněte nesprávný problém s definicí okna.
    • [SPARK-39419] Oprava ArraySort vyvolá výjimku, když srovnávací program vrátí hodnotu null.
    • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • [SPARK-39376] Skrytí duplicitních sloupců v rozšíření poddotazového aliasu z natural/USING JOIN
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2022
    • [SPARK-39283] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu.
    • [SPARK-36718] Opravte vrácení se změnami isExtractOnly sbalit projekt.
  • 2. června 2022
    • [SPARK-39093] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem.
    • [SPARK-38990] Při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu se vyhněte výjimce NullPointerException.
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení paměti v automatickém zavaděče.
    • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-37593] Pokud se používají G1GC a ON_HEAP, zmenšete výchozí velikost stránky LONG_ARRAY_OFFSET.
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu.
    • [SPARK-32268] Přidání columnPruningu v nástroji injectBloomFilter
    • [SPARK-38974] Filtrujte registrované funkce s daným názvem databáze ve funkcích seznamu.
    • [SPARK-38931] Vytvořte kořenový adresář dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu.
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
    • Opravili jsme problém s nefunkčními knihovnami s vymezenými poznámkovými bloky v úlohách dávkového streamování.
    • [SPARK-38616] Sledování textu dotazu SQL ve Catalyst TreeNode
    • Aktualizace zabezpečení operačního systému.
  • 6. dubna 2022
    • V této verzi jsou nyní k dispozici následující funkce Spark SQL:
      • timestampadd() and dateadd(): Do výrazu časového razítka přidejte dobu trvání v zadané jednotce.
      • timestampdiff() and datediff(): Výpočet časového rozdílu mezi výrazy dvou časových razítek v zadané jednotce.
    • Parquet-MR byl upgradován na verzi 1.12.2
    • Vylepšená podpora komplexních schémat v souborech parquet
    • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick tři timestmapadd/diff změny.
    • [SPARK-38523] Opravte odkaz na sloupec poškozených záznamů ze souboru CSV.
    • [SPARK-38237] Povolit ClusteredDistribution vyžadování úplných klíčů clusteringu
    • [SPARK-38437] Lenient serializace datetime ze zdroje dat.
    • [SPARK-38180] Povolte bezpečné přetypování výrazů v korelovaných predikátech rovnosti.
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 9.1 LTS

Viz Databricks Runtime 9.1 LTS.

  • 22. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.
  • 6. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • 14. srpna 2024
  • 1. srpna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u spojování shodného spojovacího klíče v plném vnějším spojení USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Různé opravy chyb
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Aktualizace zabezpečení operačního systému.
  • 13. února 2024
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • 14. prosince 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • [SPARK-43098] Oprava chyby počet správnosti, pokud skalární poddotaz má klauzuli group by.
    • [SPARK-43156][SPARK-43098] Rozšíření testu chyb počtu poddotazů skalárních poddotazů s decorrelateInnerQuery vypnutým.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery.
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-37520] startswith() Přidání funkcí a endswith() řetězců
    • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.
  • 17. května 2023
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
  • 29. března 2023
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2023
    • [SPARK-42484] Vylepšená chybová zpráva pro UnsafeRowUtils.
    • Různé opravy.
  • 28. února 2023
    • Uživatelé teď můžou číst a zapisovat konkrétní tabulky Delta vyžadující Čtečku verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
  • 18. ledna 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Opravili jsme problém s parsováním JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Různé opravy.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit integrovaný výpis automatického zavaděče v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40089] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
  • 6. září 2022
    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39666] Použití UnsafeProjection.create k respektu spark.sql.codegen.factoryMode ve výrazuEncoder
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39689] Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39575] Přidáno ByteBuffer#rewind za ByteBuffer#get .AvroDeserializer
    • [SPARK-37392] Opravili jsme chybu výkonu pro optimalizátor katalyzátoru.
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • [SPARK-39419] ArraySort vyvolá výjimku, pokud srovnávací program vrátí hodnotu null.
    • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 15. června 2022
    • [SPARK-39283] Opravte vzájemné zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
  • 2. června 2022
    • [SPARK-34554] Implementujte metodu copy() v ColumnarMap.
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravili jsme potenciální nevracení paměti v automatickém zavaděče.
    • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
    • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext zastavení iterátoru při dokončení úkolu
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 6. dubna 2022
    • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s podporou řízení přístupu k tabulce nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byla /databricks/driverslužba Active Directory .
    • [SPARK-38437] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
  • 14. března 2022
    • [SPARK-38236] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
    • [SPARK-34069] Přeruší vlákno úkolu, pokud je místní vlastnost SPARK_JOB_INTERRUPT_ON_CANCEL nastavena na true.
  • 23. února 2022
    • [SPARK-37859] Tabulky SQL vytvořené pomocí JDBC se Sparkem 3.1 se nedají číst pomocí Sparku 3.2.
  • 8. února 2022
    • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme problém, kdy se souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek potvrdit v ne serializovatelném pořadí.
    • Opravili jsme problém, kdy OPTIMIZE příkaz mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Menší opravy a vylepšení zabezpečení
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2021
    • Opravili jsme problém, který mohl způsobit selhání datových proudů strukturovaného streamování s chybou ArrayIndexOutOfBoundsException.
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
    • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
  • 20. října 2021
    • Upgradovali jsme konektor BigQuery z verze 0.18.1 na 0.22.2. Tím se přidá podpora pro typ BigNumeric.