Databricks Runtime 9.1 LTS

Následující poznámky k verzi obsahují informace o Databricks Runtime 9.1 LTS a Databricks Runtime 9.1 LTS Photon s využitím Apache Sparku 3.1.2. Databricks vydala tuto verzi v září 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

• Nápovědy k schématu automatického zavaděče teď fungují s typy polí a mapování.
• Podpora souborů Avro pro schéma sloučení
• Podpora přírůstkového výpisu automatického zavaděče (Public Preview)
• Delta teď podporuje libovolnou hodnotu ReplaceWhere
• Automatický zavaděč pro Google Cloud teď podporuje oznámení o souborech (Public Preview)
• CREATE FUNCTION teď podporuje vytváření funkcí tabulky.
• Streamovací zdroj Kafka teď hlásí estimatedTotalBytesBehindLatest metriku
• U struktur uvnitř polí teď Delta MERGE INTO překládá pole struktury podle názvu a vyvíjí schémata struktury.

Nápovědy k schématu automatického zavaděče teď fungují s typy polí a mapování.

Typy polí a map jsou podporovány v odvození schématu přepsání s nápovědou schématu pro automatický zavaděč.

Mezi příklady tipů schématu pro pole patří:

1. arr Array<TYPE> změní typ pole.
2. arr.element TYPE změní typ pole (pomocí klíčového element slova).
3. arr.element.x TYPE změní typ vnořeného pole v poli struktur.

První dva příklady jsou rady ke změně typu pole arr na TYPE, ale používají jinou syntaxi. Ve třetím příkladu arr je pole struktur s polem x. Tento příklad ukazuje, jak změnit typ x na TYPE.

Mezi příklady tipů schémat pro mapy patří:

1. m Map<KEY-TYPE, VALUE-TYPE> změní typy klíčů a hodnot mapování.
2. m.key TYPE změní typ mapových klíčů.
3. m.value TYPE změní typ mapových hodnot.
4. m.key.x TYPE změní typ pole v klíči mapy.
5. m.value.x TYPE změní typ pole hodnoty mapy.

První příklad změní typ mapování m KEY_TYPE na klíč i hodnotu a VALUE_TYPE v uvedeném pořadí. Druhý a třetí příklad lze použít, pokud je potřeba změnit pouze typ klíče nebo pouze typ hodnoty. Ve čtvrtém a pátém příkladu m je mapa s klíčem a hodnotou typů struktury s polem x. Tento příklad ukazuje, jak změnit typ x na TYPE.

Podpora souborů Avro pro schéma sloučení

Formát souboru Avro teď podporuje mergeSchema možnost při čtení souborů. Nastavení mergeSchema na hodnotu True při čtení souborů Avro odvodí schéma ze sady souborů Avro, nikoli z jednoho souboru. To zlepšuje použitelnost odvozením schématu, které může být schopno číst všechny soubory, i když se jejich jednotlivá schémata liší. Viz Konfigurace.

Podpora přírůstkového výpisu automatického zavaděče (Public Preview)

V případě lexikálních vygenerovaných souborů teď využívá auto loader? Teď využívá lexikální řazení souborů a stávající optimalizovaná rozhraní API k efektivnějšímu výpisu adresáře výpisem z dříve přijatých souborů, nikoli výpisem celého adresáře. Automatický zavaděč automaticky zjistí, jestli je daný adresář vhodný pro přírůstkové výpisy ve výchozím nastavení. Pokud chcete toto chování explicitně řídit, nastavte novou cloudFiles.useIncrementalListing možnost na zapnuto (true), vypnuto (false) nebo automatické (auto). Pokud toto chování nastavíte na true, můžete také nastavit cloudFiles.backfillInterval možnost naplánovat pravidelné obnovení dat, abyste měli jistotu, že jsou všechna vaše data zcela ingestována.

Delta teď podporuje libovolnou hodnotu ReplaceWhere

V kombinaci s režimem replaceWhere přepsání lze tuto možnost použít k současnému přepsání dat, která odpovídají predikátu definovanému v této možnosti. replaceWhere Dříve podporoval predikát pouze přes sloupce oddílů, ale teď může být libovolným výrazem. Viz Zápis do tabulky.

Automatický zavaděč pro Google Cloud teď podporuje oznámení o souborech (Public Preview)

Auto Loader teď podporuje režim oznámení souborů v Google Cloudu. Nastavte .option("cloudFiles.useNotifications", "true") automatické zavaděče tak, aby automaticky nastavil prostředky Google Cloud Pub/Sub za vás. V režimu oznámení o souborech se při doručení zjistí a ingestují nové soubory bez výpisu vstupního adresáře. Podívejte se, co je režim oznámení souboru automatického zavaděče?.

CREATE FUNCTION teď podporuje vytváření funkcí tabulky.

Kromě vytvoření skalární funkce, která vrací skalární hodnotu, teď můžete vytvořit funkci tabulky, která vrací sadu řádků. Viz CREATE FUNCTION (SQL a Python).

Streamovací zdroj Kafka teď hlásí estimatedTotalBytesBehindLatest metriku

Zdroj streamování Kafka teď hlásí odhad, kolik bajtů je příjemce po každé dávce za nejnovějším dostupným bajtem. Tuto metriku můžete použít ke sledování průběhu streamu. Viz Načtení metrik Kafka.

Příklad výstupu metriky:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

U struktur uvnitř polí teď Delta MERGE INTO překládá pole struktury podle názvu a vyvíjí schémata struktury.

Delta MERGE INTO teď podporuje rozlišení polí struktury podle názvu a automatického vývoje schématu pro pole struktur. Pokud je automatický vývoj schématu povolen nastavením spark.databricks.delta.schema.autoMerge.enabled na hodnotu true a INSERT UPDATE klauzule přeloží pole struktury uvnitř pole podle názvu, přetypování na odpovídající datový typ definovaný v cílovém poli a vyplnění dalších nebo chybějících polí ve zdroji nebo cíli hodnotami null. Pokud je automatický vývoj schématu zakázaný a INSERT klauzule přeloží pole struktury uvnitř pole podle názvu, UPDATE ale nebudou moct vyvíjet další pole. Viz aktualizace schématu tabulky Delta Lake.

Opravy chyb

• Opravili jsme nevracení paměti v konektoru Amazon S3, ke kterému mohlo dojít v dlouhotrvajících úlohách nebo službách, což způsobilo funkce JVM DeleteOnExit .

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • vykreslovat od 4.14.3 do 5.1.0
• Upgradované knihovny jazyka R:
  • od 4.1.0 do 4.1.1
  • bslib od 0.2.5.1 do 0.3.0
  • cachem from 1.0.5 to 1.0.6
  • kompilátor z verze 4.1.0 do 4.1.1
  • datové sady od 4.1.0 do 4.1.1
  • budoucí od 1.21.0 do 1.22.1
  • gert od 1.3.1 do 1.3.2
  • grafika od 4.1.0 do 4.1.1
  • grDevices od 4.1.0 do 4.1.1
  • mřížka od 4.1.0 do 4.1.1
• Upgradované knihovny Java:
  • org.eclipse.jetty od 9.4.36.v20210114 do 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS zahrnuje Apache Spark 3.1.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 9.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-36674][SQL][CHERRY-PICK] Podpora ILIKE - malá a malá písmena nerozlišující LIKE
• [SPARK-36353][SQL][3.1] RemoveNoopOperators by měl zachovat výstupní schéma.
• [SPARK-35876][SQL][3.1] ArraysZip by měl uchovávat názvy polí, aby se zabránilo opětovnému zápisu analyzátorem nebo optimalizátorem.
• [SPARK-36398][SQL] Redact sensitive information in Spark Thrift Server log
• [SPARK-36498][SQL] Změna pořadí vnitřních polí vstupního dotazu v zápisu byName V2
• [SPARK-36614][JÁDRO][UŽIVATELSKÉ ROZHRANÍ] Oprava důvodu ztráty exekutoru způsobeného vyřazením z provozu v uživatelském rozhraní
• [SPARK-36012][SQL] Přidání příznaku null v SHOW CREATE TABLE
• [SPARK-36509][JÁDRO] Oprava problému, kdy exekutory nejsou nikdy znovu naplánovány, pokud se pracovní proces zastaví v samostatném clusteru
• [SPARK-36603][JÁDRO] Použití WeakReference ne SoftReference v LevelDB
• [SPARK-36564][JÁDRO] Oprava hodnoty NullPointerException v LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] Alias nahrazení projektu CollapseProject by měl používat název sloupce původu.
• [SPARK-33527][SQL] Rozšiřte funkci dekódování tak, aby byla konzistentní s hlavními databázemi.
• [SPARK-36400][SPARK-36398][SQL][WEBI] Rozpoznávání thriftServeru spark.sql.redaction.string.regex
• [SPARK-34054][JÁDRO] BlockManagerDecommissioner – vyčištění kódu
• [SPARK-36500][JÁDRO] Oprava úniku souboru temp_shuffle při přerušení úlohy
• [SPARK-36489][SQL] Agregace funkcí bez klíčů seskupení v tabulkách s jedním kontejnerem vrátí více řádků.
• [SPARK-36464][JÁDRO] Oprava inicializace proměnné podkladové velikosti v blokuedByteBufferOutputStream pro zápis více než 2 GB dat
• [SPARK-36339][SQL][3.0] Odkazy na seskupení, které nejsou součástí agregace, by se měly nahradit
• [SPARK-36354][JÁDRO] EventLogFileReader by měl přeskočit průběžné adresáře protokolu událostí bez protokolů.
• [SPARK-36242][JÁDRO][3.1] Před nastavením úspěchu zajistěte zavření souboru přelití = true v metodě ExternalSorter.spillMemoryIteratorToDisk.
• [SPARK-36211][PYTHON] Oprava psaní návratové udf hodnoty
• [SPARK-34222][SQL] Zlepšení pravidla zjednodušení logických pravidel
• [SPARK-35027][JÁDRO] Zavřete inputStream v FileAppender při zápisu...
• [SPARK-36269][SQL] Oprava konfigurace pouze nastavení datových sloupců na názvy sloupců Hive
• [SPARK-36213][SQL] Normalize PartitionSpec for Describe Table Command with PartitionSpec
• [SPARK-36210][SQL] Zachování pořadí vložení sloupce v Dataset.withColumns
• [SPARK-36079][SQL] Odhad filtru založený na hodnotě Null by měl vždy být v rozsahu [0, 1]
• [SPARK-28266][SQL] ConvertToLogicalRelation by neměl při čtení tabulek Hive interpretovat path vlastnost

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 9.1 LTS.

Prostředí systému

• Operační systém: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2021-09-08.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)