Databricks Runtime 12.2 LTS

Följande viktig information innehåller information om Databricks Runtime 12.2 LTS, som drivs av Apache Spark 3.3.2.

Databricks släppte den här versionen i mars 2023.

Förändringar i beteende

[Icke-bakåtkompatibel ändring] Ny Python-version kräver uppdatering av Databricks Connect V1 Python-klienter

För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 12.2 LTS från 3.9.5 till 3.9.19. Eftersom dessa ändringar kan orsaka fel i klienter som använder specifika PySpark-funktioner måste alla klienter som använder Databricks Connect V1 för Python med Databricks Runtime 12.2 LTS uppdateras till Python 3.9.7 eller senare.

Nya funktioner och förbättringar

• Delta Lake-schemautveckling har stöd för att ange källkolumner i sammanslagningsinstruktioner
• Strukturerade strömningsarbetsbelastningar stöds i kluster med läget för delad åtkomst
• Nya funktioner för förutsägande I/O
• Stöd för implicit lateral kolumnalias
• Ny forEachBatch-funktion
• Standardiserade anslutningsalternativ för frågefederation
• Utökat SQL-funktionsbibliotek för matrishantering
• Ny maskfunktion för att anonymisera strängar
• Vanliga felvillkor returnerar nu SQLSTATEs
• Anropa generatorfunktioner i FROM-satsen
• Stöd för protokollbuffertar är allmänt tillgängligt
• Gå till definition för notebook-variabler och funktioner
• Snabbkorrigering för notebook-filer för automatisk import av bibliotek
• Felkorrigeringar

Delta Lake-schemautveckling har stöd för att ange källkolumner i sammanslagningsinstruktioner

Nu kan du ange kolumner som bara finns i källtabellen i infoga eller uppdatera åtgärder för kopplingsinstruktioner när schemautveckling är aktiverat. I Databricks Runtime 12.1 och nedan kan endast INSERT * åtgärder eller UPDATE SET * åtgärder användas för schemautveckling med sammanslagning. Se Automatisk schemautveckling för Delta Lake-sammanslagning.

Strukturerade strömningsarbetsbelastningar stöds i kluster med läget för delad åtkomst

Nu kan du använda Structured Streaming för att interagera med Unity Catalog i delade kluster. Vissa begränsningar gäller. Se Vilka funktioner för strukturerad direktuppspelning stöder Unity Catalog?.

Nya funktioner för förutsägande I/O

Photon-stöd för Foreachbatch mottagaren är nu tillgängligt. Arbetsbelastningar som strömmas från en källa och sammanfogas till deltatabeller eller skriver till flera mottagare kan nu dra nytta av fotonas mottagare Foreachbatch .

Stöd för implicit lateral kolumnalias

Azure Databricks stöder nu implicit lateral kolumnalias som standard. Nu kan du återanvända ett uttryck som angavs tidigare i samma SELECT lista. Till exempel, givet SELECT 1 AS a, a a + 1 AS bkan in a + 1 matchas som den tidigare definierade 1 AS a. Kontrollera Namnmatchning för mer information i matchningsordning. Om du vill inaktivera den här funktionen kan du ange spark.sql.lateralColumnAlias.enableImplicitResolution till false.

Ny forEachBatch-funktion

Foton stöds nu när du använder foreachBatch för att skriva till en datamottagare.

Standardiserade anslutningsalternativ för frågefederation

Nu kan du använda en enhetlig uppsättning alternativ (värd, port, databas, användare, lösenord)för att ansluta till datakällor som stöds i Frågefederation. Port är valfritt och använder standardportnumret för varje datakälla, om det inte anges.

Utökat SQL-funktionsbibliotek för matrishantering

Nu kan du ta bort alla NULL-element från en matris med hjälp av array_compact. Om du vill lägga till element i en matris använder du array_append.

Ny maskfunktion för att anonymisera strängar

Anropa maskfunktionen för att anonymisera känsliga strängvärden.

Vanliga felvillkor returnerar nu SQLSTATEs

De flesta feltillstånd som Databricks Runtime nu innehåller dokumenterade SQLSTATE-värden som kan användas för att testa fel på ett sql-standardkompatibelt sätt.

Anropa generatorfunktioner i FROM-satsen

Nu kan du anropa generatorfunktioner med tabellvärde, till exempel explodera i den vanliga FROM satsen i en fråga. Detta justerar generatorfunktionens anrop med andra inbyggda och användardefinierade tabellfunktioner.

Stöd för protokollbuffertar är allmänt tillgängligt

Du kan använda from_protobuf funktionerna och to_protobuf för att utbyta data mellan binära och struct-typer. Se Läsa och skriva protokollbuffertar.

Gå till definition för notebook-variabler och funktioner

I notebook-filer kan du snabbt gå till definitionen av en variabel, funktion eller koden bakom en %run instruktion genom att högerklicka på variabeln eller funktionsnamnet.

Snabbkorrigering för notebook-filer för automatisk import av bibliotek

Databricks Notebooks erbjuder nu en snabbkorrigeringsfunktion för automatisk import av bibliotek. Om du glömmer att importera ett bibliotek som Pandas hovrar du över den understrukna syntaxvarningen och klickar sedan på Snabbkorrigering. Den här funktionen kräver att Databricks Assistant är aktiverat på din arbetsyta.

Felkorrigeringar

• Förbättrad konsekvens för Delta-incheckningsbeteende för tomma transaktioner relaterade till updatekommandona , deleteoch merge . På WriteSerializable isoleringsnivå skapar kommandon som inte resulterar i några ändringar nu en tom incheckning. På isoleringsnivå Serializable skapar sådana tomma transaktioner nu ingen incheckning.

Funktionalitetsförändringar

Beteendeändringar med den nya laterala kolumnaliasfunktionen

Den nya laterala kolumnaliasfunktionen introducerar beteendeändringar för följande fall under namnmatchning:

• Alias för lateral kolumn har nu företräde framför korrelerade referenser med samma namn. För den här frågan SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)c1 löstes till exempel i det inre c1 AS c2 till den korrelerade referensen t.c1, men ändras nu till lateral kolumnalias 1 AS c1. Frågan returnerar NULLnu .
• Alias för lateral kolumn har nu företräde framför funktionsparametrar med samma namn. För funktionen CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx löstes till exempel i funktionstexten till funktionsparametern x, men ändras till lateralt kolumnalias x + 1 i funktionstexten. Frågan SELECT * FROM func(1) returnerar 2, 2nu .
• Om du vill inaktivera aliasfunktionen för laterala kolumner anger du spark.sql.lateralColumnAlias.enableImplicitResolution till false. Mer information finns i Namnmatchning.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • filelock från 3.8.2 till 3.9.0
  • joblib från 1.1.0 till 1.1.1
  • platformdirs från 2.6.0 till 2.6.2
  • whatthepatch från 1.0.3 till 1.0.4
• Uppgraderade R-bibliotek:
  • klass från 7.3-20 till 7.3-21
  • codetools från 0.2-18 till 0.2-19
  • MASS från 7,3-58 till 7,3-58,2
  • nlme från 3.1-160 till 3.1-162
  • Rserve från 1.8-11 till 1.8-12
  • SparkR från 3.3.1 till 3.3.2

Beteendeändringar

• Användare måste nu ha SELECT och MODIFY behörigheter för alla filer när de skapar ett schema med en definierad plats.

Apache Spark

Databricks Runtime 12.2 innehåller Apache Spark 3.3.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 12.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-42416] [SC-123205][SC-122851][SQL] Dateset-åtgärder bör inte matcha den analyserade logiska planen igen
• [SPARK-41848] Återställ "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Åtgärda aktivitet överplanerad med TaskResourceProfile"
• [SPARK-42162] [SC-122711][ES-556261] Introducera MultiCommutativeOp-uttryck som en minnesoptimering för kanonisering av stora träd med kommutativa uttryck
• [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Åtgärda rekursiv djupinställning för Protobuf-funktioner
• [SPARK-42002] [SC-122476][ANSLUT][PYTHON] Implementera DataFrameWriterV2
• [SPARK-41716] [SC-122545][ANSLUT] Byt namn på _catalog_to_pandas till _execute_and_fetch i katalogen
• [SPARK-41490] [SC-121774][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][ANSLUT] Implementera Catalog.cacheTable, isCached och uncache
• [SPARK-42191] [SC-121990][SQL] Stöd för udf "luhn_check"
• [SPARK-42253] [SC-121976][PYTHON] Lägg till test för att identifiera duplicerad felklass
• [SPARK-42268] [SC-122251][ANSLUT][PYTHON] Lägg till UserDefinedType i protos
• [SPARK-42231] [SC-121841][SQL] Förvandlas MISSING_STATIC_PARTITION_COLUMN till internalError
• [SPARK-42136] [SC-122554] Refaktorutdatapartitioneringsberäkning för BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][SQL] Integrera _LEGACY_ERROR_TEMP_1003 i FIELD_NOT_FOUND
• [SPARK-42192] [12.x][SC-121820][PYTHON] Migrera TypeError från pyspark/sql/dataframe.py till PySparkTypeError
• [SPARK-35240] Återställ "[SC-118242][SS] Använd CheckpointFileManager ...
• [SPARK-41488] [SC-121858][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1176 (och 1177)
• [SPARK-42232] [SC-122267][SQL] Byt namn på felklass: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][SQL] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor
• [SPARK-42306] [SC-122539][SQL] Integrera _LEGACY_ERROR_TEMP_1317 i UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][SQL] Byt namn på felklass: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][CORE] Ignorera IOException i handleBlockRemovalFailure om SparkContext stoppas
• [SPARK-41295] [SC-122442][SPARK-41296][SQL] Byt namn på felklasserna
• [SPARK-42320] [SC-122478][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][ANSLUT] SparkConnectClient har stöd för retryPolicies nu
• [SPARK-38728] [SC-116723][SQL] Testa felklassen: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Fristående exempel i PySpark
• [SPARK-39347] [SC-122457][SS] Felkorrigering för tidsfönsterberäkning när händelsetid < 0
• [SPARK-42336] [SC-122458][CORE] Använd getOrElse() i stället contains() för i ResourceAllocator
• [SPARK-42125] [SC-121827][ANSLUT][PYTHON] Pandas UDF i Spark Connect
• [SPARK-42217] [SC-122263][SQL] Stöd för implicita laterala kolumnalias i frågor med Window
• [SPARK-35240] [SC-118242][SS] Använda CheckpointFileManager för kontrollpunktsfilmanipulering
• [SPARK-42294] [SC-122337][SQL] Inkludera kolumnstandardvärden i DESCRIBE-utdata för V2-tabeller
• [SPARK-41979] Återställ "Återställ "[12.x][SC-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser.""
• [SPARK-42286] [SC-122336][SQL] Återställning till tidigare kodsökväg för codegen för komplexa uttr med CAST
• [SPARK-42275] [SC-122249][ANSLUT][PYTHON] Undvik att använda inbyggd lista, diktera i statisk typning
• [SPARK-41985] [SC-122172][SQL] Centralisera fler regler för kolumnmatchning
• [SPARK-42126] [SC-122330][PYTHON][ANSLUT] Acceptera returtyp i DDL-strängar för Python Scalar-UDF:er i Spark Connect
• [SPARK-42197] [SC-122328][SC-121514][ANSLUT] Återanvänder JVM-initiering och separata konfigurationsgrupper som ska anges i fjärrlokalt läge
• [SPARK-41575] [SC-120118][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Återställ "[SC-122172][SQL] Centralisera fler kolumnmatchningsregler"
• [SPARK-42123] [SC-122234][SC-121453][SQL] Inkludera kolumnstandardvärden i DESCRIBE och SHOW CREATE TABLE output
• [SPARK-41985] [SC-122172][SQL] Centralisera fler regler för kolumnmatchning
• [SPARK-42284] [SC-122233][ANSLUT] Kontrollera att anslutningsserversammansättningen har skapats innan du kör klienttester – SBT
• [SPARK-42239] [SC-121790][SQL] Integrera MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][SQL] DS V2-pushdown stöder JDBC-dialekter som kompileras SortOrder själva
• [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics bör ta hand om Python UDAF
• [SPARK-41979] Återställ "[12.x][SC-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser."
• [SPARK-42224] [12.x][SC-121708][ANSLUT] Migrera TypeError till felramverket för Spark Connect-funktioner
• [SPARK-41712] [12.x][SC-121189][PYTHON][ANSLUT] Migrera Spark Connect-felen till PySpark-felramverket.
• [SPARK-42119] [SC-121913][SC-121342][SQL] Lägg till inbyggda tabellvärdesfunktioner infogade och inline_outer
• [SPARK-41489] [SC-121713][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][ANSLUT] Presentera PySparkValueError och PySparkTypeError
• [SPARK-42081] [SC-121723][SQL] Förbättra planändringsverifieringen
• [SPARK-42225] [12.x][SC-121714][ANSLUT] Lägg till SparkConnectIllegalArgumentException för att hantera Spark Connect-fel exakt.
• [SPARK-42044] [12.x][SC-121280][SQL] Åtgärda fel felmeddelande för MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][SC-121712][PS] Tillåt kolumnparameter när du skapar DataFrame med serie.
• [SPARK-42078] [12.x][SC-120761][PYTHON] Migrera fel som utlöses av JVM till PySparkException.
• [SPARK-42133] [12.x][SC-121250] Lägga till grundläggande API-metoder för datauppsättning i SparkConnect Scala-klienten
• [SPARK-41979] [12.x][SC-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser.
• [SPARK-42124] [12.x][SC-121420][PYTHON][ANSLUT] Scalar Inline Python UDF i Spark Connect
• [SPARK-42051] [SC-121994][SQL] Codegen-stöd för HiveGenericUDF
• [SPARK-42257] [SC-121948][CORE] Ta bort oanvänd extern sortering av variabel
• [SPARK-41735] [SC-121771][SQL] Använd MINIMAL i stället för STANDARD för SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][SQL] Förfina NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][SQL] Förbättra felmeddelandet för PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][CORE] Migrera SparkCoreErrors till felklasser
• [SPARK-42163] [SC-121839][SQL] Åtgärda schemarensning för icke-vikbar matrisindex eller kartnyckel
• [SPARK-40711] [SC-119990][SQL] Lägga till mått för spillstorlek för fönstret
• [SPARK-42023] [SC-121847][SPARK-42024][ANSLUT][PYTHON] Gör createDataFrame supporttvång AtomicType -> StringType
• [SPARK-42202] [SC-121837][Anslut][Test] Förbättra stopplogik för E2E-testservern
• [SPARK-41167] [SC-117425][SQL] Förbättra prestanda för flera uttryck genom att skapa ett trädpredikat för balanserade uttryck
• [SPARK-41931] [SC-121618][SQL] Bättre felmeddelande för ofullständig komplex typdefinition
• [SPARK-36124] [SC-121339][SC-110446][SQL] Stöd för underfrågor med korrelation via UNION
• [SPARK-42090] [SC-121290][3.3] Introducera antal sasl-återförsök i RetryingBlockTransferor
• [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR bör tillhandahålla FAIR-schemaläggaren
• [SPARK-41572] [SC-120772][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][SQL] Byt namn på och förbättra felmeddelandet för NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][SQL] Förbättra felmeddelandet för INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][SC-120573] Tilldela SQLSTATE(1/2)
• [SPARK-41415] [SC-121117][3.3] SASL-begärandeförsök
• [SPARK-38591] [SC-121018][SQL] Lägg till flatMapSortedGroups och cogroupSorted
• [SPARK-41975] [SC-120767][SQL] Förbättra felmeddelandet för INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][SQL][PROTOBUF] Lägga till alternativ som saknas för Protobuf-funktioner
• [SPARK-41984] [SC-120769][SQL] Byt namn på och förbättra felmeddelandet för RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][SQL] Åtgärda NPE för felklasser: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][ANSLUT][PYTHON] Åtgärda fel kolumnnamn i withFielddokumentet
• [SPARK-41283] [SC-121175][ANSLUT][PYTHON] Lägg till array_append i Anslut
• [SPARK-41960] [SC-120773][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][SQL] Åtgärda getPartitionFiltersAndDataFilters() för att hantera filter utan refererade attribut
• [SPARK-42096] [SC-121012][ANSLUT] Viss kodrensning för connect modul
• [SPARK-42099] [SC-121114][SPARK-41845][ANSLUT][PYTHON] Åtgärda count(*) och count(col(*))
• [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL-läge: Round/Bround ska returnera ett fel vid heltalsspill
• [SPARK-42043] [SC-120968][ANSLUT] Scala-klientresultat med E2E-tester
• [SPARK-41884] [SC-121022][ANSLUT] Stöd för naiv tuppeln som en kapslad rad
• [SPARK-42112] [SC-121011][SQL][SS] Lägg till null-kontroll innan ContinuousWriteRDD#compute funktionen stängs dataWriter
• [SPARK-42077] [SC-120553][ANSLUT][PYTHON] Literal ska utlösa TypeError för DataType som inte stöds
• [SPARK-42108] [SC-120898][SQL] Gör Analyzer-transformering Count(*) till Count(1)
• [SPARK-41666] [SC-120928][SC-119009][PYTHON] Stöd för parameteriserad SQL efter sql()
• [SPARK-40599] [SC-120930][SQL] Koppla av regeltypen multiTransform så att alternativ kan vara alla typer av Seq
• [SPARK-41574] [SC-120771][SQL] Uppdatera _LEGACY_ERROR_TEMP_2009 som INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][SQL] Förvandlas INCORRECT_END_OFFSET till INTERNAL_ERROR
• [SPARK-41530] [SC-120916][SC-118513][CORE] Byt namn på MedianHeap till PercentileMap och stöd percentil
• [SPARK-41757] [SC-120608][SPARK-41901][ANSLUT] Åtgärda strängrepresentation för kolumnklass
• [SPARK-42084] [SC-120775][SQL] Undvik att läcka begränsningen endast för kvalificerad åtkomst
• [SPARK-41973] [SC-120765][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][SQL] SPJ: Ta bort alternativ i KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][ANSLUT][PYTHON] Byt namn på proto-meddelanden för toDF och withColumnsRenamed
• [SPARK-42089] [SC-120605][ANSLUT][PYTHON] Åtgärda problem med variabelnamn i kapslade lambda-funktioner
• [SPARK-41982] [SC-120604][SQL] Partitioner av typsträng ska inte behandlas som numeriska typer
• [SPARK-40599] [SC-120620][SQL] Lägga till multiTransform-metoder i TreeNode för att generera alternativ
• [SPARK-42085] [SC-120556][ANSLUT][PYTHON] Skapa from_arrow_schema stöd för kapslade typer
• [SPARK-42057] [SC-120507][SQL][PROTOBUF] Åtgärda hur undantaget hanteras vid felrapportering.
• [SPARK-41586] [12.x][ALLA TESTER][SC-120544][PYTHON] Introduktion och pyspark.errors felklasser för PySpark.
• [SPARK-41903] [SC-120543][ANSLUT][PYTHON] Literal bör stödja 1-dim ndarray
• [SPARK-42021] [SC-120584][ANSLUT][PYTHON] Skapa createDataFrame support array.array
• [SPARK-41896] [SC-120506][SQL] Filtrering efter radindex returnerar tomma resultat
• [SPARK-41162] [SC-119742][SQL] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
• [SPARK-41961] [SC-120501][SQL] Stöd för tabellvärdesfunktioner med LATERAL
• [SPARK-41752] [SC-120550][SQL][Användargränssnitt] Gruppera kapslade körningar under rotkörningen
• [SPARK-42047] [SC-120586][SPARK-41900][ANSLUT][PYTHON][12.X] Literal bör ha stöd för Numpy-datatyper
• [SPARK-42028] [SC-120344][ANSLUT][PYTHON] Trunkera tidsstämplar för nanosekunder
• [SPARK-42011] [SC-120534][ANSLUT][PYTHON] Implementera DataFrameReader.csv
• [SPARK-41990] [SC-120532][SQL] Använd FieldReference.column i stället för apply i V1 till V2-filterkonvertering
• [SPARK-39217] [SC-120446][SQL] Gör att DPP-stöd för beskärningssidan har Union
• [SPARK-42076] [SC-120551][ANSLUT][PYTHON] Konvertering av faktordata arrow -> rows till conversion.py
• [SPARK-42074] [SC-120540][SQL] Aktivera KryoSerializer i TPCDSQueryBenchmark för att framtvinga SQL-klassregistrering
• [SPARK-42012] [SC-120517][ANSLUT][PYTHON] Implementera DataFrameReader.orc
• [SPARK-41832] [SC-120513][ANSLUT][PYTHON] Åtgärda DataFrame.unionByName, lägg till allow_missing_columns
• [SPARK-38651] [SC-120514] [SQL] Addera spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert bör acceptera ExpressionProxy som underordnad
• [SPARK-41232] [SC-120073][SQL][PYTHON] Lägga till funktionen array_append
• [SPARK-42041] [SC-120512][SPARK-42013][ANSLUT][PYTHON] DataFrameReader bör ha stöd för en lista över sökvägar
• [SPARK-42071] [SC-120533][CORE] Registrera dig scala.math.Ordering$Reverse för KyroSerializer
• [SPARK-41986] [SC-120429][SQL] Introducera shuffle på SinglePartition
• [SPARK-42016] [SC-120428][ANSLUT][PYTHON] Aktivera tester relaterade till den kapslade kolumnen
• [SPARK-42042] [SC-120427][ANSLUT][PYTHON] DataFrameReader bör ha stöd för StructType-schema
• [SPARK-42031] [SC-120389][CORE][SQL] remove Rensa metoder som inte behöver åsidosättas
• [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][ANSLUT][PYTHON] Skapa createDataFrame(rows/lists/tuples/dicts) stöd för kapslade typer
• [SPARK-41437] [SC-117601][SQL][ALLA TESTER] Optimera inte indatafrågan två gånger för tillbakaskrivning av v1
• [SPARK-41840] [SC-119719][ANSLUT][PYTHON] Lägg till det saknade aliaset groupby
• [SPARK-41846] [SC-119717][ANSLUT][PYTHON] Aktivera dokumenttest för fönsterfunktioner
• [SPARK-41914] [SC-120094][SQL] FileFormatWriter materialiserar AQE-plan innan du kommer åt outputOrdering
• [SPARK-41805] [SC-119992][SQL] Återanvända uttryck i WindowSpecDefinition
• [SPARK-41977] [SC-120269][SPARK-41978][ANSLUT] SparkSession.range för att ta flyttal som argument
• [SPARK-42029] [SC-120336][ANSLUT] Lägg till Guava Shading-regler för att connect-common undvika startfel
• [SPARK-41989] [SC-120334][PYTHON] Undvik att bryta loggningskonfigurationen från pyspark.pandas
• [SPARK-42003] [SC-120331][SQL] Minska duplicerad kod i ResolveGroupByAll
• [SPARK-41635] [SC-120313][SQL] Åtgärda grupp efter all felrapportering
• [SPARK-41047] [SC-120291][SQL] Förbättra dokument för runda
• [SPARK-41822] [SC-120122][ANSLUT] Konfigurera gRPC-anslutning för Scala/JVM-klienten
• [SPARK-41879] [SC-120264][ANSLUT][PYTHON] Skapa DataFrame.collect stöd för kapslade typer
• [SPARK-41887] [SC-120268][ANSLUT][PYTHON] Gör DataFrame.hint accept list typed parameter
• [SPARK-41964] [SC-120210][ANSLUT][PYTHON] Lägg till listan över I/O-funktioner som inte stöds
• [SPARK-41595] [SC-120097][SQL] Stödgeneratorfunktionen exploderar/explode_outer i FROM-satsen
• [SPARK-41957] [SC-120121][ANSLUT][PYTHON] Aktivera dokumentettestet för DataFrame.hint
• [SPARK-41886] [SC-120141][ANSLUT][PYTHON] DataFrame.intersect doctest-utdata har olika ordning
• [SPARK-41442] [SC-117795][SQL][ALLA TESTER] Uppdatera endast SQLMetric-värdet om sammanslagning med giltigt mått
• [SPARK-41944] [SC-120046][ANSLUT] Skicka konfigurationer när lokalt fjärrläge är aktiverat
• [SPARK-41708] [SC-119838][SQL] Hämta v1write-information till WriteFiles
• [SPARK-41780] [SC-120000][SQL] Ska kasta INVALID_PARAMETER_VALUE. MÖNSTER när parametrarna regexp är ogiltiga
• [SPARK-41889] [SC-119975][SQL] Koppla rotorsaken till invalidPatternError & refaktorfelklasser INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][SQL] Skapa Fallklasser för AvroScanBuilder och JsonScanBuilder
• [SPARK-41945] [SC-120010][ANSLUT][PYTHON] Python: anslut förlorade kolumndata för klienten med pyarrow. Table.to_pylist
• [SPARK-41690] [SC-119102][SC-119087][SQL][ANSLUT] Agnostiska kodare
• [SPARK-41354] [SC-119995][ANSLUT][PYTHON] Implementera RepartitionByExpression
• [SPARK-41581] [SC-119997][SQL] Uppdatera _LEGACY_ERROR_TEMP_1230 som INTERNAL_ERROR
• [SPARK-41928] [SC-119972][ANSLUT][PYTHON] Lägg till listan som inte stöds för functions
• [SPARK-41933] [SC-119980][ANSLUT] Ange lokalt läge som startar servern automatiskt
• [SPARK-41899] [SC-119971][ANSLUT][PYTHON] createDataFrame ska respektera användarens DDL-schema
• [SPARK-41936] [SC-119978][ANSLUT][PYTHON] Gör withMetadata så att proto återanvänds withColumns
• [SPARK-41898] [SC-119931][ANSLUT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typechecking parity with pyspark
• [SPARK-41939] [SC-119977][ANSLUT][PYTHON] Lägg till listan över catalog funktioner som inte stöds
• [SPARK-41924] [SC-119946][ANSLUT][PYTHON] Gör StructType till stöd för metadata och implementera DataFrame.withMetadata
• [SPARK-41934] [SC-119967][ANSLUT][PYTHON] Lägg till funktionslistan som inte stöds för session
• [SPARK-41875] [SC-119969][ANSLUT][PYTHON] Lägga till testfall för Dataset.to()
• [SPARK-41824] [SC-119970][ANSLUT][PYTHON] Ingore dokumentet för att förklara anslutning
• [SPARK-41880] [SC-119959][ANSLUT][PYTHON] Gör så att funktionen from_json accepterar icke-literalschema
• [SPARK-41927] [SC-119952][ANSLUT][PYTHON] Lägg till listan som inte stöds för GroupedData
• [SPARK-41929] [SC-119949][ANSLUT][PYTHON] Lägg till funktion array_compact
• [SPARK-41827] [SC-119841][ANSLUT][PYTHON] Ta GroupBy emot kolumnlista
• [SPARK-41925] [SC-119905][SQL] Aktivera spark.sql.orc.enableNestedColumnVectorizedReader som standard
• [SPARK-41831] [SC-119853][ANSLUT][PYTHON] Ta DataFrame.select emot kolumnlista
• [SPARK-41455] [SC-119858][ANSLUT][PYTHON] Ta DataFrame.collect bort tidszonsinformationen
• [SPARK-41923] [SC-119861][ANSLUT][PYTHON] Lägg till DataFrame.writeTo i listan som inte stöds
• [SPARK-41912] [SC-119837][SQL] Underfrågor bör inte verifiera CTE
• [SPARK-41828] [SC-119832][ANSLUT][PYTHON][12.X] Gör createDataFrame stöd för tom dataram
• [SPARK-41905] [SC-119848][ANSLUT] Stödnamn som strängar i sektorn
• [SPARK-41869] [SC-119845][ANSLUT] Avvisa enkel sträng i dropDuplicates
• [SPARK-41830] [SC-119840][ANSLUT][PYTHON] Acceptera DataFrame.sample samma parametrar som PySpark
• [SPARK-41849] [SC-119835][ANSLUT] Implementera DataFrameReader.text
• [SPARK-41861] [SC-119834][SQL] Gör v2 ScanBuilders build() returnerad genomsökning
• [SPARK-41825] [SC-119710][ANSLUT][PYTHON] Aktivera dokumenttest som är relaterade till DataFrame.show
• [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][ANSLUT][PYTHON][12.X] Gör createDataFrame hantera None/NaN korrekt
• [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][ANSLUT][PYTHON] Hantera DataFrame.collect None/NaN/Array/Binary porperly
• [SPARK-39318] [SC-119713][SQL] Ta bort tpch-plan-stabilitet WithStats gyllene filer
• [SPARK-41791] [SC-119745] Lägga till nya kolumntyper för filkällans metadata
• [SPARK-41790] [SC-119729][SQL] Ange transformeringsläsarens och skrivarens format korrekt
• [SPARK-41829] [SC-119725][ANSLUT][PYTHON] Lägg till den saknade ordningsparametern i Sort och sortWithinPartitions
• [SPARK-41576] [SC-119718][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][ANSLUT][PYTHON] Åtgärda dokumenttest för DataFrame.describe
• [SPARK-41871] [SC-119714][ANSLUT] DataFrame-tipsparametern kan vara str, float eller int
• [SPARK-41720] [SC-119076][SQL] Byt namn på UnresolvedFunc till UnresolvedFunctionName
• [SPARK-41573] [SC-119567][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][SQL] Åtgärda korrigeringsfel relaterade till STANDARDvärden i Orc-läsare
• [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Återanvänd i INVALID_TYPED_LITERAL stället för _LEGACY_ERROR_TEMP_0022

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 12.2.

Systemmiljö

• Operativsystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.19
• R: 4.2.2
• Delta lake: 2.2.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-11-11.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)