Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 16.0, basate su Apache Spark 3.5.0.
Databricks ha rilasciato questa versione a novembre 2024.
Suggerimento
Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.
Modifica che causa un'interruzione: JDK 17 è ora l'impostazione predefinita
In Databricks Runtime 16.0 e versioni successive la versione predefinita di JDK passa da JDK 8 a JDK 17. Questa modifica viene apportata a causa della deprecazione pianificata e della fine del supporto per JDK 8. Ciò influisce sugli elementi seguenti:
Il codice Java in esecuzione nel calcolo di Azure Databricks deve essere compatibile con Java 17.
Il codice Scala in esecuzione nei notebook o nell'ambiente di calcolo di Azure Databricks deve essere compatibile con Java 17.
Le librerie Java e Scala installate nel calcolo devono essere compatibili con Java 17.
Versioni del client metastore Apache Hive sotto la versione 2.x. L'impostazione della configurazione spark.sql.hive.metastore.version di Spark su una versione precedente alla 2.x causerà problemi di compatibilità con Java 17 e gli errori di connessione al metastore Hive. Databricks consiglia di aggiornare Hive a una versione precedente alla versione 2.0.0.
Se è necessario ripristinare Java 8, aggiungere quanto segue alle variabili di ambiente Spark quando si configura il calcolo di Azure Databricks:
JNAME=zulu8-ca-amd64
Se si usano istanze di Arm, usare quanto segue:
JNAME=zulu8-ca-arm64
Per altre informazioni sulla specifica delle versioni JDK con il calcolo di Azure Databricks, vedere Creare un cluster che usa JDK 17.
Per informazioni sulla migrazione del codice da Java 8, vedere le guide seguenti:
Modifica che causa un'interruzione: Hosted RStudio è end-of-life
Con questa versione, Databricks-hosted RStudio Server è di fine vita e non è disponibile in qualsiasi area di lavoro di Azure Databricks che esegue Databricks Runtime 16.0 e versioni successive. Per altre informazioni e vedere un elenco di alternative a RStudio, vedere Hosted RStudio Server deprecation (Deprecazione di Hosted RStudio Server).
Modifica che causa un'interruzione: rimozione del supporto per la modifica bytedi tipi , shortint e long in tipi più ampi
In Databricks Runtime 15.4.3 e versioni successive, le modifiche al tipo di dati seguenti non possono più essere applicate alle tabelle con la funzionalità di ampliamento del tipo abilitata:
byteint, shorte long in decimal.
byte, shorte int in double.
Questa modifica viene apportata per garantire un comportamento coerente tra le tabelle Delta e Iceberg. Per altre informazioni sull'estensione dei tipi, vedere Ampliare il tipo.
Analisi corretta dei modelli regex con negazione nel raggruppamento di caratteri annidati
Questa versione include una modifica per supportare l'analisi corretta dei modelli regex con negazione nel raggruppamento di caratteri annidati. Ad esempio, [^[abc]] verrà analizzato come "qualsiasi carattere che non sia uno di 'abc'".
Inoltre, il comportamento photon non era coerente con Spark per le classi di caratteri annidate. I modelli regex contenenti classi di caratteri annidati non useranno più Photon e useranno invece Spark. Una classe di caratteri annidata è qualsiasi motivo contenente parentesi quadre tra parentesi quadre, ad esempio [[a-c][1-3]].
Migliorare il rilevamento delle corrispondenze duplicate in Delta Lake MERGE
In Databricks Runtime 15.4 LTS e versioni successive le MERGE operazioni hanno esito negativo se più righe della tabella di origine corrispondono alla stessa riga nella tabella di destinazione in base alla MERGE condizione specificata nella ON clausola . In Databricks Runtime 16.0 e versioni successive considera MERGE anche le condizioni specificate nella WHEN MATCHED clausola . Vedere Upsert in una tabella Delta Lake tramite merge.
Il metodo di installazione della libreria cluster non può più essere sottoposto a override
Non è possibile eseguire l'override delle configurazioni spark.databricks.libraries.enableSparkPyPIdi Spark , spark.databricks.libraries.enableMavenResolutione spark.databricks.libraries.enableCRANResolutionnow ora è possibile eseguire true l'override di e.
Timeout predefinito di due ore per le installazioni della libreria con ambito cluster
In Databricks Runtime 16.0 e versioni successive, l'installazione della libreria con ambito cluster ha un timeout predefinito di due ore. Le installazioni della libreria che richiedono più tempo di questo timeout avranno esito negativo e l'installazione viene terminata. Quando si configura un cluster, è possibile modificare il periodo di timeout usando la configurazione spark.databricks.driver.clusterLibraryInstallationTimeoutSecdi Spark .
L'installazione di librerie da DBFS e l'impostazione della conf spark.databricks.driver.dbfsLibraryInstallationAllowed spark sono disabilitate
In Databricks Runtime 16.0 e versioni successive l'installazione delle librerie da DBFS è completamente disabilitata. Questa modifica viene apportata per migliorare la sicurezza delle librerie in un'area di lavoro di Databricks. In Databricks Runtime 16.0 e versioni successive non è più possibile usare la configurazione spark.databricks.driver.dbfsLibraryInstallationAlloweddi Spark.
La addArtifact() funzionalità è ora coerente tra i tipi di calcolo
Con questa versione, l'archivio viene decompresso automaticamente quando si usa addArtifact(archive = True) per aggiungere una dipendenza al calcolo di Azure Databricks condiviso o serverless. Questa modifica rende coerente il comportamento "addArtifact(archive = True) in questi tipi di calcolo coerenti con l'ambiente di calcolo singolo, che supporta già l'decompressione automatica degli archivi.
Ricaricamento più affidabile dei moduli Python modificati con miglioramenti a autoreload
In Databricks Runtime 16.0 e versioni successive, gli aggiornamenti all'estensione migliorano la sicurezza e l'affidabilità del ricaricamento dei moduli Python modificati importati dai file dell'area autoreload di lavoro. Con queste modifiche, , autoreloadquando possibile, ricarica solo la parte di un modulo modificato anziché l'intero modulo. Inoltre, Azure Databricks ora suggerisce automaticamente l'uso dell'estensione autoreload se il modulo è cambiato dopo l'ultima importazione. Vedere Autoreload per i moduli Python.
Supporto avro per lo schema ricorsivo
È ora possibile usare l'opzione recursiveFieldMaxDepth con la from_avro funzione e l'origine avro dati. Questa opzione imposta la profondità massima per la ricorsione dello schema nell'origine dati Avro. Vedere Leggere e scrivere dati Avro in streaming.
Supporto espanso per Registro schemi Confluent per Avro
Azure Databricks supporta ora il riferimento allo schema Avro con il Registro schemi Confluent. Vedere Eseguire l'autenticazione in un registro dello schema confluente esterno.
Forzare il clustering nelle tabelle con clustering liquido
In Databricks Runtime 16.0 e versioni successive è possibile usare la OPTIMIZE FULL sintassi per forzare il clustering di tutti i record in una tabella con clustering liquido abilitato. Vedere Forzare il clustering per tutti i record.
Le API Delta per Python e Scala supportano ora le colonne Identity
Il controllo di accesso con granularità fine sul calcolo utente singolo è disponibile a livello generale
In Databricks Runtime 16.0 e versioni successive, è disponibile a livello generale il controllo di accesso con granularità fine su un singolo ambiente di calcolo utente. Nelle aree di lavoro abilitate per il calcolo serverless, se una query viene eseguita in un ambiente di calcolo supportato, ad esempio calcolo singolo utente e la query accede a uno degli oggetti seguenti, la risorsa di calcolo passa la query all'ambiente di calcolo serverless per eseguire il filtro dei dati:
Viste definite sulle tabelle in cui l'utente non dispone dei SELECT privilegi.
Visualizzazioni dinamiche.
Tabelle con filtri di riga o maschere di colonna applicate.
Viste materializzate e tabelle di streaming.
Creare tabelle cluster liquide durante le scritture in streaming
È ora possibile usare clusterBy per abilitare il clustering liquido durante la creazione di nuove tabelle con scritture structured streaming. Vedere Abilitare il clustering liquido.
Supporto per la clausola OPTIMIZE FULL
Databricks Runtime 16.0 supporta la clausola OPTIMIZE FULL . Questa clausola ottimizza tutti i record di una tabella che usa clustering liquido, inclusi i dati che potrebbero essere stati raggruppati in precedenza.
Supporto per la specifica delle opzioni WITH in INSERT e riferimenti a tabelle
Databricks Runtime 16.0 supporta una specifica di opzioni per riferimenti a tabelle e nomi di tabella di un'istruzione INSERT che può essere usata per controllare il comportamento delle origini dati.
Nuove funzioni SQL
Le funzioni SQL seguenti vengono aggiunte in Databricks Runtime 16.0:
Questa funzione è una versione a tolleranza di errore di url_decode. Questa funzione restituisce NULL se l'input non è una stringa con codifica URL valida.
Se l'espressione di input per la zeroifnull() funzione è NULL, la funzione restituisce 0. In caso contrario, viene restituito il valore dell'espressione di input.
Restituisce NULL se l'input è 0 o il relativo input se non è 0.
Se l'espressione di input per la nullifzero() funzione è 0, la funzione restituisce NULL. Se l'espressione di input non è 0, viene restituito il valore dell'espressione di input
Abilitare l'evoluzione automatica dello schema durante l'unione dei dati in una tabella Delta
Questa versione aggiunge il supporto per il withSchemaEvolution() membro della DeltaMergeBuilder classe . Usare withSchemaEvolution() per abilitare l'evoluzione automatica dello schema durante MERGE le operazioni. Ad esempio: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
Altre modifiche
SparkR è ora deprecato
In Databricks Runtime 16.0 e versioni successive SparkR in Databricks è deprecato in preparazione per la deprecazione nella prossima versione di Spark 4. Vedere il thread Spark Spark Deprecate SparkR.
Databricks Runtime 16.0 non è supportato da Databricks Private Virtual Cloud (PVC). È necessario usare Databricks Runtime 15.4 o versione successiva con tutte le versioni di PVC.
Correzioni di bug
Il caricatore automatico salva ora i tipi di record Avro con schemi vuoti
Quando si carica un file Avro in una tabella Delta usando Il caricatore automatico, record i tipi nel file con uno schema vuoto vengono ora aggiunti alla colonna di dati salvata. Poiché non è possibile inserire tipi di dati complessi vuoti in una tabella Delta, questo risolve un problema con il caricamento di alcuni file Avro. Per altre informazioni sui dati salvati, vedere What is the rescued data column?.
Correzione per la scrittura di timestamp con timestamp contenenti un secondo offset.
Questa versione corregge un bug che interessa alcuni timestamp con fusi orari contenenti un secondo offset. Questo bug causa l'omissione dei secondi durante la scrittura in JSON, XML o CSV, causando valori di timestamp non corretti.
Per tornare al comportamento precedente, usare l'opzione seguente quando si scrive in uno dei formati interessati: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").
Aggiornamenti della libreria
Librerie Python aggiornate:
azure-core da 1.30.2 a 1.31.0
azure-storage-blob da 12.19.1 a 12.23.0
azure-storage-file-datalake da 12.14.0 a 12.17.0
nero da 23.3.0 a 24.4.2
blinker da 1.4 a 1.7.0
boto3 da 1.34.39 a 1.34.69
botocore da 1.34.39 a 1.34.69
certificato dal 2023.7.22 al 2024.6.2
cffi da 1.15.1 a 1.16.0
fare clic da 8.0.4 a 8.1.7
comm da 0.1.2 a 0.2.1
contourpy da 1.0.5 a 1.2.0
crittografia da 41.0.3 a 42.0.5
Cython da 0.29.32 a 3.0.11
databricks-sdk da 0.20.0 a 0.30.0
dbus-python da 1.2.18 a 1.3.2
filelock da 3.13.4 a 3.15.4
fonttools da 4.25.0 a 4.51.0
GitPython dalla versione 3.1.43 alla versione 3.1.37
google-api-core da 2.18.0 a 2.20.0
google-auth dalla versione 2.31.0 alla versione 2.35.0
google-cloud-storage da 2.17.0 a 2.18.2
google-crc32c da 1.5.0 a 1.6.0
Google-resumable-media da 2.7.1 a 2.7.2
googleapis-common-protos da 1.63.2 a 1.65.0
httplib2 da 0.20.2 a 0.20.4
idna da 3.4 a 3.7
ipykernel da 6.25.1 a 6.28.0
ipython da 8.15.0 a 8.25.0
jedi da 0.18.1 a 0.19.1
jmespath da 0.10.0 a 1.0.1
joblib da 1.2.0 a 1.4.2
jupyter_client dalla versione 7.4.9 alla versione 8.6.0
jupyter_core dalla versione 5.3.0 alla versione 5.7.2
launchpadlib da 1.10.16 a 1.11.0
lazr.restfulclient da 0.14.4 a 0.14.6
matplotlib da 3.7.2 a 3.8.4
mlflow-skinny da 2.11.4 a 2.15.1
more-itertools da 8.10.0 a 10.3.0
mypy-extensions da 0.4.3 a 1.0.0
nest-asyncio da 1.5.6 a 1.6.0
numpy da 1.23.5 a 1.26.4
oauthlib dalla versione 3.2.0 alla versione 3.2.2
imballaggio da 23.2 a 24.1
patsy da 0.5.3 a 0.5.6
pip da 23.2.1 a 24.2
tracciato da 5.9.0 a 5.22.0
prompt-toolkit dalla versione 3.0.36 alla versione 3.0.43
pyarrow da 14.0.1 a 15.0.2
pydantic da 1.10.6 a 2.8.2
PyGObject da 3.42.1 a 3.48.2
PyJWT da 2.3.0 a 2.7.0
pyodbc da 4.0.38 a 5.0.1
python-dateutil dalla versione 2.8.2 alla versione 2.9.0.post0
python-lsp-jsonrpc da 1.1.1 a 1.1.2
pytz dal 2022.7 al 2024.1
PyYAML da 6.0 a 6.0.1
pyzmq da 23.2.0 a 25.1.2
richieste dalla versione 2.31.0 alla versione 2.32.2
scikit-learn dalla versione 1.3.0 alla versione 1.4.2
scipy da 1.11.1 a 1.13.1
seaborn da 0.12.2 a 0.13.2
setuptools da 68.0.0 a 74.0.0
smmap da 5.0.1 a 5.0.0
sqlparse da 0.5.0 a 0.5.1
statsmodels da 0.14.0 a 0.14.2
tornado da 6.3.2 a 6.4.1
traitlet da 5.7.1 a 5.14.3
typing_extensions dalla versione 4.10.0 alla versione 4.11.0
ujson da 5.4.0 a 5.10.0
virtualenv da 20.24.2 a 20.26.2
ruota da 0.38.4 a 0.43.0
zipp da 3.11.0 a 3.17.0
Librerie R aggiornate:
freccia da 14.0.0.2 a 16.1.0
backport da 1.4.1 a 1.5.0
base da 4.3.2 a 4.4.0
bitops da 1.0-7 a 1.0-8
avvio da 1.3-28 a 1.3-30
brio da 1.1.4 a 1.1.5
scopa da 1.0.5 a 1.0.6
bslib da 0.6.1 a 0.8.0
cachem da 1.0.8 a 1.1.0
chiamante dalla versione 3.7.3 alla versione 3.7.6
cli dalla versione 3.6.2 alla versione 3.6.3
orologio da 0.7.0 a 0.7.1
cluster dalla versione 2.1.4 alla versione 2.1.6
codetools da 0.2-19 a 0.2-20
spazi di colore da 2.1-0 a 2.1-1
compilatore da 4.3.2 a 4.4.0
crayon da 1.5.2 a 1.5.3
curl da 5.2.0 a 5.2.1
data.table da 1.15.0 a 1.15.4
set di dati da 4.3.2 a 4.4.0
DBI da 1.2.1 a 1.2.3
dbplyr da 2.4.0 a 2.5.0
digest da 0.6.34 a 0.6.36
downlit da 0.4.3 a 0.4.4
valutare da 0.23 a 0.24.0
lontano da 2.1.1 a 2.1.2
fastmap da 1.1.1 a 1.2.0
estero da 0,8-85 a 0,8-86
fs da 1.6.3 a 1.6.4
futuro dalla 1.33.1 alla 1.34.0
future.apply da 1.11.1 a 1.11.2
gert da 2.0.1 a 2.1.0
ggplot2 da 3.4.4 a 3.5.1
gh da 1.4.0 a 1.4.1
globals da 0.16.2 a 0.16.3
grafica da 4.3.2 a 4.4.0
grDevices dalla versione 4.3.2 alla versione 4.4.0
griglia da 4.3.2 a 4.4.0
gt da 0.10.1 a 0.11.0
gtable da 0.3.4 a 0.3.5
hardhat da 1.3.1 a 1.4.0
highr da 0.10 a 0.11
htmltools da 0.5.7 a 0.5.8.1
httpuv da 1.6.14 a 1.6.15
httr2 da 1.0.0 a 1.0.2
ipred da 0.9-14 a 0.9-15
KernSmooth da 2.23-21 a 2.23-22
magliare da 1,45 a 1,48
reticolo da 0,21-8 a 0,22-5
lava da 1.7.3 a 1.8.0
markdown da 1.12 a 1.13
MASS da 7.3-60 a 7.3-60.0.1
Matrice da 1.5 a 4.1 a 1.6-5
metodi da 4.3.2 a 4.4.0
mgcv da 1,8-42 a 1,9-1
mlflow da 2.10.0 a 2.14.1
munsell da 0.5.0 a 0.5.1
nlme da 3.1-163 a 3.1-165
openssl dalla versione 2.1.1 alla versione 2.2.0
parallelo da 4.3.2 a 4.4.0
parallelamente da 1.36.0 a 1.38.0
pkgbuild da 1.4.3 a 1.4.4
pkgdown da 2.0.7 a 2.1.0
pkgload da 1.3.4 a 1.4.0
processx da 3.8.3 a 3.8.4
prodlim da 2023.08.28 a 2024.06.25
promesse dalla versione 1.2.1 alla 1.3.0
ps da 1.7.6 a 1.7.7
ragg da 1.2.7 a 1.3.2
Rcpp da 1.0.12 a 1.0.13
RcppEigen da 0.3.3.9.4 a 0.3.4.0.0
reactR da 0.5.0 a 0.6.0
ricette da 1.0.9 a 1.1.0
remote da 2.4.2.1 a 2.5.0
repository da 2.1.0 a 2.1.1
rlang da 1.1.3 a 1.1.4
rmarkdown da 2.25 a 2.27
roxygen2 da 7.3.1 a 7.3.2
rpart da 4.1.21 a 4.1.23
RSQLite da 2.3.5 a 2.3.7
rstudioapi da 0.15.0 a 0.16.0
rvest da 1.0.3 a 1.0.4
sass da 0.4.8 a 0.4.9
forma da 1.4.6 a 1.4.6.1
brillante da 1.8.0 a 1.9.1
sparklyr da 1.8.4 a 1.8.6
spaziale da 7.3-15 a 7.3-17
spline da 4.3.2 a 4.4.0
statistiche da 4.3.2 a 4.4.0
stats4 da 4.3.2 a 4.4.0
stringi da 1.8.3 a 1.8.4
sopravvivenza da 3,5-5 a 3,6-4
swagger da 3.33.1 a 5.17.14.1
systemfonts da 1.0.5 a 1.1.0
tcltk da 4.3.2 a 4.4.0
testat da 3.2.1 a 3.2.1.1
textshaping da 0.3.7 a 0.4.0
tidyselect da 1.2.0 a 1.2.1
tinytex da 0,49 a 0,52
strumenti da 4.3.2 a 4.4.0
usethis da 2.2.2 a 3.0.0
utilità dalla versione 4.3.2 alla versione 4.4.0
uuid da 1.2-0 a 1.2-1
V8 dalla versione 4.4.1 alla versione 4.4.2
withr da 3.0.0 a 3.0.1
xfun da 0.41 a 0.46
xopen da 1.0.0 a 1.0.1
yaml da 2.3.8 a 2.3.10
Librerie Java aggiornate:
com.amazonaws.aws-java-sdk-autoscaling da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudformation da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudfront da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudhsm da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudsearch da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudtrail da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudwatch da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-codedeploy da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-cognitosync da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-config da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-core da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-datapipeline da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-directconnect da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-directory da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-dynamodb da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-ec2 da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-ecs da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-efs da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-elasticache da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-emr da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-glacier da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-glue da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-iam da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-importexport da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-[...]s da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-kms da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-lambda da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-logs da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-machinelearning da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-opsworks da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-rds da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-redshift da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-route53 da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-s3 da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-ses da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-simpledb da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-sns da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-sqs da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-ssm da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-storagegateway da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-sts da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-support da 1.12.610 a 1.12.638
com.amazonaws.aws-java-sdk-workspaces da 1.12.610 a 1.12.638
com.amazonaws.jmespath-java da 1.12.610 a 1.12.638
com.google.protobuf.protobuf-java dalla versione 2.6.1 alla versione 3.25.1
io.airlift.aircompressor da 0,25 a 0,27
io.delta.delta-sharing-client_2.12 da 1.1.3 a 1.2.0
io.netty.netty-all dalla versione 4.1.96.Final alla versione 4.1.108.Final
io.netty.netty-buffer da 4.1.96.Final a 4.1.108.Final
io.netty.netty-codec da 4.1.96.Final a 4.1.108.Final
io.netty.netty-codec-http da 4.1.96.Final a 4.1.108.Final
io.netty.netty-codec-http2 da 4.1.96.Final a 4.1.108.Final
io.netty.netty-codec-socks da 4.1.96.Final a 4.1.108.Final
io.netty.netty-common da 4.1.96.Final a 4.1.108.Final
io.netty.netty-handler da 4.1.96.Final a 4.1.108.Final
io.netty.netty-handler-proxy da 4.1.96.Final a 4.1.108.Final
io.netty.netty-resolver da 4.1.96.Final a 4.1.108.Final
Trasporto io.netty.netty da 4.1.96.Final a 4.1.108.Final
io.netty.netty-transport-classes-epoll da 4.1.96.Final a 4.1.108.Final
io.netty.netty-transport-classes-kqueue da 4.1.96.Final a 4.1.108.Final
io.netty.netty-transport-native-epoll da 4.1.96.Final-linux-x86_64 a 4.1.108.Final-linux-x86_64
io.netty.netty-transport-native-kqueue da 4.1.96.Final-osx-x86_64 a 4.1.108.Final-osx-x86_64
io.netty.netty-transport-native-unix-common da 4.1.96.Final a 4.1.108.Final
org.apache.ivy.ivy da 2.5.1 a 2.5.2
org.apache.zookeeper.zookeeper da 3.6.3 a 3.9.2
org.apache.zookeeper.zookeeper-jute da 3.6.3 a 3.9.2
org.rocksdb.rocksdbjni da 8.11.4 a 9.2.1
org.scalactic.scalactic_2.12 dalla versione 3.2.15 alla versione 3.2.16
compatibile con org.scalatest.scalatest da 3.2.15 a 3.2.16
org.scalatest.scalatest-core_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-diagrams_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-featurespec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-flatspec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-freespec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-funspec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-funsuite_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-matchers-core_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-mustmatchers_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-propspec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-refspec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-shouldmatchers_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest-wordspec_2.12 da 3.2.15 a 3.2.16
org.scalatest.scalatest_2.12 dalla versione 3.2.15 alla versione 3.2.16
Apache Spark
Databricks Runtime 16.0 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.4 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
[SPARK-49093] [DBRRM-1371] Ripristinare "[SC-172958][SQL] GROUP BY con MapType nes...
[SPARK-49898] [DBRRM-1282][SC-178410] Correzione della documentazione e impostazione predefinita per il flag di registrazione delle metriche delle attività del registro eventi da SPARK-42204
[SPARK-49743] [ES-1260022][SI COMPORTA-157][SC-177475][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
[SPARK-49816] [SC-177896][SQL] Deve aggiornare solo il conteggio dei riferimenti in uscita per la relazione CTE esterna a cui si fa riferimento
[SPARK-48939] [SC-177022][SC-172766][AVRO] Supporto della lettura di Avro con riferimento allo schema ricorsivo
[SPARK-49688] [SC-177468][ES-1242349][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
[SPARK-49771] [SC-177466][PYTHON] Migliorare l'errore UDF dell'iter scalare Pandas quando le righe di output superano le righe di input
[SPARK-48866] [SC-170772][SQL] Correzione degli hint di un set di caratteri valido nel messaggio di errore di INVALID_PARAMETER_VALUE. CHARSET
[SPARK-48195] [FIXFORWARD][SC-177267][CORE] Salvare e riutilizzare RDD/Broadcast creato da SparkPlan
[SPARK-49585] [CONNECT] Sostituire il mapping delle esecuzioni in SessionHolder con operationID set
[SPARK-49211] [SC-174257][SQL] Catalogo V2 può supportare anche origini dati predefinite
[SPARK-49684] Ridurre al minimo la durata del blocco di ripristino della sessione
[SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Framework di log strutturato sul lato Java
[SPARK-48857] [SC-170661][SQL] Limitare i set di caratteri in CSVOptions
[SPARK-49152] [SC-173690][SQL] V2SessionCatalog deve usare V2Command
[SPARK-42846] [SC-176588][SQL] Rimuovere la condizione di errore _LEGACY_ERROR_TEMP_2011
[SPARK-48195] [SC-177267][CORE] Salvare e riutilizzare RDD/Broadcast creato da SparkPlan
[SPARK-49630] [SC-177379][SS] Aggiungere l'opzione flatten per elaborare i tipi di raccolta con lettore origine dati di stato
[SPARK-49699] [SC-177154][SS] Disabilitare PruneFilters per i carichi di lavoro di streaming
[SPARK-48781] [SC-175282][SQL] Aggiungere API del catalogo per il caricamento di stored procedure
[SPARK-49667] [SC-177068][SQL] Non consentire CS_AI collator con espressioni che usano StringSearch
[SPARK-49737] [SC-177207][SQL] Disabilitare il bucket sulle colonne collate in tipi complessi
[SPARK-48712] [SC-169794][SQL] Miglioramento delle prestazioni per la codifica con valori vuoti o set di caratteri UTF-8
[SPARK-49038] [SC-173933][SQL] SQLMetric deve segnalare il valore non elaborato nell'evento di aggiornamento dell'archivio
[SPARK-48541] [SC-169066][CORE] Aggiungere un nuovo codice di uscita per gli executor uccisi da TaskReaper
[SPARK-48774] [SC-170138][SQL] Usare SparkSession in SQLImplicits
[SPARK-49719] [SC-177139][SQL] Creare UUID e SHUFFLE accettare un numero intero seed
[SPARK-49713] [SC-177135][PYTHON][CONNECT] Rendere la funzione count_min_sketch accettare argomenti numerici
[SPARK-47601] [SC-162499][GRAPHX] Graphx: Eseguire la migrazione dei log con variabili al framework di registrazione strutturata
[SPARK-49738] [SC-177219][SQL] Endswith correzione di bug
[SPARK-48623] [SC-170822][CORE] Migrazioni di registrazione strutturata [Parte 3]
[SPARK-49677] [SC-177148][SS] Assicurarsi che anche i file del log delle modifiche vengano scritti in fase di commit e il flag forceSnapshot venga reimpostato
[SPARK-49684] [SC-177040][CONNECT] Rimuovere blocchi globali dai gestori di sessioni ed esecuzioni
[SPARK-48302] [SC-168814][PYTHON] Mantenere i valori Null nelle colonne di mapping nelle tabelle PyArrow
[SPARK-48601] [SC-169025][SQL] Assegnare un messaggio di errore più descrittivo quando si imposta un valore Null per l'opzione JDBC
[SPARK-48635] [SC-169263][SQL] Assegnare classi agli errori del tipo di join e all'errore di join
[SPARK-49673] [SC-177032][CONNECT] Aumentare CONNECT_GRPC_ARROW_MAX_BATCH_SIZE a 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
[SPARK-49693] [SC-177071][PYTHON][CONNECT] Perfezionare la rappresentazione di stringa di timedelta
[SPARK-49687] [SC-176901][SQL] Ritarda l'ordinamento in validateAndMaybeEvolveStateSchema
[SPARK-49718] [SC-177112][PS] Passare Scatter al tracciato ai dati campionati
[SPARK-48472] [SC-169044][SQL] Abilitare le espressioni reflect con stringhe collate
[SPARK-48484] [SC-167484][SQL] Correzione: V2Write usa lo stesso TaskAttemptId per diversi tentativi di attività
[SPARK-48341] [SC-166560][CONNECT] Consentire ai plug-in di usare QueryTest nei test
[SPARK-42252] [SC-168723][CORE] Aggiungere spark.shuffle.localDisk.file.output.buffer e deprecare spark.shuffle.unsafe.file.output.buffer
[SPARK-48314] [SC-166565][SS] Non raddoppiare i file della cache per FileStreamSource usando Trigger.AvailableNow
[SPARK-49567] [SC-176241][PYTHON] Usare classic anziché vanilla dalla codebase PySpark
[SPARK-48374] [SC-167596][PYTHON] Supporto di altri tipi di colonne di tabella PyArrow
[SPARK-48300] [SC-166481][SQL] Supporto di Codegen per from_xml
[SPARK-49412] [SC-177059][PS] Calcolare tutte le metriche del tracciato box in un singolo processo
[SPARK-49692] [SC-177031][PYTHON][CONNECT] Ridefinire la rappresentazione di stringa di date e datetime letterali
[SPARK-49392] [ES-1130351][SC-176705][SQL] Rilevare gli errori quando non è possibile scrivere in un'origine dati esterna
[SPARK-48306] [SC-166241][SQL] Migliorare il tipo definito dall'utente nel messaggio di errore
[SPARK-44924] [SC-166379][SS] Aggiungere la configurazione per i file memorizzati nella cache FileStreamSource
[SPARK-48176] [SC-165644][SQL] Modificare il nome della condizione di errore di FIELD_ALREADY_EXISTS
[SPARK-49691] [SC-176988][PYTHON][CONNECT] La funzione substring deve accettare nomi di colonna
[SPARK-49502] [SC-176077][CORE] Evitare NPE in SparkEnv.get.shuffleManager.unregisterShuffle
[SPARK-49244] [SC-176703][SQL] Ulteriori miglioramenti delle eccezioni per parser/interprete
[SPARK-48355] [SC-176684][SQL] Supporto per l'istruzione CASE
[SPARK-49355] [SC-175121][SQL] levenshtein deve verificare se i collation valori di tutti i tipi di parametro sono uguali
[SPARK-49640] [SC-176953][PS] Applicare il campionamento del serbatoio in SampledPlotBase
[SPARK-49678] [SC-176857][CORE] Supporto spark.test.master in SparkSubmitArguments
[SPARK-49680] [SC-176856][PYTHON] Limitare il Sphinx parallelismo di compilazione a 4 per impostazione predefinita
[SPARK-49396] Ripristinare "[SC-176030][SQL] Modificare il controllo dei valori Null per l'espressione CaseWhen"
[SPARK-49556] [SC-176757][SQL] Aggiungere la sintassi della pipe SQL per l'operatore SELECT
[SPARK-49438] [SC-175237][SQL] Correggere il bel nome dell'espressione &FromAvroToAvro
[SPARK-49659] [SC-1229924][SQL] Aggiungere un errore utile per le sottoquery scalari all'interno della clausola VALUES
[SPARK-49646] [SC-176778][SQL] Correzione della decorazione della sottoquery per le operazioni union/set quando parentOuterReferences non include riferimenti non trattati in collectedChildOuterReferences
[SPARK-49354] [SC-175034][SQL] split_part deve verificare se i collation valori di tutti i tipi di parametro sono uguali
[SPARK-49478] [SC-175914][CONNECT] Gestire le metriche null in ConnectProgressExecutionListener
[SPARK-48358] [SC-176374][SQL] Supporto per l'istruzione REPEAT
[SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable deve rispettare PROP_IS_MANAGED_LOCATION
[SPARK-49611] [SC-176791][SQL] Introdurre TVF collations() e rimuovere il SHOW COLLATIONS comando
[SPARK-49261] [SC-176589][SQL] Non sostituire i valori letterali nelle espressioni di aggregazione con espressioni group-by
[SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve rispettare il catalogo di sessioni personalizzato
[SPARK-49594] [SC-176569][SS] Aggiunta di un controllo per verificare se columnFamilies è stato aggiunto o rimosso per scrivere il file StateSchemaV3
[SPARK-49578] [SC-176385][SQL] Rimuovere il suggerimento di configurazione ANSI in CAST_INVALID_INPUT e CAST_OVERFLOW
[SPARK-48882] [SC-174256][SS] Assegnare nomi alle classi di errore correlate alla modalità di output di streaming
[SPARK-49155] [SC-176506][SQL][SS] Usare un tipo di parametro più appropriato per costruire GenericArrayData
[SPARK-49519] [SC-176388][SQL] Unire le opzioni di tabella e relazione durante la costruzione di FileScanBuilder
[SPARK-49591] [SC-176587][SQL] Aggiungere la colonna Tipo logico al readme variant
[SPARK-49596] [SC-176423][SQL] Migliorare le prestazioni di FormatString
[SPARK-49525] [SC-176044][SS][CONNECT] Miglioramento del log secondario al listener listener del listener di query di streaming lato server
[SPARK-49583] [SC-176272][SQL] Definire la condizione secondaria SECONDS_FRACTION di errore per il modello frazionario di secondi non validi
[SPARK-49536] [SC-176242] Gestire l'errore nel prelettura del record dell'origine dati di streaming Python
[SPARK-49443] [SC-176273][SQL][PYTHON] Implementare l'espressione to_variant_object e creare espressioni schema_of_variant stampare OBJECT per oggetti Variant
[SPARK-49544] [SASP-3990][SC-176557][CONNECT] Sostituire il blocco grossolano in SparkConnectExecutionManager con ConcurrentMap
[SPARK-49548] [SASP-3990][SC-176556][CONNECT] Sostituire il blocco grossolano in SparkConnectSessionManager con ConcurrentMap
[SPARK-49551] [SC-176218][SS] Migliorare il log di RocksDB per replayChangelog
[SPARK-49595] [SC-176396][CONNECT][SQL] Correzione DataFrame.unpivot/melt in Spark Connect Scala Client
[SPARK-49006] [SC-176162] Implementare l'eliminazione dei file OperatorStateMetadataV2 e StateSchemaV3
[SPARK-49600] [SC-176426][PYTHON] Rimuovere Python 3.6 and olderla logica correlata da try_simplify_traceback
[SPARK-49303] [SC-176013][SS] Implementare TTL per ValueState nell'API transformWithStateInPandas
[SPARK-49191] [SC-176243][SS] Aggiunta del supporto per la lettura delle variabili di stato della mappa TransformWithState con lettore origine dati di stato
[SPARK-49593] [SC-176371][SS] Generare un'eccezione RocksDB al chiamante nella chiusura del database se viene visualizzato un errore
[SPARK-49334] [SC-174803][SQL] str_to_map deve verificare se i collation valori di tutti i tipi di parametro sono uguali
[SPARK-42204] [SC-176126][CORE] Aggiungere l'opzione per disabilitare la registrazione ridondante di TaskMetrics interni nei registri eventi
[SPARK-49575] [SC-176256][SS] Aggiungere la registrazione per la versione di blocco solo se acquiredThreadInfo non è null
[SPARK-49539] [SC-176250][SS] Aggiornare l'identificatore iniziale delle famiglie di regole di confronto interne a uno diverso
[SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning deve ereditare HashPartitioningLike
[SPARK-49396] [SC-176030][SQL] Modificare il controllo dei valori Null per l'espressione CaseWhen
[SPARK-49476] [SC-175700][SQL] Correzione del valore Nullbility della funzione base64
[SPARK-47262] [SC-174829][SQL] Assegnare nomi a condizioni di errore per le conversioni parquet
[SPARK-47247] [SC-158349][SQL] Usare dimensioni di destinazione inferiori durante l'unione di partizioni con join esplodenti
[SPARK-49501] [SC-176166][SQL] Correzione dell'escape doppio della posizione della tabella
[SPARK-49083] [SC-173214][CONNECT] Consentire from_xml e from_json di usare in modo nativo gli schemi JSON
[SPARK-49043] [SC-174673][SQL] Correzione del gruppo codepath interpretato in base alla mappa contenente stringhe con regole di confronto
[SPARK-48986] [SC-172265][CONNECT][SQL] Aggiungere una rappresentazione intermedia columnnode
[SPARK-49326] [SC-176016][SS] Classe Classify Error per l'errore della funzione utente sink Foreach
[SPARK-48348] [SC-175950][SPARK-48376][SQL] Introdurre LEAVE istruzioni e ITERATE
[SPARK-49523] [SC-175949][CONNECT] Aumentare il tempo di attesa massimo per il completamento del server di connessione per il test
[SPARK-49000] [BEHAVE-105][ES-1194747][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates - DBR versione 16.x
[SPARK-49311] [SC-175038][SQL] È possibile eseguire il cast dei valori 'interval second' di grandi dimensioni su decimale
[SPARK-49200] [SC-173699][SQL] Correzione dell'eccezione di ordinamento non codegen di tipo Null
[SPARK-49467] [SC-176051][SS] Aggiunta del supporto per il lettore e lo stato dell'elenco dell'origine dati di stato
[SPARK-47307] [SC-170891][SQL] Aggiungere una configurazione alle stringhe base64 in blocchi facoltativamente
[SPARK-49391] [SC-176032][PS] Box plot select outliers by distance from fences
[SPARK-49445] [SC-175845][interfaccia utente] Support show tooltip (Mostra descrizione comando) nella barra di stato dell'interfaccia utente
[SPARK-49451] [SC-175702] Consenti chiavi duplicate in parse_json.
[SPARK-49275] [SC-175701][SQL] Correzione dell'nullità del tipo restituito dell'espressione xpath
[SPARK-49021] [SC-175578][SS] Aggiunta del supporto per la lettura delle variabili di stato del valore transformWithState con lettore origine dati di stato
[SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
[SPARK-49408] [SC-175932][SQL] Usare IndexedSeq in ProjectingInternalRow
[SPARK-49509] [SC-175853][CORE] Usare Platform.allocateDirectBuffer invece di ByteBuffer.allocateDirect
[SPARK-49382] [SC-175013][PS] Creare un tracciato box frame per eseguire correttamente il rendering dei volantini/outlier
[SPARK-49002] [SC-172846][SQL] Gestire in modo coerente percorsi non validi in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
[SPARK-49480] [SC-175699][CORE] Correzione di NullPointerException da SparkThrowableHelper.isInternalError
[SPARK-49477] [SC-175828][PYTHON] Miglioramento del messaggio di errore del tipo restituito non valido di pandas udf
[SPARK-48693] [SC-169492][SQL] Semplificare e unificare toString di Invoke e StaticInvoke
[SPARK-49441] [SC-175716][ML] StringIndexer ordinare matrici in executor
[SPARK-49357] [SC-175227][CONNECT][PYTHON] Tronca verticalmente il messaggio protobuf annidato in senso verticale
[SPARK-41982] [SC-120604][SQL] Le partizioni di tipo string non devono essere considerate come tipi numerici
[SPARK-48776] [SC-170452][SI COMPORTA-72] Correzione della formattazione del timestamp per json, xml e csv
[SPARK-49223] [SC-174800][ML] Semplificare StringIndexer.countByValue con funzioni predefinite
[SPARK-49016] Ripristinare "[SC-174663][SQL] Ripristinare il comportamento non consentito dalle query dai file CSV non elaborati quando includere solo la colonna di record danneggiati e assegnare il nome a _LEGACY_ERROR_TEMP_1285"
[SPARK-49041] [SC-172392][PYTHON][CONNECT] Genera un errore appropriato per dropDuplicates quando viene specificato un errore subset
[SPARK-49050] [SC-175235] Abilitazione dell'operatore deleteIfExists in TWS con famiglie di colonne virtuali
[SPARK-49216] [SC-173919][CORE]Correzione per non registrare il contesto del messaggio con LogEntry costruito in modo esplicito quando la registrazione strutturata è disattivata
[SPARK-49252] [SC-175596][CORE] RendereTaskSetExcludeList e HeathTracker indipendenti
[SPARK-49352] [SC-174971][SQL] Evitare la trasformazione di matrice ridondante per un'espressione identica
[SPARK-42307] [SC-173863][SQL] Assegnare il nome per l'errore _LEGACY_ERROR_TEMP_2232
[SPARK-49197] [SC-173732][CORE] Redact output in module (Redact Spark Command output in module)launcher
[SPARK-48913] [SC-173934][SQL] Implementare il rientroXMLStreamWriter
[SPARK-49306] [SC-175363][PYTHON][SQL] Creare alias di funzione SQL per 'zeroifnull' e 'nullifzero'
[SPARK-48344] [SQL] Esecuzione di script SQL (incluso Spark Connect)
[SPARK-49402] [SC-175122][PYTHON] Correzione dell'integrazione di Binder nella documentazione di PySpark
[SPARK-49017] [SC-174664][SQL] L'istruzione Insert ha esito negativo quando vengono usati più parametri
[SPARK-49318] [SC-174733][SQL] Preempt low priority error on LCA until end of check analysis to improve error experience (Preempt low priority error on LCA until end of check analysis to improve error experience) (Preempt low priority error on LCA until end of check analysis to improve error
[SPARK-49016] [SC-174663][SQL] Ripristinare il comportamento che le query dai file CSV non elaborati non sono consentite quando includono solo la colonna record danneggiata e assegnano il nome a _LEGACY_ERROR_TEMP_1285
[SPARK-49387] [SC-175124][PYTHON] Correzione dell'hint per accuracy il tipo in percentile_approx e approx_percentile
[SPARK-49131] [SC-174666][SS] TransformWithState deve impostare correttamente le chiavi di raggruppamento implicite anche con iteratori lazy
[SPARK-49301] [SC-174795][SS] Blocchi di dati freccia passati al ruolo di lavoro Python
[SPARK-49039] [SC-174651][interfaccia utente] Casella di controllo Reimposta quando le metriche dell'executor vengono caricate nella scheda Fasi
[SPARK-48428] [SC-169806][SQL]: Fix IllegalStateException in NestedColumnAliasing
[SPARK-49353] [SC-174830][SQL] Aggiornare la documentazione correlata alla UTF-32 codifica/decodifica
[SPARK-48613] [SC-170966][SQL] SPJ: supporta lo shuffle automatico di un lato + meno chiavi di join rispetto alle chiavi di partizione
[SPARK-47473] [SC-160450][SI COMPORTA-127][SQL] Correzione del problema di correzione della conversione dei timestamp postgres INFINITY
[SPARK-49142] [SC-173658][CONNECT][PYTHON] Completamento per ripristinare il costo delle prestazioni di proto a stringa
[SPARK-49300] [SC-175008][CORE] Correzione della perdita di token di delega Hadoop quando tokenRenewalInterval non è impostato.
[SPARK-49367] [SC-175012][PS] Parallelizzare il calcolo DIAPI per più colonne (back-end tracciato)
[SPARK-49365] [SC-175011][PS] Semplificare l'aggregazione di bucket nel tracciato hist
[SPARK-49372] [SC-175003][SS] Assicurarsi che latestSnapshot sia impostato su nessuno in prossimità per evitare l'uso successivo
[SPARK-49341] [SC-174785] Rimuovere connector/docker a favore di Apache Spark Operator
[SPARK-49344] [SC-174894][PS] Supporto json_normalize per l'API Pandas in Spark
[SPARK-49306] [SC-174794][SQL] Creare nuove funzioni SQL 'zeroifnull' e 'nullifzero'
[SPARK-48796] [SC-174668][SS] Carica ID famiglia di colonne da RocksDBCheckpointMetadata per VCF al riavvio
[SPARK-49342] [SC-174899][SQL] Rendere facoltativo TO_AVRO funzione SQL 'jsonFormatSchema'
[SPARK-48628] [SC-174695][CORE] Aggiungere le metriche di memoria dell'heap on/off delle attività
[SPARK-47407] [SC-159379][SI COMPORTA-126][SQL] Supporto del mapping di java.sql.Types.NULL a NullType
[SPARK-48628] [SC-173407][CORE] Aggiungere le metriche di memoria dell'heap on/off delle attività
[SPARK-49166] [SC-173987][SQL] Supporto di OFFSET nella sottoquery correlata
[SPARK-49269] [SC-174676][SQL] Elenco Eagerly evaluate VALUES() in AstBuilder
[SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes with getBytesUnsafe per evitare costi di copia
[SPARK-49113] [SC-174734] Non asserire sui bug di traduzione: ingoiare in modo invisibile all'utente l'eccezione
[SPARK-49098] [SC-173253][SQL] Aggiungere opzioni di scrittura per INSERT
[SPARK-48638] [SC-174694][FOLLOW][CONNECT] Correzione della documentazione per ExecutionInfo
[SPARK-49250] [ES-1222826][SQL] Migliorare il messaggio di errore per UnresolvedWindowExpression annidato in CheckAnalysis
[SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark implementazione di base e supporto di ValueState
[SPARK-48966] [SC-174329][SQL] Migliorare il messaggio di errore con riferimenti di colonna non risolti non validi nella chiamata UDTF
[SPARK-46590] [SC-154115][SQL] Correzione dell'unione non riuscita con indeci di partizione imprevista
[SPARK-49235] [SC-174159][SQL] Eseguire il refactoring della regola ResolveInlineTables in modo che non attraversi l'intero albero
[SPARK-49060] [SC-173107][CONNECT] Pulire le regole Mima per i controlli di compatibilità binari di SQL-Connect
[SPARK-48762] [SC-172525][SQL] Introduzione all'API ClusterBy DataFrameWriter per Python
[SPARK-49207] [SC-173852][SQL] Correzione del mapping di maiuscole e minuscole uno-a-molti in SplitPart e StringSplitSQL
[SPARK-49204] [SC-173850][SQL] Correggere la gestione delle coppie di surrogati in StringInstr e StringLocate
[SPARK-36680] [SC-170640][SQL] Supporta opzioni di tabella dinamica per Spark SQL
[SPARK-49204] [SC-173849][SQL] Correzione della gestione delle coppie di surrogati in SubstringIndex
[SPARK-49204] [SC-173848][SQL] Correzione della gestione delle coppie di surrogati in StringTrim
[SPARK-48967] [SC-173993]Correzione del test di SparkConfigOwnershipSuite per OPTIMIZE_INSERT_INTO_VALUES_PARSER
[SPARK-49204] [SC-173851][SQL] Correggere la gestione delle coppie di surrogati in StringReplace
[SPARK-48967] [SC-173993][SQL][16.x] Migliorare le prestazioni e il footprint di memoria di "INSERT INTO ... Istruzioni VALUES"
[SPARK-48347] [SC-173812][SQL] Supporto per l'istruzione WHILE
[SPARK-49128] [SC-173344][CORE] Supporto del titolo dell'interfaccia utente del server cronologia personalizzato
[SPARK-49146] [SC-173825][SS] Spostare gli errori di asserzione correlati alla filigrana mancante nelle query di streaming in modalità accodamento nel framework degli errori
[SPARK-45787] [SC-172197][SQL] Supporto di Catalog.listColumns per le colonne di clustering
[SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve rispettare il catalogo di sessioni personalizzato
[SPARK-49138] [SC-173483][SQL] Correzione di collationTypeCast di diverse espressioni
[SPARK-49163] [SC-173666][SQL] Il tentativo di creare una tabella in base ai risultati dei dati della partizione Parquet interrotti deve restituire un errore rivolto all'utente
[SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Tracciato di ripetizione hist con Spark SQL
[SPARK-49188] [SC-173682][SQL] Errore interno in concat_ws chiamato su matrice di matrici di stringhe
[SPARK-49137] [SC-173677][SQL] Quando la condizione booleana in if statement non è valida, deve essere generata un'eccezione
[SPARK-49193] [SC-173672][SQL] Migliorare le prestazioni di RowSetUtils.toColumnBasedSet
[SPARK-49078] [SC-173078][SQL] Supporto mostra la sintassi delle colonne nella tabella v2
[SPARK-49141] [SC-173388][SQL] Contrassegnare variant come tipo di dati incompatibile hive
[SPARK-49059] [Cherry-Pick][15.x][SC-172528][CONNECT] Passare SessionHolder.forTesting(...) al pacchetto di test
[SPARK-49111] [SC-173661][SQL] Sposta conProjectAndFilter nell'oggetto complementare di DataSourceV2Strategy
[SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Tracciato di ripetizione kde con Spark SQL
[SPARK-49178] [SC-173673][SQL] Ottimizzare le prestazioni di Row#getSeq in modo che corrispondano alle prestazioni quando si usa Spark 3.5 con Scala 2.12
[SPARK-49093] [SC-172958][SQL] GROUP BY con MapType annidato all'interno di un tipo complesso
[SPARK-49142] [SC-173469][CONNECT][PYTHON] Livello di log client di Spark Connect inferiore per il debug
[SPARK-48761] [SC-172048][SQL] Introduzione all'API ClusterBy DataFrameWriter per Scala
[SPARK-48346] [SC-173083][SQL] Supporto per istruzioni IF ELSE negli script SQL
[SPARK-48338] [SC-173112][SQL] Migliorare le eccezioni generate dal parser/interprete
[SPARK-48658] [SC-169474][SQL] Le funzioni Encode/Decode segnalano errori di codifica anziché mojibake per i caratteri non validi
[SPARK-49071] [SC-172954][SQL] Rimuovere il tratto ArraySortLike
[SPARK-49031] [SC-172602] Implementare la convalida per l'operatore TransformWithStateExec usando OperatorStateMetadataV2
[SPARK-49053] [SC-172494][PYTHON][ML] Rendere le funzioni helper di salvataggio/caricamento del modello accettare la sessione Spark
[SPARK-49032] [Backport][15.x][SS] Aggiungere il percorso dello schema nella voce della tabella di metadati, verificare la versione prevista e aggiungere il test correlato ai metadati dell'operatore per il formato dei metadati dell'operatore v2
[SPARK-49034] [SC-172306][CORE] Supporto della sostituzione lato sparkProperties server nell'API di invio REST
[SPARK-48931] [SC-171895][SS] Ridurre il costo dell'API dell'elenco di cloud store per l'attività di manutenzione dell'archivio stati
[SPARK-48849] [SC-172068][SS]Creare OperatorStateMetadataV2 per l'operatore TransformWithStateExec
[SPARK-49013] [SC-172322] Modificare la chiave nelle regole di confrontoMap per i tipi map e array in scala
[SPARK-48414] [SC-171884][PYTHON] Correzione di una modifica che causa un'interruzione in Python fromJson
[SPARK-48910] [SC-171001][SQL] Usare HashSet/HashMap per evitare ricerche lineari in PreprocessTableCreation
[SPARK-49007] [SC-172204][CORE] Miglioramento MasterPage per supportare il titolo personalizzato
[SPARK-49009] [SC-172263][SQL][PYTHON] Rendere le API e le funzioni di colonna accettare enumerazioni
[SPARK-49033] [SC-172303][CORE] Supporto della sostituzione lato environmentVariables server nell'API di invio REST
[SPARK-48363] [SC-166470][SQL] Pulire alcuni codici ridondanti in from_xml
[SPARK-46743] [SC-170867][SQL][BEHAVE-84] Bug count after ScalarSubqery is folded if it has an empty relation
[SPARK-49040] [SC-172351][SQL] Correggere la documentazione sql-ref-syntax-aux-exec-imm.md
[SPARK-48998] [SC-172212][ML] Meta algoritmi di salvataggio/caricamento del modello con SparkSession
[SPARK-48959] [SC-171708][SQL] NoSuchDatabaseException Estendere NoSuchNamespaceException per ripristinare la gestione delle eccezioni
[SPARK-48996] [SC-172130][SQL][PYTHON] Consenti valori letterali bare per e e o di Colonna
[SPARK-48990] [SC-171936] Completamento di #101759 - Correzione di test
[SPARK-48338] [SC-171912][SQL] Controllare le dichiarazioni di variabili
[SPARK-48990] [SC-171936][SQL] Parole chiave della sintassi SQL correlate alle variabili unificate
[SPARK-48988] [SC-171915][ML] Creare DefaultParamsReader/Writer l'handle dei metadati con la sessione Spark
[SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Usare SparkSession.implicits invece di SQLContext.implicits
[SPARK-48760] [SC-170870][SQL] Correzione di CatalogV2Util.applyClusterByChanges
[SPARK-48928] [SC-171956] Avviso del log per la chiamata a .unpersist() nei set di dati RDD con checkpoint locale
[SPARK-48760] [SC-170139][SQL] Introduzione a ALTER TABLE ... Sintassi CLUSTER BY SQL per modificare le colonne di clustering
[SPARK-48844] Ripristinare "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION anziché UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando il percorso è vuoto"
[SPARK-48833] [SC-171914][SQL][VARIANT] Variante di supporto in InMemoryTableScan
[SPARK-48975] [SC-171894][PROTOBUF] Rimuovere la definizione non necessaria ScalaReflectionLock da protobuf
[SPARK-48970] [SC-171800][PYTHON][ML] Evitare di usare SparkSession.getActiveSession in spark ML reader/writer
[SPARK-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION anziché UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando il percorso è vuoto
[SPARK-48714] [SC-170136] Correzione di test df.mergeInto non riusciti in PySpark e UC
[SPARK-48957] [SC-171797][SS] Restituisce una classe di errore secondaria classificata sul carico dell'archivio stati per il provider hdfs e rocksdb
[SPARK-48891] [Backport][15x][SC-171677][SS] Effettuare il refactoring di StateSchemaCompatibilityChecker per unificare tutti i formati dello schema di stato
[SPARK-48972] [SC-171795][PYTHON] Unificare la gestione delle stringhe letterali nelle funzioni
[SPARK-48388] [SC-171337][SQL] Correzione del comportamento dell'istruzione SET per gli script SQL
[SPARK-48743] [SC-170552][SQL][SS] MergeSessionIterator dovrebbe gestire meglio quando getStruct restituisce Null
[SPARK-48623] [15.x][SC-171322][CORE] Eseguire la migrazione dei log di FileAppender alla registrazione strutturata
[SPARK-36680] [DBRRM-1123] Ripristinare "[SC-170640][SQL] Supporta opzioni di tabella dinamiche per Spark SQL"
[SPARK-48841] [SC-170868][SI COMPORTA-83][SQL] Includi collationName a sql() di Collate
[SPARK-48941] [SC-171703][PYTHON][ML] Sostituire la chiamata all'API di lettura/scrittura RDD con l'API di lettura/scrittura del dataframe
[SPARK-48938] [SC-171577][PYTHON] Migliorare i messaggi di errore durante la registrazione delle funzioni definite dall'utente python
[SPARK-48350] [SC-171040][SQL] Introduzione di eccezioni personalizzate per lo scripting SQL
[SPARK-48907] [SC-171158][SQL] Correggere il valore explicitTypes in COLLATION_MISMATCH.EXPLICIT
[SPARK-48945] [SC-171658][PYTHON] Semplificare le funzioni regex con lit
[SPARK-48944] [SC-171576][CONNECT] Unificare la gestione dello schema in formato JSON in Connect Server
[SPARK-48836] [SC-171569] Integrare lo schema SQL con schema/metadati dello stato
[SPARK-48946] [SC-171504][SQL] NpE nel metodo redact quando la sessione è Null
[SPARK-48921] [SC-171412][SQL] I codificatori ScalaUDF nella sottoquery devono essere risolti per MergeInto
[SPARK-45155] [SC-171048][CONNECT] Aggiungere la documentazione api per JVM Spark Connect/Client Scala
[SPARK-48900] [SC-171319] Aggiungi reason campo per cancelJobGroup e cancelJobsWithTag
[SPARK-48865] [SC-171154][SQL] Aggiungere try_url_decode funzione
[SPARK-48851] [SC-170767][SQL] Modificare il valore di SCHEMA_NOT_FOUND da namespace a catalog.namespace
[SPARK-48510] [SC-170893][2/2] Supportare l'API UDAF toColumn in Spark Connect
[SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Creare from_xml uno schema StructType di supporto
[SPARK-48930] [SC-171304][CORE] Redact by including pattern (Redact awsAccessKeyId by including accesskey pattern)
[SPARK-48909] [SC-171080][ML][MLLIB] Usa SparkSession su SparkContext durante la scrittura di metadati
[SPARK-48883] [SC-171133][ML][R] Sostituire la chiamata all'API di lettura/scrittura RDD con l'API di lettura/scrittura del dataframe
[SPARK-48924] [SC-171313][PS] Aggiungere una funzione helper simile make_interval a pandas
[SPARK-48884] [SC-171051][PYTHON] Rimuovere la funzione helper inutilizzata PythonSQLUtils.makeInterval
[SPARK-48817] [SC-170636][SQL] Eseguire con entusiasmo più comandi di unione insieme
[SPARK-48896] [SC-171079][ML][MLLIB] Evitare la ripartizione durante la scrittura dei metadati
[SPARK-48892] [SC-171127][ML] Evitare la lettura dei parametri per riga in Tokenizer
[SPARK-48927] [SC-171227][CORE] Mostra il numero di RDD memorizzati nella cache in StoragePage
[SPARK-48886] [15.x][Backport][SC-171039][SS] Aggiungere informazioni sulla versione al log delle modifiche v2 per semplificare l'evoluzione
[SPARK-48903] [SC-171136][SS] Impostare correttamente l'ultima versione dello snapshot di RocksDB nel caricamento remoto
[SPARK-48742] [SC-170538][SS] Famiglia di colonne virtuali per RocksDB
[SPARK-48726] [15.x][SC-170753][SS] Creare il formato di file StateSchemaV3 e scriverne il codice per l'operatore TransformWithStateExec
[SPARK-48794] [SC-170882][CONNECT][15.x] Supporto di df.mergeInto per Spark Connect (Scala e Python)
[SPARK-48714] [SC-170136][PYTHON] Implementare DataFrame.mergeInto in PySpark
[SPARK-48772] [SC-170642][SS][SQL] Modalità lettore feed di modifiche origine dati stato
[SPARK-48666] [SC-170887][SQL] Non eseguire il push del filtro se contiene funzioni definite dall'utente Python
[SPARK-48845] [SC-170889][SQL] GenericUDF intercetta le eccezioni dagli elementi figlio
[SPARK-48880] [SC-170974][CORE] Evitare di generare NullPointerException se l'inizializzazione del plug-in del driver non riesce
[SPARK-48888] [Backport][15x][SC-170973][SS] Rimuovere la creazione di snapshot in base alle dimensioni delle operazioni del log delle modifiche
[SPARK-48871] [SC-170876] Correzione della convalida INVALID_NON_DETERMINISTIC_EXPRESSIONS in...
[SPARK-48883] [SC-170894][ML][R] Sostituire la chiamata all'API di lettura/scrittura RDD con l'API di lettura/scrittura del dataframe
[SPARK-36680] [SC-170640][SQL] Supporta opzioni di tabella dinamica per Spark SQL
[SPARK-48804] [SC-170558][SQL] Aggiungere classIsLoadable & OutputCommitter.isAssignableFrom verificare la presenza di configurazioni della classe commiter di output
[SPARK-46738] [SC-170791][PYTHON] Riabilitare un gruppo di documenti
[SPARK-48858] [SC-170756][PYTHON] Rimuovere la chiamata al metodo deprecata setDaemon di Thread in log_communication.py
[SPARK-48639] [SC-169801][CONNECT][PYTHON] Aggiungi origine a RelationCommon
[SPARK-48863] [SC-170770][ES-1133940][SQL] Correzione di ClassCastException quando si analizza JSON con "spark.sql.json.enablePartialResults" abilitato
[SPARK-48343] [SC-170450][SQL] Introduzione all'interprete di scripting SQL
[SPARK-48529] [SC-170755][SQL] Introduzione delle etichette negli script SQL
[SPARK-45292] Ripristinare "[SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader"
[SPARK-48037] [SC-165330][CORE][3.5] Correzione di SortShuffleWriter non dispone di metriche correlate alla scrittura casuale, causando dati potenzialmente imprecisi
[SPARK-48720] [SC-170551][SQL] Allineare il comando ALTER TABLE ... UNSET TBLPROPERTIES ... in v1 e v2
[SPARK-48485] [SC-167825][CONNECT][SS] Supporto di interruptTag e interruptAll nelle query di streaming
[SPARK-45292] [SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader
[SPARK-48668] [SC-169815][SQL] Supporto di ALTER NAMESPACE ... PROPRIETÀ UNSET nella versione 2
[SPARK-47914] [SC-165313][SQL] Non visualizzare il parametro splits in Range
[SPARK-48807] [SC-170643][SQL] Supporto binario per l'origine dati CSV
[SPARK-48220] [SC-167592][PYTHON][15.X] Consenti il passaggio della tabella PyArrow a createDataFrame()
[SPARK-48545] [SC-169543][SQL] Creare to_avro e from_avro funzioni SQL in modo che corrispondano agli equivalenti del dataframe
[SPARK-47577] [SC-168875][SPARK-47579] Correggere l'utilizzo fuorviante della chiave di log TASK_ID
Supporto del driver ODBC/JDBC di Databricks
Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).
Ambiente di sistema
Sistema operativo: Ubuntu 24.04.1 LTS
Java: Zulu17.50+19-CA
Scala: 2.12.18
Python: 3.12.3
R: 4.4.0
Delta Lake: 3.2.1
Librerie Python installate
Library
Versione
Library
Versione
Library
Versione
tipi annotati
0.7.0
asttoken
2.0.5
astunparse
1.6.3
comando automatico
2.2.2
azure-core
1.31.0
azure-storage-blob
12.23.0
azure-storage-file-datalake
12.17.0
backports.tarfile
1.2.0
black
24.4.2
blinker
1.7.0
boto3
1.34.69
botocore
1.34.69
cachetools
5.3.3
certifi
2024.6.2
cffi
1.16.0
chardet
4.0.0
charset-normalizer
2.0.4
click
8.1.7
cloudpickle
2.2.1
serv
0.2.1
contourpy
1.2.0
cryptography
42.0.5
cycler
0.11.0
Cython
3.0.11
databricks-sdk
0.30.0
dbus-python
1.3.2
debugpy
1.6.7
decorator
5.1.1
Deprecato
1.2.14
distlib
0.3.8
docstring-to-markdown
0.11
entrypoints
0.4
executing
0.8.3
facet-overview
1.1.1
filelock
3.15.4
fonttools
4.51.0
gitdb
4.0.11
GitPython
3.1.37
google-api-core
2.20.0
google-auth
2.35.0
google-cloud-core
2.4.1
google-cloud-storage
2.18.2
google-crc32c
1.6.0
google-resumable-media
2.7.2
googleapis-common-protos
1.65.0
grpcio
1.60.0
grpcio-status
1.60.0
httplib2
0.20.4
idna
3.7
importlib-metadata
6.0.0
importlib_resources
6.4.0
flettere
7.3.1
ipyflow-core
0.0.198
ipykernel
6.28.0
ipython
8.25.0
ipython-genutils
0.2.0
ipywidgets
7.7.2
isodate
0.6.1
jaraco.context
5.3.0
jaraco.functools
4.0.1
jaraco.text
3.12.1
jedi
0.19.1
jmespath
1.0.1
joblib
1.4.2
jupyter_client
8.6.0
jupyter_core
5.7.2
kiwisolver
1.4.4
launchpadlib
1.11.0
lazr.restfulclient
0.14.6
lazr.uri
1.0.6
matplotlib
3.8.4
matplotlib-inline
0.1.6
mccabe
0.7.0
mlflow-skinny
2.15.1
more-itertools
10.3.0
mypy
1.10.0
mypy-extensions
1.0.0
nest-asyncio
1.6.0
nodeenv
1.9.1
numpy
1.26.4
oauthlib
3.2.2
opentelemetry-api
1.27.0
opentelemetry-sdk
1.27.0
opentelemetry-semantic-conventions
0.48b0
packaging
24.1
pandas
1.5.3
parso
0.8.3
pathspec
0.10.3
patsy
0.5.6
pexpect
4.8.0
pillow
10.3.0
pip
24.2
platformdirs
3.10.0
plotly
5.22.0
pluggy
1.0.0
prompt-toolkit
3.0.43
proto-plus
1.24.0
protobuf
4.24.1
psutil
5.9.0
psycopg2
2.9.3
ptyprocess
0.7.0
pure-eval
0.2.2
pyarrow
15.0.2
pyasn1
0.4.8
pyasn1-modules
0.2.8
pyccolo
0.0.52
pycparser
2.21
pydantic
2.8.2
pydantic_core
2.20.1
pyflakes
3.2.0
Pygments
2.15.1
PyGObject
3.48.2
PyJWT
2.7.0
pyodbc
5.0.1
pyparsing
3.0.9
pyright
1.1.294
python-dateutil
2.9.0.post0
python-lsp-jsonrpc
1.1.2
python-lsp-server
1.10.0
pytoolconfig
1.2.6
pytz
2024.1
PyYAML
6.0.1
pyzmq
25.1.2
requests
2.32.2
rope
1.12.0
rsa
4.9
s3transfer
0.10.2
scikit-learn
1.4.2
scipy
1.13.1
seaborn
0.13.2
setuptools
74.0.0
six
1.16.0
smmap
5.0.0
sqlparse
0.5.1
ssh-import-id
5.11
stack-data
0.2.0
statsmodels
0.14.2
tenacity
8.2.2
threadpoolctl
2.2.0
tokenize-rt
4.2.1
tomli
2.0.1
tornado
6.4.1
traitlets
5.14.3
typeguard
4.3.0
types-protobuf
3.20.3
types-psutil
5.9.0
types-pytz
2023.3.1.1
types-PyYAML
6.0.0
richieste di tipi
2.31.0.0
types-setuptools
68.0.0.0
tipi-sei
1.16.0
types-urllib3
1.26.25.14
typing_extensions
4.11.0
ujson
5.10.0
aggiornamenti automatici
0.1
urllib3
1.26.16
virtualenv
20.26.2
wadllib
1.3.6
wcwidth
0.2.5
whatthepatch
1.0.2
wheel
0.43.0
wrapt
1.14.1
yapf
0.33.0
zipp
3.17.0
Librerie R installate
Le librerie R vengono installate dallo snapshot posit Gestione pacchetti CRAN.
Library
Versione
Library
Versione
Library
Versione
freccia
16.1.0
askpass
1.2.0
assertthat
0.2.1
backports
1.5.0
base
4.4.0
base64enc
0.1-3
bigD
0.2.0
bit
4.0.5
bit64
4.0.5
bitops
1.0-8
blob
1.2.4
boot
1.3-30
brew
1.0-10
brio
1.1.5
Scopa
1.0.6
bslib
0.8.0
cachem
1.1.0
callr
3.7.6
caret
6.0-94
cellranger
1.1.0
chron
2.3-61
class
7.3-22
cli
3.6.3
clipr
0.8.0
clock
0.7.1
cluster
2.1.6
codetools
0.2-20
colorspace
2.1-1
commonmark
1.9.1
compilatore
4.4.0
config
0.3.2
in conflitto
1.2.0
cpp11
0.4.7
crayon
1.5.3
credentials
2.0.1
curl
5.2.1
data.table
1.15.4
datasets
4.4.0
DBI
1.2.3
dbplyr
2.5.0
desc
1.4.3
devtools
2.4.5
diagramma
1.6.5
diffobj
0.3.5
digest
0.6.36
downlit
0.4.4
dplyr
1.1.4
dtplyr
1.3.1
e1071
1.7-14
puntini di sospensione
0.3.2
evaluate
0.24.0
fansi
1.0.6
farver
2.1.2
fastmap
1.2.0
fontawesome
0.5.2
forcats
1.0.0
foreach
1.5.2
foreign
0.8-86
forge
0.2.0
fs
1.6.4
future
1.34.0
future.apply
1.11.2
gargle
1.5.2
generics
0.1.3
gert
2.1.0
ggplot2
3.5.1
gh
1.4.1
git2r
0.33.0
gitcreds
0.1.2
glmnet
4.1-8
globals
0.16.3
glue
1.7.0
googledrive
2.1.1
googlesheets4
1.1.1
Gower
1.0.1
grafica
4.4.0
grDevices
4.4.0
grid
4.4.0
gridExtra
2.3
gsubfn
0,7
gt
0.11.0
gtable
0.3.5
hardhat
1.4.0
haven
2.5.4
highr
0.11
hms
1.1.3
htmltools
0.5.8.1
htmlwidgets
1.6.4
httpuv
1.6.15
httr
1.4.7
httr2
1.0.2
ids
1.0.1
ini
0.3.1
ipred
0.9-15
isoband
0.2.7
Iteratori
1.0.14
jquerylib
0.1.4
jsonlite
1.8.8
juicyjuice
0.1.0
KernSmooth
2.23-22
knitr
1.48
Etichettatura
0.4.3
later
1.3.2
Lattice
0.22-5
Java
1.8.0
lifecycle
1.0.4
listenv
0.9.1
lubridate
1.9.3
magrittr
2.0.3
markdown
1.13
MASS
7.3-60.0.1
Matrice
1.6-5
memoise
2.0.1
methods
4.4.0
mgcv
1.9-1
mime
0.12
miniUI
0.1.1.1
mlflow
2.14.1
ModelMetrics
1.2.2.2
modelr
0.1.11
munsell
0.5.1
nlme
3.1-165
nnet
7.3-19
numDeriv
2016.8-1.1
openssl
2.2.0
parallel
4.4.0
parallelly
1.38.0
Concetto fondamentale
1.9.0
pkgbuild
1.4.4
pkgconfig
2.0.3
pkgdown
2.1.0
pkgload
1.4.0
plogr
0.2.0
plyr
1.8.9
praise
1.0.0
prettyunits
1.2.0
Proc
1.18.5
processx
3.8.4
prodlim
2024.06.25
profvis
0.3.8
Avanzamento
1.2.3
progressr
0.14.0
promises
1.3.0
proto
1.0.0
proxy
0.4-27
ps
1.7.7
purrr
1.0.2
R6
2.5.1
ragg
1.3.2
randomForest
4.7-1.1
rappdirs
0.3.3
rcmdcheck
1.4.0
RColorBrewer
1.1-3
Rcpp
1.0.13
RcppEigen
0.3.4.0.0
reagibile
0.4.4
reactR
0.6.0
readr
2.1.5
readxl
1.4.3
ricette
1.1.0
rematch
2.0.0
rematch2
2.1.2
remotes
2.5.0
reprex
2.1.1
reshape2
1.4.4
rlang
1.1.4
rmarkdown
2.27
RODBC
1.3-23
roxygen2
7.3.2
rpart
4.1.23
rprojroot
2.0.4
Rserve
1.8-13
RSQLite
2.3.7
rstudioapi
0.16.0
rversions
2.1.2
rvest
1.0.4
sass
0.4.9
Scalabilità
1.3.0
selectr
0.4-2
sessioninfo
1.2.2
Forma
1.4.6.1
shiny
1.9.1
sourcetools
0.1.7-1
sparklyr
1.8.6
spaziale
7.3-17
Spline
4.4.0
sqldf
0.4-11
SQUAREM
2021.1
stats
4.4.0
stats4
4.4.0
stringi
1.8.4
stringr
1.5.1
Sopravvivenza
3.6-4
Swagger
5.17.14.1
sys
3.4.2
systemfonts
1.1.0
tcltk
4.4.0
testthat
3.2.1.1
textshaping
0.4.0
tibble
3.2.1
tidyr
1.3.1
tidyselect
1.2.1
tidyverse
2.0.0
timechange
0.3.0
timeDate
4032.109
tinytex
0,52
tools
4.4.0
tzdb
0.4.0
urlchecker
1.0.1
usethis
3.0.0
UTF8
1.2.4
utils
4.4.0
uuid
1.2-1
V8
4.4.2
vctrs
0.6.5
viridisLite
0.4.2
vroom
1.6.5
waldo
0.5.2
whisker
0.4.1
withr
3.0.1
xfun
0,46
xml2
1.3.6
xopen
1.0.1
xtable
1.8-4
yaml
2.3.10
zeallot
0.1.0
zip
2.3.1
Librerie Java e Scala installate (versione del cluster Scala 2.12)