Databricks Runtime 8.0 (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Databricks ha rilasciato questa versione nel marzo 2021.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 8.0, basate su Apache Spark 3.1.1.

Nuove funzionalità

Databricks Runtime 8.0 include Apache Spark 3.1.1. Per informazioni dettagliate, vedere Apache Spark.

Miglioramenti

Delta è ora il formato predefinito quando non viene specificato un formato

Databricks Runtime 8.0 modifica il formato predefinito in per delta semplificare la creazione di una tabella Delta. Quando si crea una tabella usando comandi SQL o {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API e non si specifica un formato, il formato predefinito è delta.

Con Delta Lake si ottengono prestazioni migliori rispetto a Parquet, maggiore affidabilità dei dati con convalida avanzata dello schema, vincoli di qualità e garanzie transazionali. Con Delta Lake è possibile semplificare le pipeline di dati con flussi strutturati unificati ed elaborazione batch in una singola origine dati.

Anche se Databricks consiglia di usare Delta Lake per archiviare i dati, è possibile che siano presenti flussi di lavoro legacy che richiedono la migrazione a Delta Lake. Per informazioni sulla migrazione dei flussi di lavoro esistenti, vedere Che cos'è Delta Lake?.

Il nuovo intervallo di trigger predefinito di Structured Streaming riduce i costi

Se non si imposta un intervallo di trigger usando Trigger.ProcessingTime nella query di streaming, l'intervallo viene impostato su 500 ms. In precedenza, l'intervallo predefinito era 0 ms. Questa modifica dovrebbe ridurre il numero di trigger vuoti e ridurre i costi per l'archiviazione cloud, ad esempio l'inserzione.

Usare la funzione di trasformazione LDA con il pass-through delle credenziali (anteprima pubblica)

È ora possibile usare la funzione di trasformazione LDA in un cluster configurato per usare il pass-through delle credenziali per l'autenticazione.

I cluster utente singolo configurati con il pass-through delle credenziali non richiedono più file system attendibili (anteprima pubblica)

Non è più necessario configurare i file system locali come file system attendibili quando si usa un cluster standard o di processo configurato per il pass-through delle credenziali con un singolo utente. Questa modifica rimuove le restrizioni del file system non necessarie durante l'esecuzione di processi in un singolo cluster utente.

Aggiornamenti della libreria

Apache Spark

Databricks Runtime 8.0 include Apache Spark 3.1.1.

Contenuto della sezione:

Core e Spark SQL

Evidenzia

Miglioramenti della compatibilità SQL ANSI

  • Supporto del tipo di dati char/varchar (SPARK-33480)
  • Modalità ANSI: errori di runtime anziché restituire null (SPARK-33275)
  • Modalità ANSI: nuove regole di sintassi cast esplicite (SPARK-33354)
  • Aggiungere il comando SET TIME ZONE SQL Standard (SPARK-32272)
  • Unify create table SQL syntax (SPARK-31257)
  • Unificare i comportamenti di visualizzazione temporanea e visualizzazione permanente (SPARK-33138)
  • Elenco di colonne di supporto nell'istruzione INSERT (SPARK-32976)
  • Supportare i commenti annidati ANSI tra parentesi quadre (SPARK-28880)

Miglioramenti delle prestazioni

  • Lettura casuale dei dati locali dell'host senza servizio casuale (SPARK-32077)
  • Rimuovere gli ordinamenti ridondanti prima dei nodi di ripartizione (SPARK-32276)
  • Push parziale dei predicati (SPARK-32302, SPARK-32352)
  • Eseguire il push dei filtri tramite expand (SPARK-33302)
  • Eseguire il push di predicati più possibili tramite join tramite conversione CNF (SPARK-31705)
  • Rimuovere la sequenza casuale mantenendo il partizionamento dell'output dell'hash join broadcast (SPARK-31869)
  • Rimuovere la sequenza casuale migliorando il riordino delle chiavi di join (SPARK-32282)
  • Rimuovere la sequenza casuale normalizzando il partizionamento dell'output e l'ordinamento (SPARK-33399)
  • Miglioramento dell'hash join casuale (SPARK-32461)
    • Mantenere il partizionamento lato compilazione hash casuale (SPARK-32330)
    • Mantenere l'ordinamento laterale del flusso HASH join (BHJ e SHJ) (SPARK-32383)
    • Tabelle in bucket coalesce per l'unione di ordinamento (SPARK-32286)
    • Aggiungere code-gen per l'hash join casuale (SPARK-32421)
    • Supportare full outer join in hash join casuale (SPARK-32399)
  • Supportare l'eliminazione della sottoespressione nel progetto con l'intero codegen fase (SPARK-33092)
  • Supportare l'eliminazione di sottoespressione nelle espressioni condizionali (SPARK-33337)
  • Supportare l'eliminazione della sottoespressione per la valutazione delle espressioni interpretate (SPARK-33427)
  • Supportare l'eliminazione della sottoespressione per il predicato interpretato (SPARK-33540)
  • Altre regole di ottimizzazione
    • Regola ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regola EliminateNullAwareAntiJoin (SPARK-32573)
    • Regola EliminateAggregateFilter (SPARK-32540)
    • Regola UnwrapCastInBinaryComparison (SPARK-32858)
    • Regola DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regola CoalesceBucketsInJoin (SPARK-31350)
    • Eliminare i campi annidati non necessari dalla generazione senza progetto (SPARK-29721)
    • Eliminare i campi annidati non necessari dall'aggregazione e dall'espansione (SPARK-27217)
    • Eliminare i campi annidati non necessari da repartition-by-expression e join (SPARK-31736)
    • Eliminare i campi annidati non necessari sulle variazioni cosmetiche (SPARK-32163)
    • Eliminare i campi annidati non necessari dalla finestra e ordinare (SPARK-32059)
    • Ottimizzare le dimensioni di CreateArray/CreateMap in modo che siano le dimensioni degli elementi figlio (SPARK-33544)

Miglioramenti dell'estendibilità

  • Aggiungere SupportsPartitions API in DataSourceV2 (SPARK-31694)
  • Aggiungere SupportsMetadataColumns l'API in DataSourceV2 (SPARK-31255)
  • Rendere collegabile alla serializzazione della cache SQL (SPARK-32274)
  • Introdurre l'opzione purge in TableCatalog.dropTable per il catalogo v2 (SPARK-33364)

Miglioramenti del connettore

  • Miglioramento del pushdown del filtro delle partizioni metastore Hive (SPARK-33537)
    • Il supporto contiene, inizia e termina con filtri (SPARK-33458)
    • Supporto del filtro per tipo di data (SPARK-33477)
    • Supporto del filtro per non uguale a (SPARK-33582)
  • Parquet
    • Consenti tipo complesso nel tipo di chiave della mappa in Parquet (SPARK-32639)
    • Consentire il salvataggio e il caricamento di INT96 in Parquet senza ribasare (SPARK-33160)
  • ORCO
    • Pushdown del predicato di colonna annidato per ORC (SPARK-25557)
    • Aggiornare Apache ORC alla versione 1.5.12 (SPARK-33050)
  • CSV
    • Sfruttare l'origine dati di testo SQL durante l'inferenza dello schema CSV (SPARK-32270)
  • JSON
    • Supporto del pushdown dei filtri nell'origine dati JSON (SPARK-30648)
  • JDBC
  • Avro
    • Supporto del pushdown dei filtri nell'origine dati Avro (SPARK-32346)

Miglioramenti delle funzionalità

  • Rimozione delle autorizzazioni dei nodi (SPARK-20624)
    • Framework basic (SPARK-20628)
    • Eseguire la migrazione dei blocchi RDD durante le autorizzazioni (SPARK-20732)
    • Rimozione normale come parte del ridimensionamento dinamico (SPARK-31198)
    • Eseguire la migrazione di blocchi casuali durante la rimozione delle autorizzazioni (SPARK-20629)
    • Esci solo quando le attività e la migrazione a blocchi vengono completate (SPARK-31197)
    • Supportare l'archiviazione di fallback durante la rimozione delle autorizzazioni (SPARK-33545)
  • Nuove funzioni predefinite
  • Miglioramento dei comandi EXPLAIN (SPARK-32337, SPARK-31325)
  • Fornire un'opzione per disabilitare gli hint forniti dall'utente (SPARK-31875)
  • Supportare la sintassi REPLACE COLUMNS in stile Hive (SPARK-30613)
  • Supporto LIKE ANY e LIKE ALL operatori (SPARK-30724)
  • Supporto illimitato MATCHED e NOT MATCHED in MERGE INTO (SPARK-32030)
  • Supporto Fdi valori letterali float suffisso (SPARK-32207)
  • Sintassi di supporto RESET per reimpostare la singola configurazione (SPARK-32406)
  • L'espressione di filtro di supporto consente l'uso simultaneo di DISTINCT (SPARK-30276)
  • Supporto del comando alter table add/drop partition per DSv2 (SPARK-32512)
  • Supportare NOT IN sottoquery all'interno di condizioni annidate OR (SPARK-25154)
  • Comando di supporto REFRESH FUNCTION (SPARK-31999)
  • Aggiungere sameSemantics metodi e sementicHash nel set di dati (SPARK-30791)
  • Supporto di un tipo composto di classe case in UDF (SPARK-31826)
  • Enumerazione di supporto nei codificatori (SPARK-32585)
  • Supportare le withField API dei campi annidate e dropFields (SPARK-31317, SPARK-32511)
  • Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-29358)
  • Supporto DataFrameReader.table per accettare le opzioni specificate (SPARK-32592, SPARK-32844)
  • Supporto del percorso HDFS in spark.sql.hive.metastore.jars (SPARK-32852)
  • Opzione di supporto --archives in modo nativo (SPARK-33530, SPARK-33615)
  • Migliorare l'API ExecutorPlugin per includere metodi per gli eventi di avvio e fine delle attività (SPARK-33088)

Altre modifiche rilevanti

  • Specificare la funzione di ricerca nel sito della documentazione Spark (SPARK-33166)
  • Aggiornare Apache Arrow a 2.0.0 (SPARK-33213)
  • Abilitare l'API ora Java 8 nel server thrift (SPARK-31910)
  • Abilitare l'API ora Java 8 nelle funzioni definite dall'utente (SPARK-32154)
  • Controllo dell'overflow per la somma aggregata con decimali (SPARK-28067)
  • Correzione del conflitto di commit in modalità di sovrascrittura della partizione dinamica (SPARK-27194, SPARK-29302)
  • Rimozione dei riferimenti a slave, blacklist e whitelist (SPARK-32004, SPARK-32036, SPARK-32037)
  • Rimuovere il controllo delle dimensioni dei risultati dell'attività per la fase mappa casuale (SPARK-32470)
  • Generalizzare ExecutorSource per esporre schemi di file system specificati dall'utente (SPARK-33476)
  • Aggiunta StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Esporre le metriche di memoria dell'executor nell'interfaccia utente Web per gli executor (SPARK-23432)
  • Esporre le metriche di memoria dell'executor a livello di fase, nella scheda Fasi (SPARK-26341)
  • Correzione esplicita del set di in spark.ui.port modalità cluster YARN (SPARK-29465)
  • Aggiungere spark.submit.waitForCompletion la configurazione per controllare l'uscita spark-submit in modalità cluster autonomo (SPARK-31486)
  • Configurare per yarn.Client stampare collegamenti diretti al driver stdout/stderr (SPARK-33185)
  • Correzione della perdita di memoria quando non è possibile archiviare parti di trasmissione (SPARK-32715)
  • Rendere BlockManagerMaster configurabile il timeout heartbeat del driver (SPARK-34278)
  • Unificare e completare i comportamenti della cache (SPARK-33507)

PySpark

Progetto Zen

  • Project Zen: miglioramento dell'usabilità di Python (SPARK-32082)
  • Supporto degli hint di tipo PySpark (SPARK-32681)
  • Riprogettazione della documentazione di PySpark (SPARK-31851)
  • Eseguire la migrazione allo stile di documentazione NumPy (SPARK-32085)
  • Opzione di installazione per gli utenti pyPI (SPARK-32017)
  • Annullamento della deprecazione dello schema del dataframe dall'elenco dict (SPARK-32686)
  • Semplificare il messaggio di eccezione dalle funzioni definite dall'utente python (SPARK-33407)

Altre modifiche rilevanti

  • Deduplicate deterministiche chiamate PythonUDF (SPARK-33303)
  • Supportare funzioni di ordine superiore nelle funzioni PySpark (SPARK-30681)
  • Supportare le API di scrittura v2x dell'origine dati (SPARK-29157)
  • Supporto percentile_approx nelle funzioni PySpark (SPARK-30569)
  • Supporto inputFiles nel dataframe PySpark (SPARK-31763)
  • Supporto withField nella colonna PySpark (SPARK-32835)
  • Supporto dropFields nella colonna PySpark (SPARK-32511)
  • Supporto nth_value nelle funzioni PySpark (SPARK-33020)
  • Supporto acoshdi e atanh asinh (SPARK-33563)
  • Metodo di supporto getCheckpointDir in PySpark SparkContext (SPARK-33017)
  • Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-32798)
  • Aggiornamento cloudpickle alla versione 1.5.0 (SPARK-32094)
  • Aggiunta MapType del supporto per PySpark con Freccia (SPARK-24554)
  • DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Structured Streaming

Miglioramenti delle prestazioni

  • Elenco di file recuperati nella cache oltre maxFilesPerTrigger come file non letto (SPARK-30866)
  • Semplificare la logica nel log dei metadati di origine e sink del flusso di file (SPARK-30462)
  • Evitare di leggere due volte il log dei metadati compatta se la query viene riavviata dal batch compatto (SPARK-30900)

Miglioramenti delle funzionalità

  • Aggiungere DataStreamReader.table l'API (SPARK-32885)
  • Aggiungere DataStreamWriter.toTable l'API (SPARK-32896)
  • Join di flusso semi-flusso sinistro (SPARK-32862)
  • Join di flusso esterno completo (SPARK-32863)
  • Fornire una nuova opzione per la conservazione dei file di output (SPARK-27188)
  • Aggiungere il supporto del server cronologia streaming strutturato Spark (SPARK-31953)
  • Introdurre la convalida dello schema di stato tra il riavvio della query (SPARK-27237)

Altre modifiche rilevanti

  • Introdurre la convalida dello schema per l'archivio stati di streaming (SPARK-31894)
  • Supporto per l'uso di un codec di compressione diverso nell'archivio stati (SPARK-33263)
  • Attesa infinita del connettore Kafka perché i metadati non vengono mai aggiornati (SPARK-28367)
  • Aggiornare Kafka alla versione 2.6.0 (SPARK-32568)
  • Supporto della paginazione per le pagine dell'interfaccia utente di Structured Streaming (SPARK-31642, SPARK-30119)
  • Informazioni sullo stato nell'interfaccia utente di Structured Streaming (SPARK-33223)
  • Informazioni sul gap limite nell'interfaccia utente di Structured Streaming (SPARK-33224)
  • Esporre informazioni sulle metriche personalizzate sullo stato nell'interfaccia utente di SS (SPARK-33287)
  • Aggiungere una nuova metrica relativa al numero di righe successive alla filigrana (SPARK-24634)

MLlib

Caratteristiche salienti

  • LinearSVC blocca i vettori di input (SPARK-30642)
  • LogisticRegression blocca i vettori di input (SPARK-30659)
  • LinearRegression blocca i vettori di input (SPARK-30660)
  • AFT blocca i vettori di input (SPARK-31656)
  • Aggiunta del supporto per le regole di associazione in ML (SPARK-19939)
  • Aggiungere un riepilogo del training per LinearSVCModel (SPARK-20249)
  • Aggiungere un riepilogo a RandomForestClassificationModel (SPARK-23631)
  • Aggiungere il riepilogo del training a FMClassificationModel (SPARK-32140)
  • Aggiungere un riepilogo a MultilayerPerceptronClassificationModel (SPARK-32449)
  • Aggiungere FMClassifier a SparkR (SPARK-30820)
  • Aggiungere il wrapper LinearRegression sparkR (SPARK-30818)
  • Aggiungere il wrapper FMRegressor a SparkR (SPARK-30819)
  • Aggiungere il wrapper SparkR per vector_to_array (SPARK-33040)
  • bloccare in modo adattivo le istanze - LinearSVC (SPARK-32907)
  • make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer support Python backend estimator/evaluator (SPARK-33520)
  • Migliorare le prestazioni di ML ALS recommendForAll by GEMV (SPARK-33518)
  • Aggiungere UnivariateFeatureSelector (SPARK-34080)

Altre modifiche rilevanti

  • Riepilogo delle risorse di calcolo GMM e distribuzioni degli aggiornamenti in un processo (SPARK-31032)
  • Rimuovere la dipendenza ChiSqSelector da mllib. ChiSqSelectorModel (SPARK-31077)
  • Rendere flat il dataframe dei risultati dei test in testChiSquare (SPARK-31301)
  • Ottimizzazione della chiave MinHashDistance (SPARK-31436)
  • Ottimizzazione KMeans basata sulla disuguaglianza dei triangoli (SPARK-31007)
  • Aggiungere il supporto per il peso in ClusteringEvaluator (SPARK-31734)
  • Aggiungere getMetrics negli analizzatori (SPARK-31768)
  • Aggiungere il supporto dello spessore dell'istanza in LinearRegressionSummary (SPARK-31944)
  • Aggiungere la colonna di riduzione specificata dall'utente a CrossValidator (SPARK-31777)
  • Parità dei valori predefiniti dei parametri ml nelle funzionalità e nell'ottimizzazione (SPARK-32310)
  • Correzione della doppia memorizzazione nella cache in KMeans/BiKMeans (SPARK-32676)
  • Ottimizzazione della trasformazione aft (SPARK-33111)
  • Ottimizzazione della trasformazione FeatureHasher (SPARK-32974)
  • Aggiungere array_to_vector funzione per la colonna del dataframe (SPARK-33556)
  • Parità dei valori predefiniti dei parametri ML nella classificazione, regressione, clustering e fpm (SPARK-32310)
  • Summary.totalIterations maggiore di maxIters (SPARK-31925)
  • Ottimizzazione della stima dei modelli ad albero (SPARK-32298)

SparkR

  • Aggiungere l'interfaccia SparkR per le funzioni di ordine superiore (SPARK-30682)
  • Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-32798)
  • Supporto conColumn nelle funzioni SparkR (SPARK-32946)
  • Supporto di timestamp_seconds nelle funzioni SparkR (SPARK-32949)
  • Supporto di nth_value nelle funzioni SparkR (SPARK-33030)
  • Versione minima di Arrow fino a 1.0.0 (SPARK-32452)
  • Supporto array_to_vector nelle funzioni SparkR (SPARK-33622)
  • Supportare acosh, asinh e atanh (SPARK-33563)
  • Supporto di from_avro e to_avro (SPARK-33304)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 8.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (aggiornamento dalla versione 3.8.6 del 26 maggio 2021)
  • R: R versione 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
Crittografia 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0,3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
sei 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.

Libreria Versione Libreria Versione Libreria Versione
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 Brio 1.1.0
Scopa 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
compilatore 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0,16
puntini di sospensione 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 Gower 0.2.2 grafica 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratori 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
Etichettatura 0.4.2 later 1.1.0.1 Lattice 0.20-41
Java 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 Matrice 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 Concetto fondamentale 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Avanzamento 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 ricette 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 Scalabilità 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 Forma 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spaziale 7.3-11 Spline 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
Sopravvivenza 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.7.1
org.apache.curator curatore-framework 2.7.1
org.apache.curator ricette curatori 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core Incubazione 3.1.0
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet codifica parquet 1.10.1-databricks6
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocità 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core maglia-comune 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Spessori 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten treten-extra 1.5.0
org.cortanaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52