Delta Lake nei cluster Big Data di SQL Server

Si applica a: SQL Server 2019 (15.x)

Questa guida illustra:

Introduzione

Linux Foundation Delta Lake è un livello di archiviazione open source che porta le transazioni ACID (Atomicity, Consistency, Isolation And Durability, ovvero atomicità, coerenza, isolamento e durabilità) in Apache Spark e nei carichi di lavoro di Big Data. Per ulteriori informazioni su Delta Lake, vedere:

• Che cos'è Delta Lake?
• Introduzione a Delta Lake

Delta Lake in cluster Big Data di SQL Server CU13 e versioni successive (Spark 3)

Per impostazione predefinita, Delta Lake viene installato e configurato in cluster Big Data di SQL Server CU13 e versioni successive. Non è richiesta alcuna azione ulteriore.

Questo articolo illustra la configurazione di Delta Lake in cluster Big Data di SQL Server CU12 e versioni precedenti.

Configurare Delta Lake in cluster Big Data di SQL Server CU12 e versioni precedenti (Spark 2.4)

Nei cluster Big Data di SQL Server CU12 o versioni successive è possibile caricare le librerie Delta Lake usando la funzionalità di gestione delle librerie Spark.

Configurare le opzioni di configurazione di Spark e della libreria Delta Lake

Configurare le librerie Delta Lake con l'applicazione prima di inviare i processi. È richiesta la libreria seguente:

• delta-core: questa libreria di base abilita il supporto di Delta Lake.

La libreria deve essere destinata a Scala 2.11 e Spark 2.4.7. Questo requisito dei cluster Big Data di SQL Server si riferisce a SQL Server 2019 Cumulative Update 9 (CU9) o versioni successive.

È inoltre necessario configurare Spark per abilitare i comandi SQL Spark specifici di Delta Lake e l'integrazione del metastore. L'esempio seguente descrive in che modo un notebook di Azure Data Studio configura il supporto per Delta Lake:

%%configure -f \
{
    "conf": {
        "spark.jars.packages": "io.delta:delta-core_2.11:0.6.1",
        "spark.sql.extensions":"io.delta.sql.DeltaSparkSessionExtension",
        "spark.sql.catalog.spark_catalog":"org.apache.spark.sql.delta.catalog.DeltaCatalog"
    }
}

Condividere i percorsi delle librerie per i processi in HDFS

Se più applicazioni useranno la libreria Delta Lake, copiare i file JAR di libreria appropriati in un percorso condiviso in HDFS. Tutti i processi devono quindi fare riferimento agli stessi file di libreria.

Copiare le librerie nel percorso comune:

azdata bdc hdfs cp --from-path delta-core_2.11-0.6.1.jar --to-path "hdfs:/apps/jars/delta-core_2.11-0.6.1.jar"

Installare in modo dinamico le librerie

È possibile installare dinamicamente i pacchetti quando si invia un processo usando le funzionalità di gestione dei pacchetti dei cluster Big Data. È prevista una penalità per l'ora di avvio del processo a causa dei download ricorrenti dei file di libreria in ogni invio di processo.

Inviare il processo Spark con azdata

L'esempio seguente usa i file JAR della libreria condivisa in HDFS:

azdata bdc spark batch create -f hdfs:/apps/ETL-Pipelines/my-delta-lake-python-job.py \
-j '["/apps/jars/delta-core_2.11-0.6.1.jar"]' \
--config '{"spark.sql.extensions":"io.delta.sql.DeltaSparkSessionExtension","spark.sql.catalog.spark_catalog":"org.apache.spark.sql.delta.catalog.DeltaCatalog"}' \
-n MyETLPipelinePySpark --executor-count 2 --executor-cores 2 --executor-memory 1664m

In questo esempio viene usata la gestione dinamica dei pacchetti per installare le dipendenze:

azdata bdc spark batch create -f hdfs:/apps/ETL-Pipelines/my-delta-lake-python-job.py \
--config '{"spark.jars.packages":"io.delta:delta-core_2.11:0.6.1","spark.sql.extensions":"io.delta.sql.DeltaSparkSessionExtension","spark.sql.catalog.spark_catalog":"org.apache.spark.sql.delta.catalog.DeltaCatalog"' \
-n MyETLPipelinePySpark --executor-count 2 --executor-cores 2 --executor-memory 1664m

Passaggi successivi

Per informazioni su come usare in modo efficace Delta Lake, vedere gli articoli seguenti.

• Linux Foundation Delta Lake
• Avvio rapido: Delta Lake

Per inviare processi Spark a cluster Big Data di SQL Server usando azdata o endpoint Livy, vedere Inviare processi Spark usando gli strumenti da riga di comando.

Per altre informazioni sui cluster Big Data di SQL Server e sugli scenari correlati, vedere Introduzione ai cluster Big Data di SQL Server.