Dimensionare automaticamente i pool di Apache Spark in Azure Synapse Analytics

La funzionalità di scalabilità automatica del pool di Apache Spark per Azure Synapse Analytics consente di aumentare o ridurre automaticamente il numero di nodi in un istanza del cluster. Durante la creazione di un nuovo pool di Apache Spark per Azure Synapse Analytics, un numero minimo e massimo di nodi, fino a 200 nodi, può essere impostato quando è selezionata la scalabilità automatica. La funzionalità di scalabilità automatica monitora quindi i requisiti del carico in termini di risorse e aumenta o riduce il numero di nodi. Per l'uso di questa funzionalità non sono previsti costi aggiuntivi.

Monitoraggio delle metriche

La funzionalità di scalabilità automatica monitora continuamente l'istanza di Spark e raccoglie le metriche seguenti:

Le metriche elencate in precedenza vengono controllate ogni 30 secondi. La funzionalità di scalabilità automatica si basa su queste metriche per decidere se aumentare o ridurre il numero di nodi.

Condizioni di scalabilità in base al carico

Quando vengono rilevate le condizioni seguenti, la funzionalità di scalabilità automatica invia una richiesta di aumento o riduzione delle dimensioni:

Per aumentare il numero di nodi, il servizio di scalabilità automatica di Azure Synapse calcola il numero di nuovi nodi necessari per soddisfare i requisiti correnti in termini di CPU e memoria e quindi invia una richiesta di aumento dei nodi per aggiungere il numero di nodi necessario.

Per ridurre le prestazioni, in base al numero di executor, ai master applicazioni per nodo, ai requisiti correnti di CPU e memoria, la scalabilità automatica invia una richiesta di rimozione di un determinato numero di nodi. Il servizio rileva anche i nodi candidati per la rimozione in base all'esecuzione del processo corrente. L'operazione di riduzione prevede prima la disattivazione e quindi il ritiro dei nodi dal cluster.

Operazioni preliminari

Creare un pool di Apache Spark serverless con scalabilità automatica

Per abilitare la funzionalità di scalabilità automatica, completare la procedura seguente durante il normale processo di creazione del pool:

1. Nella scheda Informazioni di base selezionare la casella di controllo Abilita scalabilità automatica.

2. Immettere i valori desiderati per le proprietà seguenti:

   • Numero minimo di nodi.
   • Numero massimo di nodi.

Il numero iniziale di nodi corrisponderà al numero minimo. Questo valore definisce le dimensioni iniziali dell'istanza al momento della creazione. Il numero minimo di nodi non può essere inferiore a tre.

Facoltativamente, è possibile abilitare l'allocazione dinamica degli executor negli scenari in cui i requisiti dell'executor sono molto diversi tra le fasi di un processo Spark o il volume di dati elaborati varia con il tempo. Abilitando l'allocazione dinamica degli executor, è possibile usare la capacità in base alle esigenze.

Quando si abilita l'allocazione dinamica, consente al processo di ridimensionare il numero di executor entro min e il numero massimo di executor specificati.

Apache Spark abilita la configurazione dell'allocazione dinamica degli executor tramite il codice come indicato di seguito:

    %%configure -f
    {
        "conf" : {
            "spark.dynamicAllocation.maxExecutors" : "6",
            "spark.dynamicAllocation.enabled": "true",
            "spark.dynamicAllocation.minExecutors": "2"
     }
    }

Le impostazioni predefinite specificate tramite il codice sostituiscono i valori impostati tramite l'interfaccia utente.

In questo esempio, se il processo richiede solo 2 executor, userà solo 2 executor. Quando il processo richiede di più, verrà ridimensionato fino a 6 executor (1 driver, 6 executor). Quando il processo non richiede gli executor, verranno rimossi gli executor. Se non è necessario, il nodo verrà liberato.

Di conseguenza, quando si abilita l'allocazione dinamica, gli executor aumentano o si abbassano in base all'utilizzo degli executor. In questo modo si garantisce che venga effettuato il provisioning degli executor in base alle esigenze del processo in esecuzione.

Procedure consigliate

Considerare la latenza delle operazioni di aumento o riduzione

Il completamento di un'operazione di ridimensionamento può richiedere da 1 a 5 minuti.

Prepararsi per la riduzione delle prestazioni

Durante il processo di riduzione delle prestazioni dell'istanza, la scalabilità automatica inserisce i nodi nello stato di rimozione delle autorizzazioni in modo che nessun nuovo executor possa essere avviato su tale nodo.

I processi in esecuzione continueranno a essere eseguiti e verranno completati. I processi in sospeso rimarranno in attesa di essere pianificati come normali con un numero minore di nodi disponibili.

Passaggi successivi

Avvio rapido per creare un nuovo pool di Spark: Creare un pool di Spark