Runtime di Azure Synapse per Apache Spark 3.3 (EOSA)
Azure Synapse Analitica supporta più runtime per Apache Spark. Questo documento illustra i componenti e le versioni di runtime per Azure Synapse Runtime per Apache Spark 3.3.
Avviso
Notifica di fine del supporto per il runtime di Azure Synapse per Apache Spark 3.3
- Il 12 luglio 2024 è stata annunciata la fine del supporto per Azure Synapse Runtime per Apache Spark 3.3.
- A partire dal 31 marzo 2025, Azure Synapse interromperà il supporto ufficiale per i runtime di Spark 3.3.
- È consigliabile aggiornare i carichi di lavoro basati su Apache Spark 3.3 al runtime di Azure Synapse per Apache Spark 3.4 (GA).
- Per informazioni aggiornate, un elenco dettagliato delle modifiche e specifiche note sulla versione per i runtime di Spark, controllare e sottoscrivere le versioni e gli aggiornamenti di Spark Runtimes.
Versioni dei componenti
| Componente | Versione |
|---|---|
| Apache Spark | 3.3.1 |
| Sistema operativo | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (anteprima) | 4.2.2 |
Synapse-Python310-CPU.yml contiene l'elenco delle librerie fornite nell'ambiente Python 3.10 predefinito in Azure Synapse Spark.
Importante
.NET per Apache Spark
.NET per Apache Spark è un progetto open source in .NET Foundation che attualmente richiede la libreria .NET 3.1, la quale non è più supportata. Si desidera informare gli utenti di Azure Synapse Spark della rimozione della libreria .NET per Apache Spark nel runtime di Azure Synapse per Apache Spark versione 3.3. Gli utenti possono fare riferimento ai criteri di supporto di .NET per altri dettagli su questa questione.
Di conseguenza, non sarà più possibile per gli utenti usare le API Apache Spark tramite C# e F#, oppure eseguire codice C# nei notebook all'interno di Synapse o tramite le definizioni dei processi Apache Spark in Synapse. È importante notare che questa modifica influisce solo sul runtime di Azure Synapse per Apache Spark 3.3 e versioni successive.
Microsoft continuerà a supportare .NET per Apache Spark in tutte le versioni precedenti del runtime di Azure Synapse in base alle fasi del ciclo di vita. Tuttavia, non sono previsti piani per supportare .NET per Apache Spark nel runtime di Azure Synapse per Apache Spark 3.3 e versioni future. Si consiglia agli utenti con carichi di lavoro esistenti scritti in C# o F# di eseguire la migrazione a Python o Scala. Gli utenti sono invitati a prendere nota di queste informazioni e pianificare di conseguenza.
Librerie
Per controllare le librerie incluse nel runtime di Azure Synapse per Apache Spark 3.3 per Java/Scala, Python e R, passare ad Azure Synapse Runtime per Apache Spark 3.3
Passaggi successivi
- Gestire le librerie per i pool di Apache Spark in Azure Synapse Analitica
- Installare la rotellina dei pacchetti dell'area di lavoro (Python), jar (Scala/Java) o tar.gz (R)
- Gestire i pacchetti tramite Azure PowerShell e l'API REST
- Gestire i pacchetti con ambito sessione
- Documentazione di Apache Spark 3.3.1
- Concetti di Apache Spark
Migrazione tra versioni di Apache Spark - Supporto
Per indicazioni sulla migrazione da versioni di runtime precedenti a Azure Synapse Runtime per Apache Spark 3.3 o 3.4, vedere Panoramica del runtime per Apache Spark.