Azure Synapse Runtime pro Apache Spark 3.3 (EOSA)
Azure Synapse Analytics podporuje více modulů runtime pro Apache Spark. Tento dokument se zabývá komponentami a verzemi modulu runtime pro Modul runtime Azure Synapse pro Apache Spark 3.3.
Upozorňující
Oznámení o ukončení podpory pro Modul runtime Azure Synapse pro Apache Spark 3.3
- 12. července 2024 bylo ukončeno ukončení podpory pro Azure Synapse Runtime pro Apache Spark 3.3.
- Od 31. března 2025 ukončí Azure Synapse oficiální podporu pro moduly Runtime Sparku 3.3.
- Důrazně doporučujeme upgradovat úlohy založené na Apache Sparku 3.3 na azure Synapse Runtime pro Apache Spark 3.4 (GA).
- Pokud potřebujete aktuální informace, podrobný seznam změn a konkrétní poznámky k verzi pro moduly runtime Sparku, zkontrolujte a přihlaste se k jeho odběru.
Verze komponent
| Komponenta | Verze |
|---|---|
| Apache Spark | 3.3.1 |
| Operační systém | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3,10 |
| R (Preview) | 4.2.2 |
Synapse-Python310-CPU.yml obsahuje seznam knihoven odeslaných ve výchozím prostředí Pythonu 3.10 ve Službě Azure Synapse Spark.
Důležité
.NET pro Apache Spark
.NET pro Apache Spark je opensourcový projekt v rámci .NET Foundation, který v současné době vyžaduje knihovnu .NET 3.1, která dosáhla stavu mimo podporu. Chceme uživatele Azure Synapse Spark informovat o odebrání knihovny .NET for Apache Spark v modulu Runtime Azure Synapse pro Apache Spark verze 3.3. Další podrobnosti o této záležitosti můžou uživatelé získat v zásadách podpory .NET.
V důsledku toho už uživatelé nebudou moci využívat rozhraní Apache Spark API prostřednictvím C# a F# nebo spouštět kód jazyka C# v poznámkových blocích v rámci Synapse nebo prostřednictvím definic úloh Apache Spark v Synapse. Je důležité si uvědomit, že tato změna má vliv pouze na azure Synapse Runtime pro Apache Spark 3.3 a vyšší.
Budeme i nadále podporovat .NET pro Apache Spark ve všech předchozích verzích modulu Azure Synapse Runtime podle jejich fází životního cyklu. Nemáme ale plány na podporu .NET pro Apache Spark ve službě Azure Synapse Runtime pro Apache Spark 3.3 a budoucí verze. Doporučujeme uživatelům se stávajícími úlohami napsanými v jazyce C# nebo F# migrovat do Pythonu nebo Scaly. Uživatelům doporučujeme, aby si tyto informace a plánovali odpovídajícím způsobem.
Knihovny
Pokud chcete zkontrolovat knihovny zahrnuté ve službě Azure Synapse Runtime pro Apache Spark 3.3 pro Javu/Scala, Python a R, přejděte do modulu Runtime Azure Synapse pro Apache Spark 3.3.
Další kroky
- Správa knihoven pro fondy Apache Sparku ve službě Azure Synapse Analytics
- Instalace kolečka balíčků pracovního prostoru (Python), jar (Scala/Java) nebo tar.gz (R)
- Správa balíčků prostřednictvím Azure PowerShellu a rozhraní REST API
- Správa balíčků s vymezeným oborem relace
- Dokumentace k Apache Sparku 3.3.1
- Koncepty Apache Sparku
Migrace mezi verzemi Apache Sparku – podpora
Pokyny k migraci ze starších verzí modulu runtime do modulu Azure Synapse Runtime pro Apache Spark 3.3 nebo 3.4 najdete v tématu Přehled modulu runtime pro Apache Spark.