Azure Synapse Runtime für Apache Spark 3.3 (EOSA)
Azure Synapse Analytics unterstützt mehrere Laufzeiten für Apache Spark. In diesem Dokument werden die Runtimekomponenten und -versionen für die Azure Synapse-Runtime für Apache Spark 3.3 behandelt.
Warnung
Ende der Supportbenachrichtigung für Azure Synapse Runtime für Apache Spark 3.3
- Am 12. Juli 2024 wurde das Ende des Supports für Azure Synapse Runtime für Apache Spark 3.3 angekündigt.
- Ab dem 31. März 2025 wird Azure Synapse die offizielle Unterstützung für Spark 3.3 Runtimes einstellen.
- Es wird dringend empfohlen, Ihre Apache Spark 3.3-basierten Workloads auf Azure Synapse Runtime für Apache Spark 3.4 (GA) zu aktualisieren.
- Für aktuelle Informationen, eine detaillierte Liste der Änderungen und spezifische Versionshinweise für Spark-Runtimes, überprüfen und abonnieren Sie Spark Runtimes-Versionen und -Updates.
Komponentenversionen
| Komponente | Version |
|---|---|
| Apache Spark | 3.3.1 |
| Betriebssystem | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (Preview) | 4.2.2 |
Synapse-Python310-CPU.yml enthält die Liste der Bibliotheken, die mit der Python 3.10-Standardumgebung in Azure Synapse Spark ausgeliefert werden.
Wichtig
.NET für Apache Spark
.NET für Apache Spark ist ein Open-Source-Projekt der .NET Foundation, das derzeit die .NET 3.1-Bibliothek erfordert, die den Status „Nicht mehr unterstützt“ erreicht hat. Wir möchten Benutzer von Azure Synapse Spark über die Entfernung der .NET für Apache Spark-Bibliothek in der Azure Synapse Runtime für Apache Spark Version-3.3 informieren. Weitere Informationen zu diesem Thema finden Benutzer in der .NET-Supportrichtlinie.
Daher ist es Benutzern nicht mehr möglich, Apache Spark-APIs über C# und F# zu verwenden oder C#-Code in Notebooks in Synapse oder über Apache Spark-Auftragsdefinitionen in Synapse auszuführen. Beachten Sie, dass sich diese Änderung nur auf Azure Synapse Runtime für Apache Spark 3.3 und höher auswirkt.
Die Unterstützung von .NET für Apache Spark wird in allen früheren Versionen der Azure Synapse Runtime entsprechend ihren Lebenszyklusphasen fortgesetzt. Es ist jedoch nicht geplant, .NET für Apache Spark in Azure Synapse Runtime für Apache Spark 3.3 und zukünftige Versionen zu unterstützen. Es wird empfohlen, dass Benutzer mit vorhandenen Workloads, die in C# oder F# geschrieben wurden, zu Python oder Scala migrieren. Den Benutzern wird empfohlen, diese Informationen zur Kenntnis zu nehmen und entsprechend zu planen.
Bibliotheken
Um die bibliotheken zu überprüfen, die in Azure Synapse Runtime für Apache Spark 3.3 für Java/Scala, Python und R enthalten sind, wechseln Sie zu Azure Synapse Runtime für Apache Spark 3.3
Nächste Schritte
- Verwalten von Bibliotheken für Apache Spark-Pools in Azure Synapse Analytics
- Installieren von Arbeitsbereichspaketen als Wheel (Python)-, JAR (Scala/Java)- oder tar.gz (R)-Dateien
- Verwalten von Paketen über Azure PowerShell und REST-API
- Verwalten von sitzungsbezogenen Paketen
- Apache Spark 3.3.1-Dokumentation
- Apache Spark: Konzepte
Migration zwischen Apache Spark-Versionen – Unterstützung
Anleitungen zum Migrieren von älteren Laufzeitversionen zu Azure Synapse Runtime für Apache Spark 3.3 oder 3.4 finden Sie unter Runtime für Apache Spark Overview.