Środowisko uruchomieniowe usługi Azure Synapse dla platformy Apache Spark 3.3 (EOSA)
Usługa Azure Synapse Analytics obsługuje wiele środowisk uruchomieniowych dla platformy Apache Spark. W tym dokumencie opisano składniki i wersje środowiska uruchomieniowego środowiska Uruchomieniowego usługi Azure Synapse dla platformy Apache Spark 3.3.
Ostrzeżenie
Powiadomienie o zakończeniu pomocy technicznej dla środowiska Uruchomieniowego usługi Azure Synapse dla platformy Apache Spark 3.3
- 12 lipca 2024 r. ogłoszono zakończenie wsparcia dla środowiska Azure Synapse Runtime dla platformy Apache Spark 3.3.
- Od 31 marca 2025 r. usługa Azure Synapse przestanie obsługiwać oficjalne środowiska uruchomieniowe platformy Spark 3.3.
- Zdecydowanie zalecamy uaktualnienie obciążeń opartych na platformie Apache Spark 3.3 do środowiska Azure Synapse Runtime dla platformy Apache Spark 3.4 (OGÓLNA dostępność).
- Aby uzyskać aktualne informacje, szczegółową listę zmian i konkretne informacje o wersji dla środowisk uruchomieniowych platformy Spark, sprawdź i subskrybuj wydania i aktualizacje środowiska uruchomieniowego platformy Spark.
Wersje składników
| Składnik | Wersja |
|---|---|
| Apache Spark | 3.3.1 |
| System operacyjny | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3,10 |
| R (wersja zapoznawcza) | 4.2.2 |
Synapse-Python310-CPU.yml zawiera listę bibliotek dostarczanych w domyślnym środowisku języka Python 3.10 w usłudze Azure Synapse Spark.
Ważne
Platforma .NET dla platformy Apache Spark
Platforma .NET dla platformy Apache Spark to projekt open source w programie .NET Foundation, który obecnie wymaga biblioteki .NET 3.1, która osiągnęła stan braku obsługi. Chcemy poinformować użytkowników usługi Azure Synapse Spark o usunięciu biblioteki platformy .NET for Apache Spark w środowisku Uruchomieniowym usługi Azure Synapse dla platformy Apache Spark w wersji 3.3. Aby uzyskać więcej informacji na ten temat, użytkownicy mogą zapoznać się z zasadami pomocy technicznej platformy .NET.
W związku z tym użytkownicy nie będą już mogli korzystać z interfejsów API platformy Apache Spark za pośrednictwem języka C# i F# ani wykonywać kodu C# w notesach w usłudze Synapse lub za pomocą definicji zadań platformy Apache Spark w usłudze Synapse. Należy pamiętać, że ta zmiana ma wpływ tylko na środowisko uruchomieniowe usługi Azure Synapse dla platformy Apache Spark 3.3 lub nowszej.
Będziemy nadal obsługiwać platformę .NET dla platformy Apache Spark we wszystkich poprzednich wersjach środowiska Azure Synapse Runtime zgodnie z ich etapami cyklu życia. Nie mamy jednak planów obsługi platformy .NET dla platformy Apache Spark w środowisku Azure Synapse Runtime dla platformy Apache Spark 3.3 i przyszłych wersji. Zalecamy, aby użytkownicy z istniejącymi obciążeniami napisanymi w języku C# lub F# migrowali do języka Python lub Scala. Użytkownicy powinni zanotować te informacje i odpowiednio zaplanować.
Biblioteki
Aby sprawdzić biblioteki zawarte w środowisku Azure Synapse Runtime dla platformy Apache Spark 3.3 dla języków Java/Scala, Python i R, przejdź do obszaru Azure Synapse Runtime for Apache Spark 3.3
Następne kroki
- Zarządzanie bibliotekami pul platformy Apache Spark w usłudze Azure Synapse Analytics
- Instalowanie pakietów obszarów roboczych wheel (Python), jar (Scala/Java) lub tar.gz (R)
- Zarządzanie pakietami za pomocą programu Azure PowerShell i interfejsu API REST
- Zarządzanie pakietami w zakresie sesji
- Dokumentacja platformy Apache Spark 3.3.1
- Pojęcia dotyczące platformy Apache Spark
Migracja między wersjami platformy Apache Spark — obsługa
Aby uzyskać wskazówki dotyczące migrowania ze starszych wersji środowiska uruchomieniowego do środowiska Uruchomieniowego usługi Azure Synapse dla platformy Apache Spark 3.3 lub 3.4, zobacz Runtime for Apache Spark Overview (Środowisko uruchomieniowe dla platformy Apache Spark — omówienie).