Среда выполнения Azure Synapse для Apache Spark 3.3 (EOSA)
Azure Synapse Analytics поддерживает несколько сред выполнения для Apache Spark. В этом документе рассматриваются компоненты и версии среды выполнения Azure Synapse runtime для Apache Spark 3.3.
Предупреждение
Уведомление об окончании поддержки для среды выполнения Azure Synapse для Apache Spark 3.3
- 12 июля 2024 г. было объявлено о завершении поддержки для Среды выполнения Azure Synapse для Apache Spark 3.3.
- Начиная с 31 марта 2025 г. Azure Synapse прекратит официальную поддержку среды выполнения Spark 3.3.
- Настоятельно рекомендуем обновить рабочие нагрузки на основе Apache Spark 3.3 до среды выполнения Azure Synapse для Apache Spark 3.4 (GA).
- Актуальные сведения см. в подробном списке изменений и конкретных заметках о выпуске для сред выполнения Spark, проверке и подписке на выпуски и обновления Spark Runtimes.
Версии компонентов
| Компонент | Версия |
|---|---|
| Apache Spark | 3.3.1 |
| Операционная система | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3,10 |
| R (предварительная версия) | 4.2.2 |
Synapse-Python310-CPU.yml содержит список библиотек, отправленных в среду Python 3.10 по умолчанию в Azure Synapse Spark.
Внимание
.NET для Apache Spark
.NET для Apache Spark — это проект с открытым исходным кодом в .NET Foundation, который в настоящее время требует библиотеки .NET 3.1, которая достигла состояния вне поддержки. Мы хотели бы сообщить пользователям Azure Synapse Spark об удалении библиотеки .NET для Apache Spark в среде выполнения Azure Synapse для Apache Spark версии 3.3. Пользователи могут обратиться к политике поддержки .NET для получения дополнительных сведений об этом вопросе.
В результате пользователи больше не смогут использовать API Apache Spark через C# и F#, или выполнить код C# в записных книжках в Synapse или с помощью определений заданий Apache Spark в Synapse. Важно отметить, что это изменение влияет только на среду выполнения Azure Synapse для Apache Spark 3.3 и выше.
Мы будем продолжать поддерживать .NET для Apache Spark во всех предыдущих версиях среды выполнения Azure Synapse в соответствии с их этапами жизненного цикла. Однако у нас нет планов поддержки .NET для Apache Spark в Среде выполнения Azure Synapse для Apache Spark 3.3 и будущих версий. Рекомендуется перенести пользователей с существующими рабочими нагрузками, написанными на C# или F#, на Python или Scala. Пользователям рекомендуется учитывать эти сведения и планировать их соответствующим образом.
Библиотеки
Чтобы проверить библиотеки, включенные в среду выполнения Azure Synapse для Apache Spark 3.3 для Java/Scala, Python и R, перейдите в Среду выполнения Azure Synapse для Apache Spark 3.3
Следующие шаги
- Управление библиотеками для пулов Apache Spark в Azure Synapse Analytics
- Установка колесика пакетов рабочей области (Python), jar (Scala/Java) или tar.gz (R)
- Управление пакетами с помощью Azure PowerShell и REST API
- Управление пакетами с областью сеанса
- Документация по Apache Spark 3.3.1
- Основные понятия Apache Spark
Миграция между версиями Apache Spark — поддержка
Рекомендации по миграции из старых версий среды выполнения в Azure Synapse Runtime для Apache Spark 3.3 или 3.4 см. в обзоре среды выполнения Для Apache Spark.