Azure Synapse Runtime for Apache Spark 3.2 (deprecated)
O Azure Synapse Analytics dá suporte a vários runtimes para o Apache Spark. Este documento aborda os componentes e as versões de runtime do Azure Synapse Runtime para Apache Spark 3.2.
Cuidado
Notificação de substituição e desabilitação do Azure Synapse Runtime para Apache Spark 3.2
- O fim do suporte foi anunciado para o Azure Synapse Runtime para Apache Spark 3.2 em 8 de julho de 2023. De acordo com o runtime do Synapse para a política de ciclo de vida do Apache Spark, o runtime do Azure Synapse para Apache Spark 3.2 foi desativado em 8 de julho de 2024. Os fluxos de trabalho existentes continuarão a ser executados, mas as atualizações de segurança e as correções de bugs não estarão mais disponíveis. Os metadados permanecerão temporariamente no workspace do Synapse.
- A partir de 8 de julho de 2024, o Azure Synapse descontinuou o suporte oficial para Runtimes do Spark 3.2. No entanto, com base nas solicitações recebidas de vários clientes, estendemos o uso desse tempo de execução até 31 de outubro de 2024, e a desativação do trabalho começará logo depois disso.
- É altamente recomendável que você atualize suas cargas de trabalho do Apache Spark 3.2 para o Azure Synapse Runtime para Apache Spark 3.4.
- Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para tempos de execução do Spark, verifique e assine Versões e Atualizações de Tempos de Execução do Spark.
Versões do componente
| Componente | Versão |
|---|---|
| Apache Spark | 3.2.1 |
| Sistema operacional | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| O Hadoop | 3.3.1 |
| .NET Core | 3.1 |
| .NET | 2.0.0 |
| Delta Lake | 1,2 |
| Python | 3.8 |
| R (Versão prévia) | 4.2 |
O Synapse-Python38-CPU.yml contém a lista de bibliotecas enviadas no ambiente padrão do Python 3.8 no Azure Synapse Spark.
Bibliotecas
Para verificar as bibliotecas incluídas no Azure Synapse Runtime para Apache Spark 3.2 para Java/Scala, Python e R, acesse Azure Synapse Runtime para Apache Spark 3.2 Notas sobre a versão
Próximas etapas
Migração entre versões do Apache Spark – suporte
Para obter diretrizes sobre como migrar de versões de runtime mais antigas para o Azure Synapse Runtime para Apache Spark 3.3 ou 3.4, consulte Visão geral do Runtime para Apache Spark.