Azure Synapse Runtime para Apache Spark 3.3 (EOSA)
O Azure Synapse Analytics dá suporte a vários runtimes para o Apache Spark. Este documento abrange os componentes e as versões de runtime do Azure Synapse para o Apache Spark 3.3.
Aviso
Notificação de fim do suporte para o Azure Synapse Runtime para Apache Spark 3.3
- Em 12 de julho de 2024, foi anunciado o fim do suporte para o Azure Synapse Runtime para Apache Spark 3.3.
- A partir de 31 de março de 2025, o Azure Synapse descontinuará o suporte oficial para Runtimes do Spark 3.3.
- É altamente recomendável que você atualize suas cargas de trabalho baseadas no Apache Spark 3.3 para o Azure Synapse Runtime para Apache Spark 3.4 (GA).
- Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para tempos de execução do Spark, verifique e assine Versões e Atualizações de Tempos de Execução do Spark.
Versões do componente
| Componente | Versão |
|---|---|
| Apache Spark | 3.3.1 |
| Sistema operacional | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| O Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (Versão prévia) | 4.2.2 |
O Synapse-Python310-CPU.yml contém a lista de bibliotecas enviadas no ambiente padrão do Python 3.10 no Azure Synapse Spark.
Importante
.NET para Apache Spark
O .NET para Apache Spark é um projeto de código-fonte aberto no .NET Foundation que atualmente requer a biblioteca .NET 3.1, que atingiu o status fora de suporte. Gostaríamos de informar os usuários do Azure Synapse Spark sobre a remoção da biblioteca .NET para Apache Spark no Azure Synapse Runtime para Apache Spark versão 3.3. Os usuários podem consultar a Política de Suporte do .NET para obter mais detalhes sobre esse assunto.
Como resultado, não será mais possível para os usuários utilizar APIs do Apache Spark por meio de C# e F# ou executar código C# em notebooks no Synapse ou por meio das definições de trabalho do Apache Spark no Synapse. É importante observar que essa alteração afeta apenas o Azure Synapse Runtime para Apache Spark 3.3 e superior.
Continuaremos a dar suporte a .NET para Apache Spark em todas as versões anteriores do Azure Synapse Runtime de acordo com seus estágios de ciclo de vida. No entanto, não temos planos para dar suporte a .NET para Apache Spark no Azure Synapse Runtime para Apache Spark 3.3 e versões futuras. Recomendamos que os usuários com cargas de trabalho existentes escritas em C# ou F# migrem para Python ou Scala. Os usuários são aconselhados a tomar nota dessa informação e planejar adequadamente.
Bibliotecas
Para verificar as bibliotecas incluídas no Azure Synapse Runtime para Apache Spark 3.3 para Java/Scala, Python e R, acesse Azure Synapse Runtime para Apache Spark 3.3
Próximas etapas
- Gerenciar bibliotecas de pools do Apache Spark no Azure Synapse Analytics
- Instalar botão de rolagem de pacotes de workspace (Python), jar (Scala/Java) ou tar.gz (R)
- Gerenciar pacotes por meio da API REST e do Azure PowerShell
- Gerenciar pacotes no escopo da sessão
- Documentação do Apache Spark 3.3.1
- Conceitos do Apache Spark
Migração entre versões do Apache Spark – suporte
Para obter diretrizes sobre como migrar de versões de runtime mais antigas para o Azure Synapse Runtime para Apache Spark 3.3 ou 3.4, consulte Visão geral do Runtime para Apache Spark.