Tempo de execução da malha 1.1 (EOSA)
O Microsoft Fabric Runtime é uma plataforma integrada ao Azure baseada no Apache Spark que permite a execução e o gerenciamento das experiências de Engenharia de Dados e Ciência de Dados no Fabric. Este documento abrange os componentes e versões do Fabric Runtime 1.1.
Aviso
A data de fim do suporte para o Runtime 1.1 foi anunciada como 12 de julho de 2024. O Runtime 1.1, baseado no Apache Spark 3.3, será preterido e desativado a partir de 31 de março de 2025. Atualize seu espaço de trabalho e ambientes para Runtime 1.2 ou Runtime 1.3. Para obter o ciclo de vida completo e as políticas de suporte dos tempos de execução do Apache Spark na malha, consulte Ciclo de vida dos tempos de execução do Apache Spark na malha.
O Microsoft Fabric Runtime 1.1 é um dos tempos de execução oferecidos na plataforma Microsoft Fabric. Os principais componentes do Runtime 1.1 são:
- Apache Spark 3,3
- Sistema Operacional: Ubuntu 18.04
- Java: 1.8.0_282
- Escala: 2.12.15
- Píton: 3.10
- Lago Delta: 2.2
- R: 4.2.2
Gorjeta
Use sempre a versão mais recente do tempo de execução do GA para sua carga de trabalho de produção, que atualmente é o Runtime 1.3.
O Microsoft Fabric Runtime 1.1 vem com uma coleção de pacotes de nível padrão, incluindo uma instalação completa do Anaconda e bibliotecas comumente usadas para Java/Scala, Python e R. Essas bibliotecas são incluídas automaticamente ao usar blocos de anotações ou trabalhos na plataforma Microsoft Fabric. Consulte a documentação para obter uma lista completa de bibliotecas.
O Microsoft Fabric lança periodicamente atualizações de manutenção para o Runtime 1.1, oferecendo correções de bugs, aprimoramentos de desempenho e patches de segurança. Garantir que você se mantenha atualizado com essas atualizações garante um desempenho e confiabilidade ideais para suas tarefas de processamento de dados. Se você estiver usando o Runtime 1.1, poderá atualizar para o Runtime 1.3 ou para o Runtime 1.2 navegando até Workspace Settings > Data Engineering / Science > Spark Settings > Environment.
Novos recursos e melhorias - Apache Spark 3.3.1
Leia a versão completa das notas de lançamento para uma versão específica do Apache Spark visitando o Spark 3.3.0 e o Spark 3.3.1.
Novos recursos e melhorias - Delta Lake 2.2
Verifique a fonte e as notas de lançamento completas em Delta Lake 2.2.0.
Pacotes de nível padrão para Java/Scala
Para obter uma lista de todos os pacotes de nível padrão para Java, Scala, Python e suas respetivas versões, consulte as notas de versão.
Migração entre diferentes versões do Apache Spark
A migração de suas cargas de trabalho para o Fabric Runtime 1.1 (Apache Spark 3.3) de uma versão mais antiga do Apache Spark envolve uma série de etapas para garantir uma migração suave. Este guia descreve as etapas necessárias para ajudá-lo a migrar de forma eficiente e eficaz.
Analise as notas de versão do Fabric Runtime 1.1, incluindo a verificação dos componentes e pacotes de nível padrão incluídos no tempo de execução, para entender os novos recursos e melhorias.
Verifique a compatibilidade da sua configuração atual e de todas as bibliotecas relacionadas, incluindo dependências e integrações. Analise os guias de migração para identificar possíveis alterações de rutura:
- Consulte o guia de migração do Spark Core.
- Consulte o guia de migração SQL, Datasets e DataFrame.
- Se a sua solução estiver relacionada ao Apache Spark Structure Streaming, consulte o guia de migração do Structured Streaming.
- Se você usa o PySpark, consulte o guia de migração do Pyspark.
- Se você migrar o código do Koalas para o PySpark, revise o guia de migração da API do Koalas para pandas no Spark.
Mova suas cargas de trabalho para o Fabric e certifique-se de ter backups de seus dados e arquivos de configuração caso precise reverter para a versão anterior.
Atualize todas as dependências que a nova versão do Apache Spark ou outros componentes relacionados ao Fabric Runtime 1.1 possam afetar, incluindo bibliotecas ou conectores de terceiros. Certifique-se de testar as dependências atualizadas em um ambiente de preparo antes de implantar na produção.
Atualize a configuração do Apache Spark em sua carga de trabalho, incluindo a atualização de definições de configuração, ajuste de alocações de memória e modificação de quaisquer configurações preteridas.
Modifique seus aplicativos Apache Spark (notebooks e definições de trabalho do Apache Spark) para usar as novas APIs e recursos introduzidos no Fabric Runtime 1.1 e no Apache Spark 3.3. Talvez seja necessário atualizar seu código para acomodar APIs preteridas ou removidas e refatorar seus aplicativos para aproveitar as melhorias de desempenho e as novas funcionalidades.
Teste completamente seus aplicativos atualizados em um ambiente de preparação para garantir compatibilidade e estabilidade com o Apache Spark 3.3. Execute testes de desempenho, testes funcionais e testes de regressão para identificar e resolver quaisquer problemas que possam surgir durante o processo de migração.
Depois de validar seus aplicativos em um ambiente de preparação, implante os aplicativos atualizados em seu ambiente de produção. Monitore o desempenho e a estabilidade de seus aplicativos após a migração para identificar quaisquer problemas que precisem ser resolvidos.
Atualize sua documentação interna e materiais de treinamento para refletir as alterações introduzidas no Fabric Runtime 1.1. Certifique-se de que os membros da sua equipe estejam familiarizados com os novos recursos e melhorias para maximizar os benefícios da migração.