Problema conhecido - Os trabalhos do Spark podem falhar devido às atualizações do Runtime 1.3 para GA
O Microsoft Fabric Runtime 1.3 baseado no Apache Spark 3.5 entrou em disponibilidade geral (GA) em 23 de setembro de 2024. O Fabric Runtime 1.3 agora pode ser usado para cargas de trabalho de produção. Como parte da transição da visualização pública para o estágio de disponibilidade geral, lançamos grandes atualizações internas de bibliotecas para melhorar a funcionalidade, a segurança, a confiabilidade e o desempenho. Essas atualizações podem afetar seus ambientes do Microsoft Fabric se você instalou bibliotecas ou substituiu a versão interna da biblioteca pelo Runtime 1.3.
Estado: Aberto
Experiência do produto: Engenharia de dados
Sintomas
Se você instalou os ambientes com bibliotecas com Runtime 1.3, o trabalho do Spark começará a falhar com um erro semelhante ao Post Personalization failed. A importação de bibliotecas personalizadas instaladas pode falhar devido à atualização das bibliotecas internas subjacentes.
Soluções e soluções alternativas
Reinstale as bibliotecas do Fabric Runtime 1.3 em seus ambientes do Microsoft Fabric. A reinstalação cria a nova dependência com base nas atualizações mais recentes. Se suas bibliotecas personalizadas tiverem dependências incompatíveis com pacotes internos do Python, a instalação falhará e um log de autodepuração será gerado com a lista de versões necessárias. Você pode atualizar as dependências para tornar suas bibliotecas personalizadas compatíveis. Pode haver incompatibilidades ou alterações de quebra no notebook ou pipeline existente à medida que os pacotes Python subjacentes foram alterados. Você precisa revisitar o código para mitigar.