Problema conhecido - as instruções de importação do PySpark falham para arquivos .jar instalados através do ambiente
Você pode carregar um arquivo de biblioteca personalizado com um formato .jar em um ambiente de malha. Embora o carregamento e a publicação do ambiente sejam bem-sucedidos, o comando import falha na sessão do PySpark.
Estado: Corrigido: 7 de novembro de 2024
Experiência do produto: Engenharia de dados
Sintomas
Em uma sessão do PySpark, a instrução import library falha com um erro Class not found . A biblioteca personalizada com um formato .jar foi instalada através de um ambiente.
Soluções e soluções alternativas
Para contornar esse problema, você pode usar o seguinte comando para instalar a biblioteca na sessão do bloco de anotações: %%configure -f { "conf": { "spark.jars": <>", } } Como alternativa, você pode alternar de uma sessão PySpark para uma sessão Scala, se aplicável.