Problema conhecido: as instruções de importação do PySpark falham para arquivos .jar instalados por meio do ambiente
Você pode carregar um arquivo de biblioteca personalizado com um formato .jar em um ambiente do Fabric. Embora o carregamento e a publicação do ambiente sejam bem-sucedidos, o comando de importação falha na sessão do PySpark.
Status: aberto
Experiência do produto: Engenharia de Dados
Sintomas
Em uma sessão do PySpark, a instrução da biblioteca de importação falha com um erro classe não encontrada. A biblioteca personalizada com um formato .jar foi instalada por meio de um ambiente.
Soluções e alternativas
Para contornar esse problema, você pode usar o seguinte comando para instalar a biblioteca na sessão do Notebook: %%configure -f { "conf": { "spark.jars": <>", } } Como alternativa, você pode alternar de uma sessão do PySpark para uma sessão do Scala, se aplicável.