Problema conocido: Se produce un error en las instrucciones de importación de PySpark para los archivos .jar instalados mediante el entorno

Puede cargar un archivo de biblioteca personalizado con un formato .jar en un entorno de Fabric. Aunque la carga y publicación del entorno se realizan correctamente, se produce un error en el comando import en la sesión de PySpark.

Estado: Abierto

Experiencia del producto: Ingeniería de datos

Síntomas

En una sesión de PySpark, se produce un error Clase no encontrada en la instrucción de importación de biblioteca. La biblioteca personalizada con un formato .jar se ha instalado desde un entorno.

Soluciones y soluciones alternativas

Para solucionar este problema, puede usar el siguiente comando para instalar la biblioteca en la sesión de Notebook: %%configure -f { "conf": { "spark.jars": <>", } } como alternativa, puede cambiar de una sesión de PySpark a una de Scala si procede.