Известная проблема. Среда выполнения Fabric 1.3 вызывает недопустимые библиотеки
Среда выполнения Fabric 1.3 включает Apache Spark 3.5. Spark 3.5 выпустила основное обновление 15 августа 2024 г., что приводит к тому, что пользовательские библиотеки, установленные в средах Fabric, становятся недействительными. Запуск сеансов определения заданий и записных книжек и Spark завершается сбоем при использовании недопустимой среды.
Состояние: исправлено: 7 ноября 2024 г.
Опыт работы с продуктом: Инжиниринг данных
Симптомы
При выполнении нового сеанса определения заданий Spark с средой выполнения Fabric 1.3 запуск сеанса Spark завершается ошибкой Spark_Ambiguous_SparkSubmit_PersonalizationFailed .
Решения и обходные пути
Чтобы устранить проблему, выполните следующие действия.
- Перейдите к экземпляру среды с средой выполнения 1.3 в рабочей области
- Внесите изменения в раздел библиотек по мере необходимости на основе зависимостей библиотек
- Сохраните и опубликуйте среду снова. Среда перестроена с последним обновлением среды выполнения Spark 3.5.