Мониторинг заданий Spark в записной книжке
Записная книжка Microsoft Fabric — это веб-интерактивная поверхность для разработки заданий Apache Spark и проведения экспериментов машинного обучения. В этой статье описывается, как отслеживать ход выполнения заданий Spark, получать советы в записной книжке и переходить к представлению сведений о приложении Spark или пользовательскому интерфейсу Spark для получения более подробных сведений о мониторинге всей записной книжки.
Мониторинг хода выполнения задания Spark
Индикатор хода выполнения задания Spark предоставляется в режиме реального времени, который помогает отслеживать состояние выполнения задания для каждой ячейки записной книжки. Состояние и ход выполнения задач можно просмотреть в заданиях и этапах Spark.
Мониторинг использования ресурсов
График использования исполнителя визуально отображает выделение исполнителей заданий Spark и использование ресурсов. В настоящее время отображаются только сведения о среде выполнения spark 3.4 и выше. На вкладке "Ресурсы" отобразится линейчатая диаграмма для использования ресурсов ячейки кода.
Просмотр рекомендаций помощника по Spark
Встроенный помощник Spark анализирует код записной книжки и выполнение Spark в режиме реального времени, чтобы оптимизировать производительность записной книжки и помочь в отладке сбоев. Существует три типа встроенных советов: сведения, предупреждение и ошибка. Значки с числами указывают соответствующее количество советов в каждой категории (сведения, предупреждение и ошибка), созданные помощником Spark для определенной ячейки записной книжки.
Чтобы просмотреть совет, щелкните стрелку в начале, чтобы развернуть и показать сведения.
После расширения раздела помощника одна или несколько советов становятся видимыми.
Обнаружение отклонений помощника По Spark
Отклонение данных — это распространенный вопрос, с которым часто сталкиваются пользователи. Помощник Spark поддерживает обнаружение отклонений и при обнаружении отклонений соответствующий анализ отображается ниже.
Доступ к журналам Spark в режиме реального времени
Журналы Spark необходимы для поиска исключений и диагностики производительности или сбоев. Функция контекстного мониторинга в записной книжке содержит журналы непосредственно для конкретной ячейки, которая выполняется. Вы можете искать журналы или фильтровать их по ошибкам и предупреждениям.
Перейдите к сведениям о мониторинге Spark и пользовательском интерфейсе Spark
Если вы хотите получить доступ к дополнительным сведениям о выполнении Spark на уровне записной книжки, перейдите на страницу сведений о приложении Spark или пользовательский интерфейс Spark с помощью параметров, доступных в контекстном меню.
