Apache Spark 监视概述

Microsoft Fabric Spark 监视旨在提供基于 Web UI 的体验,其中包含内置丰富的功能,用于监视正在进行的 Spark 应用程序的进度和状态、浏览过去的 Spark 活动、分析和优化性能以及促进故障故障排除。 多个入口点可用于浏览、监视和查看 Spark 应用程序详细信息。

监视中心

监视中心充当集中门户,用于跨项目浏览 Spark 活动。 你可以一目了然地查看从笔记本、Spark 作业定义和管道触发的正在进行的 Spark 应用程序。 还可以根据不同的条件搜索和筛选 Spark 应用程序,并向下钻取以查看 Spark 应用程序的更多 Spark 执行详细信息。

项目最近运行

处理特定项目时,“项目最近运行”功能允许你浏览项目的当前和最近活动,并获取有关你或其他人提交的活动的提交者、状态、持续时间以及其他信息的见解。

笔记本上下文监视

笔记本上下文监视提供在单个位置创作、监视和调试 Spark 作业的功能。 可以在笔记本单元格级别监视 Spark 作业进度、查看 Spark 执行任务和执行程序,以及访问笔记本中的 Spark 日志。 Spark 顾问还内置于笔记本中,可提供有关代码和单元格 Spark 执行的实时建议,并执行错误分析。

Spark 作业定义内联监视

使用 Spark 作业定义内联监视功能,可以实时查看 Spark 作业定义提交和运行状态,以及查看 Spark 作业定义的过去运行和配置。 可以导航到 Spark 应用程序详细信息页以查看更多详细信息。

管道 Spark 活动内联监视

对于管道 Spark 活动内联监视,已将深层链接内置到管道中的笔记本和 Spark 作业定义活动中。 可以查看 Spark 应用程序执行详细信息、相应的笔记本和 Spark 作业定义快照,并访问 Spark 日志进行故障排除。 如果 Spark 活动失败,则管道 Spark 活动中也提供内联错误消息。