作业的 JAR 任务

  • 项目

使用 JAR 任务可部署编译为 JAR 的 Scala 或 Java 代码 (Java ARchive)。

重要

Scala 对 Unity Catalog 共享访问模式的支持存在限制。 请参阅 Unity Catalog 共享访问模式的语言支持以及 Unity Catalog 共享访问模式的 Spark API 限制和要求。

共享访问模式需要管理员向 allowlist 添加 Maven 坐标和 JAR 库的路径。 请参阅将共享计算上的库和 init 脚本加入允许列表。

必须将 JAR 文件存储在计算配置支持的位置。 请参阅 Java 和 Scala 库支持。

要求

  • 必须选择支持 Scala 工作负载的计算配置。
  • 必须将 JAR 文件上传到与计算配置兼容的位置或 Maven 存储库。
  • JAR 文件中的代码必须使用 SparkContext.getOrCreate 来获取 Spark 上下文。

配置 JAR 任务

通过执行以下操作，从作业 UI 中的“任务”选项卡添加 JAR 任务：

  1. 在“类型”下拉菜单中，选择“JAR”。
  2. 指定“Main 类”。
    • 这是类的全名，包含要执行的主要方法。 该类必须包含在配置为“依赖库”的 JAR 中。
  3. 使用“计算”来选择或配置一个支持 JAR 中逻辑的群集。
  4. 单击“依赖库”下的“+ 添加”。 此时会显示“添加依赖库”对话框。
    • 可以选择现有的 JAR 文件或上传新的 JAR 文件。
    • 并非所有位置都支持 JAR 文件。
    • 并非所有计算配置在所有支持的位置都支持 JAR 文件。
    • 每个“库源”都有不同的 JAR 文件选择或上传流程。 请参阅库。
  5. （可选）将“参数”配置为作为参数传递给 main 类的字符串列表。 请参阅配置任务参数。
  6. 单击“保存任务”。