使用帐户策略管理 Azure Data Lake Analytics

  • 项目

帐户策略可以帮助你控制 Azure Data Lake Analytics 帐户资源的使用方式。 这些策略允许你控制使用 Azure Data Lake Analytics 的成本。 例如，通过这些策略，你可以通过限制帐户同时使用多少个 AU 来防止成本超出预期。

重要

Azure Data Lake Analytics已于 2024 年 2 月 29 日停用。 通过此公告了解更多信息。

对于数据分析，你的组织可以使用 Azure Synapse Analytics 或 Microsoft Fabric。

帐户级策略

这些策略适用于 Data Lake Analytics 帐户中的所有作业。

Data Lake Analytics 帐户中的最大 AU 数

由策略控制 Data Lake Analytics 帐户可使用的分析单位 (AU) 总数。 默认情况下，该值设置为 250。 例如，如果此值设置为 250 个 AU，可以运行一个作业，向它分配 250 个 AU；也可以运行 10 个作业，每个作业分配 25 个 AU。 提交的其他作业将排入队列，直到正在运行的作业完成。 正在运行的作业完成后，释放 AU，用于要运行的已排队作业。

更改 Data Lake Analytics 帐户的 AU 数：

  1. 在 Azure 门户中转到 Data Lake Analytics 帐户。

  2. 选择“ 限制和策略”。

  3. 在“最大 AU 数”下，移动滑块选择一个值，或在文本框中输入值。

  4. 选择“保存” 。

    注意

    如果需要的数量大于默认 AU 数 (250)，在门户中单击“帮助 + 支持”提交支持请求。 可增加 Data Lake Analytics 帐户中可用的 AU 数。

可同时运行的最大作业数

此策略限制可以同时运行的作业数。 默认情况下，此值设置为 20。 如果 Data Lake Analytics 有 AU 可用，将立即计划运行新的作业，直到运行作业的总数到达此策略的值。 达到可同时运行的最大作业数时，后续作业将按优先级进行排队，直到一个或多个正在运行的作业完成（具体取决于可用 AU 数）。

更改可同时运行的作业数：

  1. 在 Azure 门户中转到 Data Lake Analytics 帐户。

  2. 选择“ 限制和策略”。

  3. 在“运行作业的最大数”下，移动滑块选择一个值，或在文本框中输入值。

  4. 选择“保存” 。

    注意

    如果需运行的作业数大于默认作业数 (20)，请在门户中单击“帮助 + 支持”提交支持请求。 可增加 Data Lake Analytics 帐户中可同时运行的作业数。

保留作业元数据和资源的时长

用户运行 U-SQL 作业时，Data Lake Analytics 服务会保留所有相关文件。 这些文件包括 U-SQL 脚本、U-SQL 脚本中引用的 DLL 文件、编译的资源和统计信息。 文件位于默认 Azure Data Lake 存储帐户的 /system/ 文件夹中。 此策略控制这些资源在自动删除之前存储的时长， (默认值为 30 天) 。 可使用这些文件对将来要重新运行的作业进行调试和性能优化。

更改保留作业元数据和资源的时长：

  1. 在 Azure 门户中转到 Data Lake Analytics 帐户。
  2. 选择“ 限制和策略”。
  3. 在“保留作业查询的天数”下，移动滑块选择一个值，或在文本框中输入值。
  4. 选择“保存” 。

作业级策略

通过作业级策略，可控制单个用户（或特定安全组成员）在提交的作业上设置的最大 AU 数和最高优先级。 此策略可以控制用户所产生的成本。 它还允许控制计划作业可能对在同一 Data Lake Analytics 帐户中的运行且优先级较高的生产作业产生的影响。

Data Lake Analytics 有两个可在作业级别设置的策略：

  • 每个作业的 AU 限制：用户只可以提交所含 AU 数不超过此数字的作业。 默认情况下，此限制与帐户的最大 AU 限制相同。

  • 优先级：用户只可提交优先级低于或等于此值的作业。 数字越大优先级越低。 默认情况下，此限制值设置为 1，这是可能的最高优先级。

每个帐户都设置了默认策略。 默认策略适用于帐户的所有用户。 可以为特定用户和组创建更多策略。

注意

帐户级策略和作业级策略同时应用。

添加用于特定用户或组的策略

  1. 在 Azure 门户中转到 Data Lake Analytics 帐户。

  2. 选择“ 限制和策略”。

  3. 在 “作业提交限制”下，选择“ 添加策略 ”按钮。 然后选择或输入以下设置：

    1. 计算策略名称：输入策略名称，提醒策略的用途。

    2. 选择用户或组：选择此策略适用的用户或组。

    3. 设置作业 AU 限制：设置适用于所选用户或组的 AU 限制。

    4. 设置优先级限制：设置适用于所选用户或组的优先级限制。

  4. 选择“确定” 。

  5. 新策略在“默认”策略表的“作业提交限制”下列出。

删除或编辑现有策略

  1. 在 Azure 门户中转到 Data Lake Analytics 帐户。

  2. 选择“ 限制和策略”。

  3. 在“作业提交限制”下找到要编辑的策略。

  4. 若要查看“删除”和“编辑”选项，请在表最右侧的列中选择 。...

有关作业策略的更多资源

后续步骤