容量策略

适用于：✅Azure 数据资源管理器

容量策略用于控制群集上数据管理操作的计算资源。

容量策略对象

容量策略由以下组件构成：

• IngestionCapacity
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• ExportCapacity
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• StoredQueryResultsCapacity
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity

若要查看群集的容量，请使用 .showcapacity 命令。

引入容量

公式

.showcapacity 命令根据以下公式返回群集的引入容量：

Minimum(ClusterMaximumConcurrentOperations ,群集中的节点数* Maximum(1,每个节点的核心计数* CoreUtilizationCoefficient))

盘区合并容量

公式

.showcapacity 命令根据以下公式返回群集的盘区合并容量：

群集中的节点数 *每个节点的并发操作数

“每个节点的并发操作数”的有效值在 [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode] 范围内由系统自动调整，前提是合并操作的成功率等于或高于 90%。

盘区清除重新生成容量

公式

.showcapacity 命令根据以下公式返回群集的盘区清除重新生成容量：

群集中的节点数 x MaximumConcurrentOperationsPerNode

导出容量

公式

.showcapacity 命令根据以下公式返回群集的导出容量：

Minimum(ClusterMaximumConcurrentOperations ,群集中的节点数* Maximum(1,每个节点的核心计数* CoreUtilizationCoefficient))

盘区分区容量

“并发操作数”的有效值在 [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations] 范围内由系统自动调整，前提是分区操作的成功率等于或高于 90%。

具体化视图容量策略

该策略可用于更改具体化视图的并发设置。 当群集上定义了多个具体化视图时，更改具体化视图容量策略可能很有用。

默认情况下，只有一个具体化同时运行（请参阅 具体化视图的工作原理）。 系统根据群集中具体化视图数和群集的 CPU 调整范围 [ClusterMinimumConcurrentOperations，ClusterMaximumConcurrentOperations] 中的当前并发性。 可以通过更改此策略来增加/减少并发性。 例如，如果群集具有十个具体化视图，则设置为 ClusterMinimumConcurrentOperations 5 可确保其中至少有 5 个可以同时具体化。 可以使用 .show capacity 命令查看当前并发 的有效值

存储查询结果容量

公式

.showcapacity 命令根据以下公式返回群集的存储查询结果创建容量：

群集中的节点数* Maximum(1,每个节点的核心计数* CoreUtilizationCoefficient)

流式引入后处理容量

公式

.show capacity 命令根据以下公式返回群集的流式引入后处理容量：

群集中的节点数 x MaximumConcurrentOperationsPerNode

清除存储项目清理容量

公式

.show capacity 命令根据以下公式返回群集的清除存储项目清理容量：

MaximumConcurrentOperationsPerCluster

定期存储项目清理容量

公式

.show capacity 命令根据以下公式返回群集的定期存储项目清理容量：

MaximumConcurrentOperationsPerCluster

默认值

默认容量策略具有以下 JSON 表示形式：

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

管理命令

• 使用 .show cluster policy capacity 显示群集的当前容量策略。
• 使用 .alter-merge cluster policy capacity 更改群集的容量策略。

管理命令限制

Kusto 限制以下用户启动命令的并发请求数：

• 引入
  • 此类别包括用于从存储引入、从查询引入和内联引入的命令。
  • 此限制由引入容量定义。
• 清除
  • 全局限制当前固定为每个群集一个。
  • 清除重新生成容量在内部用于确定执行清除命令期间的并发重新生成操作数。 清除命令不会因此过程而被阻止/限制，而将以更快或更慢的速度运行，具体取决于清除重新生成容量。
• 导出
  • 此限制是在导出容量中定义的。

当群集检测到某个操作超过了并发请求的限制时：

• 命令的状态由系统信息命令显示。Throttled
• 错误消息包括 命令类型、 限制的源 以及 超出的容量 。 例如：
  • 例如：The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'。
• HTTP 响应代码为 429. 子代码为 TooManyRequests.
• 异常类型为 ControlCommandThrottledException.

相关内容

• .show capacity