Политика емкости

Область применения: ✅Azure Data Explorer

Политика емкости используется для управления вычислительными ресурсами операций управления данными в кластере.

Объект политики емкости

Политика емкости состоит из следующих компонентов:

• Прием ingestionCapacity
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• ExportCapacity
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• StoredQueryResultsCapacity
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity

Чтобы просмотреть емкость кластера, используйте команду .show capacity .

Емкость приема

Формула

Команда .show capacity возвращает емкость приема кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations, Количество узлов в количестве ядер кластера * Maximum(1, на узел * CoreUtilizationCoefficient))

Емкость слияния экстентов

Формула

Команда .show capacity возвращает емкость слияния кластера на основе следующей формулы:

Число узлов в одновременных операциях кластера * на узел

Эффективное значение для параллельных операций на узел автоматически настраивается системой в диапазоне [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], если скорость успешного выполнения операций слияния составляет 90 % или выше.

Экстенты очистки емкости перестроения

Формула

Команда емкости .show возвращает экстенты восстановления емкости кластера на основе следующей формулы:

Количество узлов в кластере x MaximumConcurrentOperationsPerNode

Экспорт емкости

Формула

Команда .show capacity возвращает емкость экспорта кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations, Количество узлов в количестве ядер кластера * Maximum(1, на узел * CoreUtilizationCoefficient))

Емкость секционирования экстентов

Эффективное значение для параллельных операций автоматически настраивается системой в диапазоне [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], если скорость успешного выполнения операций секционирования составляет 90 % или выше.

Политика емкости материализованных представлений

Политику можно использовать для изменения параметров параллелизма для материализованных представлений. Изменение политики емкости материализованных представлений может оказаться полезным при наличии более одного материализованного представления, определенного в кластере.

Эффективное значение для параллельных операций автоматически настраивается системой в диапазоне [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], в зависимости от количества материализованных представлений в кластере и ЦП кластера.

Емкость результатов хранимого запроса

Формула

Команда .show capacity возвращает хранимую емкость результатов запроса кластера на основе следующей формулы:

Количество узлов в количестве ядер кластера * Maximum(1, на узел * CoreUtilizationCoefficient)

Пропускная способность потоковой передачи после обработки

Формула

Команда емкости .show возвращает объем потоковой передачи потоковой передачи кластера после обработки на основе следующей формулы:

Количество узлов в кластере x MaximumConcurrentOperationsPerNode

Очистка емкости артефактов хранилища

Формула

Команда .show capacity возвращает емкость очистки хранилища кластера на основе следующей формулы:

MaximumConcurrentOperationsPerCluster

Периодические артефакты хранения емкости очистки

Формула

Команда .show емкости возвращает периодические артефакты хранилища кластера для очистки емкости на основе следующей формулы:

MaximumConcurrentOperationsPerCluster

Defaults

Политика емкости по умолчанию имеет следующее представление JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Команды управления

• Используется .show cluster policy capacity для отображения текущей политики емкости кластера.
• Используется .alter-merge cluster policy capacity для изменения политики емкости кластера.

Регулирование команд управления

Kusto ограничивает количество одновременных запросов для следующих команд, инициированных пользователем:

• Прием
  • Эта категория включает команды, которые приема из хранилища, приема из запроса и приема встроенных данных.
  • Ограничение определяется емкостью приема.
• Удаляет
  • Глобальное ограничение в настоящее время устанавливается по одному на кластер.
  • Емкость перестроения очистки используется внутренне для определения количества одновременных операций перестроения во время команд очистки. Команды очистки не будут заблокированы или регулироваться из-за этого процесса, но будут выполняться быстрее или медленнее в зависимости от емкости перестроения очистки.
• Экспорты
  • Ограничение определяется в емкости экспорта.

Когда кластер обнаруживает, что операция превысила ограничение на одновременные запросы:

• Состояние команды, представленное командами системной информации, будет Throttled.
• Сообщение об ошибке будет включать тип команды, источник регулирования и превышенную емкость . Например:
  • Например: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
• Код ответа HTTP будет иметь значение 429. SubCode (дополнительный код) будет TooManyRequests.
• Тип исключения будет ControlCommandThrottledException.

Связанный контент

• .show capacity