Política de capacidade

Aplica-se a: ✅Azure Data Explorer

Uma política de capacidade é usada para controlar os recursos de computação das operações de gerenciamento de dados no cluster.

O objeto de política de capacidade

A política de capacidade é composta pelos seguintes componentes:

• Capacidade de ingestão
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• Capacidade de exportação
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• Capacidade de resultados de consulta armazenada
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity

Para exibir a capacidade do cluster, use o comando .show capacity .

Capacidade de ingestão

Fórmula

O comando .show capacity retorna a capacidade de ingestão do cluster com base na seguinte fórmula:

Minimum(ClusterMaximumConcurrentOperations, Número de nós no cluster * Maximum(1, Contagem de núcleos por nó * CoreUtilizationCoefficient))

Capacidade de mesclagem de extensões

Fórmula

O comando .show capacity retorna a capacidade de mesclagem de extensões do cluster com base na seguinte fórmula:

Número de nós no cluster * Operações simultâneas por nó

O valor efetivo para Operações simultâneas por nó é ajustado automaticamente pelo sistema no intervalo [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], desde que a taxa de sucesso das operações de mesclagem seja de 90% ou mais.

Extensões, limpa, capacidade de reconstrução

Fórmula

O comando .show capacity retorna a capacidade de reconstrução de limpeza de extensões do cluster com base na seguinte fórmula:

Número de nós no cluster x MaximumConcurrentOperationsPerNode

Capacidade de exportação

Fórmula

O comando .show capacity retorna a capacidade de exportação do cluster com base na seguinte fórmula:

Minimum(ClusterMaximumConcurrentOperations, Número de nós no cluster * Maximum(1, Contagem de núcleos por nó * CoreUtilizationCoefficient))

Capacidade de partição de extensões

O valor efetivo para operações simultâneas é ajustado automaticamente pelo sistema no intervalo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], desde que a taxa de sucesso das operações de particionamento seja de 90% ou mais.

Política de capacidade de exibições materializadas

A política pode ser usada para alterar as configurações de simultaneidade para exibições materializadas. Alterar a política de capacidade de exibições materializadas pode ser útil quando há mais de uma única exibição materializada definida em um cluster.

Por padrão, apenas uma única materialização é executada simultaneamente (consulte como funcionam as exibições materializadas). O sistema ajusta a simultaneidade atual no intervalo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], com base no número de exibições materializadas no cluster e na CPU do cluster. Você pode aumentar/diminuir a simultaneidade alterando essa política. Por exemplo, se o cluster tiver dez exibições materializadas, definir o ClusterMinimumConcurrentOperations como cinco garantirá que pelo menos cinco delas possam se materializar simultaneamente. Você pode exibir o valor efetivo da simultaneidade atual usando o comando .show capacity

Capacidade de resultados de consulta armazenados

Fórmula

O comando .show capacity retorna a capacidade de criação de resultados de consulta armazenados do cluster com base na seguinte fórmula:

Número de nós no cluster * Maximum(1, Contagem de * núcleos por nó CoreUtilizationCoefficient)

Capacidade de pós-processamento de ingestão de streaming

Fórmula

O comando .show capacity retorna a capacidade de pós-processamento de ingestão de streaming do cluster com base na seguinte fórmula:

Número de nós no cluster x MaximumConcurrentOperationsPerNode

Limpar a capacidade de limpeza de artefatos de armazenamento

Fórmula

O comando .show capacity retorna a capacidade de limpeza de artefatos de armazenamento de limpeza do cluster com base na seguinte fórmula:

MaximumConcurrentOperationsPerCluster

Capacidade de limpeza periódica de artefatos de armazenamento

Fórmula

O comando .show capacity retorna a capacidade de limpeza de artefatos de armazenamento periódicos do cluster com base na seguinte fórmula:

MaximumConcurrentOperationsPerCluster

Padrões

A política de capacidade padrão tem a seguinte representação JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Comandos de gerenciamento

• Use .show cluster policy capacity para mostrar a política de capacidade atual do cluster.
• Use .alter-merge cluster policy capacity para alterar a política de capacidade do cluster.

Limitação de comandos de gerenciamento

O Kusto limita o número de solicitações simultâneas para os seguintes comandos iniciados pelo usuário:

• Ingestão
  • Essa categoria inclui comandos que ingerem do armazenamento, ingerem de uma consulta e ingerem embutidos.
  • O limite é definido pela capacidade de ingestão.
• Expurgos
  • O limite global está atualmente fixado em um por cluster.
  • A capacidade de reconstrução de limpeza é usada internamente para determinar o número de operações de reconstrução simultâneas durante os comandos de limpeza. Os comandos de limpeza não serão bloqueados ou limitados devido a esse processo, mas serão concluídos mais rápido ou mais lentamente, dependendo da capacidade de reconstrução de limpeza.
• Exportações
  • O limite é definido na capacidade de exportação.

Quando o cluster detecta que uma operação excedeu o limite de solicitações simultâneas:

• O estado do comando, conforme apresentado pelos comandos de informações do sistema, é Throttled.
• A mensagem de erro inclui o tipo de comando, a origem da limitação e a capacidade que foi excedida. Por exemplo:
  • Por exemplo: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
• O código de resposta HTTP é 429. O subcódigo é TooManyRequests.
• O tipo de exceção é ControlCommandThrottledException.

Conteúdo relacionado

• .show capacity