Zasady pojemności

Dotyczy: ✅Azure Data Explorer

Zasady pojemności są używane do kontrolowania zasobów obliczeniowych operacji zarządzania danymi w klastrze.

Obiekt zasad pojemności

Zasady pojemności składają się z następujących składników:

• IngestionCapacity
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• ExportCapacity
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• StoredQueryResultsCapacity
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity

Aby wyświetlić pojemność klastra, użyj polecenia .show capacity .

Pojemność pozyskiwania

Formuła

Polecenie .show capacity zwraca pojemność klastra na podstawie następującej formuły:

Minimum(ClusterMaximumConcurrentOperations, Liczba węzłów w liczbie rdzeni klastra * Maximum(1, na węzeł * CoreUtilizationCoefficient))

Pojemność scalania zakresów

Formuła

Polecenie .show capacity zwraca zakresy klastra scalanie pojemności na podstawie następującej formuły:

Liczba węzłów w klastrze * Współbieżne operacje na węzeł

Efektywna wartość operacji współbieżnych na węzeł jest automatycznie dostosowywana przez system w zakresie [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], o ile wskaźnik powodzenia operacji scalania wynosi 90% lub więcej.

Przeczyszczanie zakresów i ponowne kompilowanie pojemności

Formuła

Polecenie .show capacity zwraca zakresy przeczyszczania klastra ponownie skompilować pojemność na podstawie następującej formuły:

Liczba węzłów w klastrze x MaximumConcurrentOperationsPerNode

Pojemność eksportu

Formuła

Polecenie .show capacity zwraca pojemność eksportu klastra na podstawie następującej formuły:

Minimum(ClusterMaximumConcurrentOperations, Liczba węzłów w liczbie rdzeni klastra * Maximum(1, na węzeł * CoreUtilizationCoefficient))

Pojemność partycji zakresów

Efektywna wartość operacji współbieżnych jest automatycznie dostosowywana przez system w zakresie [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], o ile współczynnik powodzenia operacji partycjonowania wynosi 90% lub więcej.

Zmaterializowane zasady pojemności widoków

Zasady mogą służyć do zmieniania ustawień współbieżności dla zmaterializowanych widoków. Zmiana zmaterializowanych zasad pojemności widoków może być przydatna, gdy w klastrze zdefiniowano więcej niż jeden zmaterializowany widok.

Efektywna wartość operacji współbieżnych jest automatycznie dostosowywana przez system w zakresie [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], na podstawie liczby zmaterializowanych widoków w klastrze i procesora CPU klastra.

Pojemność przechowywanych wyników zapytania

Formuła

Polecenie show capacity zwraca pojemność przechowywanego w klastrze wydajności tworzenia wyników zapytania na podstawie następującej formuły:

Liczba węzłów w liczbie rdzeni klastra * Maximum(1, na węzeł * CoreUtilizationCoefficient)

Wydajność przetwarzania po pozyskiwaniu danych przesyłanych strumieniowo

Formuła

Polecenie .show capacity zwraca wydajność pozyskiwania strumieniowego klastra po przetworzeniu na podstawie następującej formuły:

Liczba węzłów w klastrze x MaximumConcurrentOperationsPerNode

Przeczyszczanie artefaktów magazynu — pojemność oczyszczania

Formuła

Polecenie show capacity zwraca pojemność artefaktów magazynu przeczyszczania klastra w oparciu o następującą formułę:

MaximumConcurrentOperationsPerCluster

Okresowe czyszczenie artefaktów magazynu

Formuła

Polecenie .show capacity zwraca okresową pojemność magazynu klastra w oparciu o następującą formułę:

MaximumConcurrentOperationsPerCluster

Defaults

Domyślne zasady pojemności mają następującą reprezentację w formacie JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Polecenia zarządzania

• Służy .show cluster policy capacity do wyświetlania bieżących zasad pojemności klastra.
• Użyj .alter-merge cluster policy capacity polecenia , aby zmienić zasady pojemności klastra.

Ograniczanie przepustowości poleceń zarządzania

Usługa Kusto ogranicza liczbę współbieżnych żądań dla następujących poleceń inicjowanych przez użytkownika:

• Pozyskiwanie
  • Ta kategoria obejmuje polecenia pozyskiwane z magazynu, pozyskiwania z zapytania i pozyskiwania w tekście.
  • Limit jest zdefiniowany przez pojemność pozyskiwania.
• Przeczyszcza
  • Limit globalny jest obecnie stały na poziomie jednego klastra.
  • Pojemność ponownego kompilowania przeczyszczania jest używana wewnętrznie w celu określenia liczby równoczesnych operacji ponownego kompilowania podczas przeczyszczania poleceń. Polecenia przeczyszczania nie będą blokowane ani ograniczane z powodu tego procesu, ale będą wykonywane szybciej lub wolniej w zależności od pojemności ponownej kompilacji przeczyszczania.
• Eksporty
  • Limit jest zdefiniowany w pojemności eksportu.

Gdy klaster wykryje, że operacja przekroczyła limit żądań współbieżnych:

• Stan polecenia, jak przedstawiono w poleceniach Informacje o systemie, to Throttled.
• Komunikat o błędzie będzie zawierać typ polecenia, źródło ograniczania przepustowości i przekroczoną pojemność . Na przykład: .
  • Na przykład: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
• Kod odpowiedzi HTTP będzie mieć wartość 429. Podkodeks będzie mieć wartość TooManyRequests.
• Typ wyjątku to ControlCommandThrottledException.

Powiązana zawartość

• .show capacity