Zásady kapacity

Platí pro: ✅Azure Data Explorer

Zásady kapacity se používají k řízení výpočetních prostředků operací správy dat v clusteru.

Objekt zásad kapacity

Zásady kapacity jsou tvořeny následujícími komponentami:

• Kapacita příjmu dat
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• ExportCapacity
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• StoredQueryResultsCapacity
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity

Pokud chcete zobrazit kapacitu clusteru, použijte příkaz .show capacity .

Kapacita příjmu dat

Vzorec

Příkaz .show capacity vrátí kapacitu clusteru pro příjem dat na základě následujícího vzorce:

Minimum(ClusterMaximumConcurrentOperations, Počet uzlů v počtu jader clusteru * Maximum(1, na uzel * CoreUtilizationCoefficient))

Kapacita sloučení rozsahů

Vzorec

Příkaz .show capacity vrátí kapacitu sloučení rozsahů clusteru na základě následujícího vzorce:

Počet uzlů v souběžných operacích clusteru * na uzel

Efektivní hodnota souběžných operací na uzel se automaticky upraví systémem v rozsahu [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], pokud je úspěšnost operací sloučení 90 % nebo vyšší.

Vyprázdnění kapacity opětovného sestavení rozsahů

Vzorec

Příkaz .show capacity vrátí kapacitu vyprázdnění rozsahů clusteru na základě následujícího vzorce:

Počet uzlů v clusteru x MaximumConcurrentOperationsPerNode

Export kapacity

Vzorec

Příkaz .show capacity vrátí kapacitu exportu clusteru na základě následujícího vzorce:

Minimum(ClusterMaximumConcurrentOperations, Počet uzlů v počtu jader clusteru * Maximum(1, na uzel * CoreUtilizationCoefficient))

Kapacita oddílů rozsahů

Efektivní hodnota souběžných operací se automaticky upraví systémem v rozsahu [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], pokud je úspěšnost operací dělení 90 % nebo vyšší.

Materializovaná zobrazení – zásady kapacity

Zásady lze použít ke změně nastavení souběžnosti pro materializovaná zobrazení. Změna zásad kapacity materializovaných zobrazení může být užitečná v případech, kdy je v clusteru definováno více materializovaných zobrazení.

Ve výchozím nastavení se souběžně spouští pouze jedna materializace (podívejte se, jak materializovaná zobrazení fungují). Systém upraví aktuální souběžnost v rozsahu [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], na základě počtu materializovaných zobrazení v clusteru a procesoru clusteru. Změnou této zásady můžete zvýšit nebo snížit souběžnost. Pokud má například cluster deset materializovaných zobrazení, nastavení ClusterMinimumConcurrentOperations na pět zajistí, že nejméně pět z nich může materializovat současně. Efektivní hodnotu pro aktuální souběžnost můžete zobrazit pomocí příkazu .show capacity

Uložená kapacita výsledků dotazů

Vzorec

Příkaz .show capacity vrátí kapacitu uložených výsledků dotazu clusteru na základě následujícího vzorce:

Počet uzlů v počtu jader clusteru * Maximum(1, na uzel * CoreUtilizationCoefficient)

Kapacita příjmu streamovaných dat po zpracování

Vzorec

Příkaz .show capacity vrátí kapacitu streamování clusteru po zpracování na základě následujícího vzorce:

Počet uzlů v clusteru x MaximumConcurrentOperationsPerNode

Vymazání kapacity čištění artefaktů úložiště

Vzorec

Příkaz .show capacity vrátí kapacitu vyprázdnění artefaktů úložiště clusteru na základě následujícího vzorce:

MaximumConcurrentOperationsPerCluster

Kapacita čištění pravidelných artefaktů úložiště

Vzorec

Příkaz .show capacity vrátí pravidelnou kapacitu vyčištění artefaktů úložiště clusteru na základě následujícího vzorce:

MaximumConcurrentOperationsPerCluster

Defaults

Výchozí zásady kapacity mají následující reprezentaci JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Příkazy pro správu

• Slouží .show cluster policy capacity k zobrazení aktuálních zásad kapacity clusteru.
• Slouží .alter-merge cluster policy capacity ke změně zásad kapacity clusteru.

Omezování příkazů správy

Kusto omezuje počet souběžných požadavků pro následující příkazy iniciované uživatelem:

• Příjem dat
  • Tato kategorie zahrnuje příkazy, které ingestují z úložiště, ingestují z dotazu a ingestují inline.
  • Limit je definovaný kapacitou příjmu dat.
• Očišťuje
  • Globální limit je aktuálně pevný v jednom clusteru.
  • Kapacita vyprázdnění opětovného sestavení se používá interně k určení počtu souběžných operací opětovného sestavení během příkazů mazání. Příkazy mazání nebudou kvůli tomuto procesu blokovány ani omezeny, ale v závislosti na kapacitě opětovného sestavení vyprázdnění se dokončí rychleji nebo pomaleji.
• Exporty
  • Limit je definovaný v kapacitě exportu.

Když cluster zjistí, že operace překročila limit souběžných požadavků:

• Stav příkazu, jak je znázorněno příkazy systémové informace, je Throttled.
• Chybová zpráva obsahuje typ příkazu, původ omezování a překročenou kapacitu. Příklad:
  • Například: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
• Kód odpovědi HTTP je 429. Podkód je TooManyRequests.
• Typ výjimky je ControlCommandThrottledException.

Související obsah

• .show capacity