Zásady dělení

Platí pro: ✅Microsoft Fabric✅Azure Data Explorer

Zásady dělení definují, jestli a jak se mají rozsahy (horizontální oddíly dat) dělit pro konkrétní tabulku nebo materializované zobrazení.

Zásady aktivují další proces na pozadí, který se provádí po vytvoření rozsahů po příjmu dat. Tento proces zahrnuje reingestování dat ze zdrojových rozsahů a vytváření homogenních rozsahů, ve kterých se všechny hodnoty sloupce určeného jako klíč oddílu nacházejí v jednom oddílu.

Hlavním cílem zásad dělení je zvýšit výkon dotazů v konkrétních podporovaných scénářích.

Podporované scénáře

Tady jsou jediné scénáře, ve kterých se doporučuje nastavení zásad dělení dat. Ve všechostatníchch

• Časté filtry pro střední nebo vysokou kardinalitu string nebo guid sloupec:
  • Příklad: víceklientová řešení nebo tabulka metrik, kde většina nebo všechny dotazy filtrují sloupec typu string nebo , například nebo TenantId MetricId.guid
  • Střední kardinalita je alespoň 10 000 jedinečných hodnot.
  • Nastavte klíč oddílu string hash na hodnotu nebo guid sloupec a nastavte PartitionAssignmentMode vlastnost na uniform.
• Časté agregace nebo spojení ve vysoké kardinalitě string nebo guid sloupci:
  • Například informace o IoT z mnoha různých senzorů nebo akademické záznamy mnoha různých studentů.
  • Vysoká kardinalita je alespoň 1 000 000 jedinečných hodnot, kde rozdělení hodnot ve sloupci je přibližně sudé.
  • V tomto případě nastavte klíč oddílu hash tak, aby byl sloupec často seskupený nebo připojený a nastavte PartitionAssignmentMode vlastnost na ByPartition.
• Příjem dat mimo pořadí:
  • Data ingestovaná do tabulky nemusí být seřazená a rozdělená do rozsahů (horizontálních oddílů) podle konkrétního datetime sloupce, který představuje čas vytvoření dat a běžně se používá k filtrování dat. Důvodem může být backfill z heterogenních zdrojových souborů, které obsahují hodnoty data a času v průběhu velkého časového rozsahu.
  • V tomto případě nastavte klíč oddílu datetime v jednotném rozsahu datetime jako sloupec.
  • Pokud potřebujete zásady uchovávání informací a ukládání do mezipaměti, aby byly v souladu s hodnotami data a času ve sloupci, místo toho, aby odpovídaly času příjmu dat, nastavte OverrideCreationTime vlastnost na truehodnotu .

Klíče oddílu

Podporují se následující typy klíčů oddílů.

Klíč oddílu hash

Pokud zásada obsahuje klíč oddílu hash, všechny homogenní rozsahy, které patří do stejného oddílu, se přiřadí stejnému datovému uzlu.

• Funkce hash-modulo slouží k rozdělení dat.
• Data v homogenních (dělených) rozsahech se řadí podle klíče oddílu hash.
  • Pokud je klíč oddílu hash definovaný v tabulce, nemusíte do zásad pořadí řádků zahrnout klíč hash.
• Dotazy, které používají strategii náhodného prohazování a ve kterých shuffle key se používá joinsummarize make-series nebo je klíč oddílu hash tabulky, mají fungovat lépe, protože se snižuje množství dat potřebných k pohybu mezi uzly.

Vlastnosti oddílu

Příklad klíče oddílu hash

Hash partition key over a string-typed column named tenant_id. Používá XxHash64 funkci hash s MaxPartitionCount nastavenou na doporučenou hodnotu 128a výchozí hodnotu Seed 1.

{
  "ColumnName": "tenant_id",
  "Kind": "Hash",
  "Properties": {
    "Function": "XxHash64",
    "MaxPartitionCount": 128,
    "Seed": 1,
    "PartitionAssignmentMode": "Uniform"
  }
}

Uniform range datetime partition key

V těchto případech můžete data mezi rozsahy přemístit tak, aby každý rozsah obsahoval záznamy z omezeného časového rozsahu. Tento proces vede k datetime efektivnějšímu filtrování sloupce v době dotazu.

Použitá funkce oddílu je bin_at() a není přizpůsobitelná.

Vlastnosti oddílu

Příklad oddílu datetime v jednotném rozsahu

Fragment kódu ukazuje klíč oddílu rozsahu data a času přes datetime zadaný sloupec s názvem timestamp. Používá datetime(2021-01-01) se jako referenční bod s velikostí 7d každého oddílu a nepřepíše časy vytváření rozsahů.

{
  "ColumnName": "timestamp",
  "Kind": "UniformRange",
  "Properties": {
    "Reference": "2021-01-01T00:00:00",
    "RangeSize": "7.00:00:00",
    "OverrideCreationTime": false
  }
}

Objekt zásad

Ve výchozím nastavení zásady dělení dat tabulky jsou null, v takovém případě se data v tabulce po ingestování nepředělá.

Zásady dělení dat mají následující hlavní vlastnosti:

• PartitionKeys:

  • Kolekce klíčů oddílů, které definují, jak rozdělit data v tabulce.
  • Tabulka může mít až klíče 2 oddílů s jednou z následujících možností:
    • Jeden klíč oddílu hash.
    • Jeden klíč oddílu datetime v jednotném rozsahu
    • Jeden klíč oddílu hash a jeden klíč oddílu datetime v jednotném rozsahu
  • Každý klíč oddílu má následující vlastnosti:
    • ColumnName: string – Název sloupce, podle kterého budou data rozdělena.
    • Kind: string – Druh dělení dat, který se má použít (Hash nebo UniformRange).
    • Properties: property bag – Definuje parametry podle toho, které dělení se provádí.

• EffectiveDateTime:

  • Datum a čas UTC, ze kterého je zásada platná.
  • Tato vlastnost je nepovinná. Pokud není zadaný, zásada se projeví pro data ingestovaná po použití zásady.

Příklad dělení dat

Objekt zásad dělení dat se dvěma klíči oddílu.

1. Hash partition key over a string-typed column named tenant_id.
   • Používá XxHash64 funkci hash s MaxPartitionCount nastavenou na doporučenou hodnotu 128a výchozí hodnotu Seed 1.
2. Uniform datetime range partition key over a datetime type column named timestamp.
   • Používá datetime(2021-01-01) se jako referenční bod s velikostí každého oddílu 7d .

{
  "PartitionKeys": [
    {
      "ColumnName": "tenant_id",
      "Kind": "Hash",
      "Properties": {
        "Function": "XxHash64",
        "MaxPartitionCount": 128,
        "Seed": 1,
        "PartitionAssignmentMode": "Uniform"
      }
    },
    {
      "ColumnName": "timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "2021-01-01T00:00:00",
        "RangeSize": "7.00:00:00",
        "OverrideCreationTime": false
      }
    }
  ]
}

Další vlastnosti

Následující vlastnosti lze definovat jako součást zásad. Tyto vlastnosti jsou volitelné a nedoporučujeme je měnit.

Proces dělení dat

• Dělení dat se spouští jako proces po příjmu dat na pozadí.
  • Očekává se, že tabulka, do které se průběžně ingestuje, bude mít vždy "ocas" dat, která se ještě mají dělit (nehomogenní rozsahy).
• Dělení dat se spouští pouze v horkých rozsahech bez ohledu na hodnotu EffectiveDateTime vlastnosti v zásadách.
  • Pokud je vyžadováno dělení studených rozsahů, je nutné dočasně upravit zásady ukládání do mezipaměti.

Stav dělení tabulek s definovanými zásadami v databázi můžete monitorovat pomocí příkazu .show database extents partitioning statistics a partitioning metrics.

Dělení kapacity

• Proces dělení dat vede k vytvoření více rozsahů. Kapacity sloučení se můžou postupně zvyšovat, aby proces sloučení rozsahů mohl zůstat vzhůru.

• Pokud existuje vysoká propustnost příjmu dat nebo dostatek velkého počtu tabulek, které mají definované zásady dělení, může se kapacita oddílu Extents postupně zvýšit, aby proces rozsahů dělení mohl zůstat vzhůru.

::: moniker range = "azure-data-explorer"

• Aby se zabránilo spotřebě příliš velkého množství prostředků, jsou tyto dynamické nárůsty omezené. Možná budete muset postupně a lineárně je zvýšit nad rámec limitu, pokud jsou zcela využity.
  • Pokud zvýšení kapacit způsobí významné zvýšení využití prostředků clusteru, můžete vertikálně navýšit/ kapacitu clusteru ručně nebo povolením automatického škálování. ::: moniker-end

Omezení

• Pokusy o dělení dat v databázi, která už má více než 5 000 000 rozsahů, budou omezeny.
  • V takových případech EffectiveDateTime se vlastnost zásad dělení tabulek v databázi automaticky zpozdí o několik hodin, abyste mohli znovu vyhodnotit konfiguraci a zásady.

Odlehlé hodnoty v dělených sloupcích

• Následující situace můžou přispět k nevyvážené distribuci dat mezi uzly a snížení výkonu dotazů:
  • Pokud klíč oddílu hash obsahuje hodnoty, které jsou mnohem častější než jiné, například prázdný řetězec nebo obecná hodnota (napříkladnull).N/A
  • Hodnoty představují entitu (například tenant_id), která je v datové sadě obecnější.
• Pokud má klíč oddílu datetime v jednotném rozsahu dostatečně velké procento hodnot, které jsou "daleko" od většiny hodnot ve sloupci, zvýší se režie procesu dělení dat a může vést k mnoha malým rozsahům, aby bylo možné sledovat. Příkladem takové situace jsou hodnoty data a času ze vzdálené minulosti nebo budoucnosti.

Vobouch datech v obou těchto případech buď "opravte" data, nebo vyfiltrujte všechny irelevantní záznamy v datech před nebo v době příjmu dat, abyste snížili režijní náklady na dělení dat. Použijte například zásadu aktualizace.

Související obsah

• Příkazy pro správu zásad dělení