資料分割原則

適用於： ✅Microsoft網狀架構✅Azure 數據總管

數據分割原則會定義特定數據表或具體化檢視應分割範圍（數據分區）的是否和方式。

原則會觸發在建立範圍之後發生的其他背景程式，並遵循數據擷取。 此程式包括從來源範圍重新擷取數據，併產生 同質 範圍，其中指定為 數據分割索引鍵 的數據行的所有值都位於單一數據分割內。

數據分割原則的主要目標是在特定支援的案例中增強查詢效能。

支援的案例

以下是建議設定數據分割原則的唯一案例。 在所有其他案例中，不建議設定原則。

• 中高基數 string 或 guid 數據行的常用篩選：
  • 例如：多租使用者解決方案，或計量數據表，其中大部分或所有查詢都會篩選類型 string 為 或 guid的數據行，例如 TenantId 或 MetricId。
  • 中基數至少為 10,000 個相異值。
  • 將哈希分割區索引鍵設定為 string 或 guid 資料行，並將 屬性設定PartitionAssignmentMode為 uniform。
• 高基數string或數據行上的頻繁匯總或guid聯結：
  • 例如，來自許多不同的感測器的IoT資訊，或許多不同學生的學術記錄。
  • 高基數至少為1,000,000個相異值，其中數據行中的值分佈大約是偶數。
  • 在這裡情況下，請將哈希分割區索引鍵設定為經常分組或聯結的數據行，並將 屬性設定PartitionAssignmentMode為 ByPartition。
• 順序不依序的數據擷取：
  • 根據代表數據建立時間的特定 datetime 數據行，數據擷取到數據表中可能不會排序並分割成範圍（分區），而且通常用來篩選數據。 這可能是因為異質來源檔案的回填，其中包含大型時間範圍中的日期時間值。
  • 在此情況下，請將統一範圍 datetime 數據 分割索引鍵 設定為 datetime 數據行。
  • 如果您需要保留和快取原則以配合數據行中的 datetime 值，而不是與擷取的時間對齊，請將 OverrideCreationTime 屬性設定為 true。

分割區索引鍵

支援下列類型的分割區索引鍵。

哈希分割區索引鍵

如果原則包含哈希分割區索引鍵，則屬於相同數據分割的所有同質範圍都會指派給相同的數據節點。

• 哈希模數函式可用來分割數據。
• 同質 （分割） 範圍中的數據會依哈希分割索引鍵排序。
  • 如果在數據表上定義哈希分割區索引鍵，則不需要在數據列順序原則中包含哈希分割區索引鍵。
• 使用隨機策略的查詢，以及 shuffle key 中 summarize join所使用的 ，或 make-series 是數據表的哈希分割索引鍵，預期會執行得更好，因為減少跨節點移動所需的數據量。

數據分割屬性

哈希分割區索引鍵範例

在名為tenant_id的型別數據行上string哈希分割索引鍵。 它會使用XxHash64哈希函式，並將 MaxPartitionCount 設定為建議的值128，以及的預設值Seed1。

{
  "ColumnName": "tenant_id",
  "Kind": "Hash",
  "Properties": {
    "Function": "XxHash64",
    "MaxPartitionCount": 128,
    "Seed": 1,
    "PartitionAssignmentMode": "Uniform"
  }
}

統一範圍日期時間分割索引鍵

在這些情況下，您可以重新調整範圍之間的數據，讓每個範圍都包含來自有限時間範圍的記錄。 此程式會導致數據行的 datetime 篩選在查詢時更有效率。

所使用的分割區函式bin_at （） 且無法自定義。

數據分割屬性

統一範圍日期時間分割範例

代碼段會在名為timestamp的具型別數據行上顯示統一datetime的 datetime 範圍分割索引鍵。 它會使用 datetime(2021-01-01) 作為其參考點，且每個分割區的大小 7d 為 ，且不會覆寫範圍的建立時間。

{
  "ColumnName": "timestamp",
  "Kind": "UniformRange",
  "Properties": {
    "Reference": "2021-01-01T00:00:00",
    "RangeSize": "7.00:00:00",
    "OverrideCreationTime": false
  }
}

原則物件

根據預設，數據表的數據分割原則是 null，在此情況下，數據表中的數據不會在內嵌之後重新分割。

資料分割原則具有下列主要屬性：

• PartitionKeys：

  • 數據分割索引鍵的集合，定義如何分割數據表中的數據。
  • 數據表最多可以有分割 2 區索引鍵，且有下列其中一個選項：
    • 一個 哈希分割區索引鍵。
    • 一個統一 範圍日期時間分割索引鍵。
    • 一個 哈希分割索引鍵 和一個統一 範圍 datetime 數據分割索引鍵。
  • 每個分割區索引鍵都有下列屬性：
    • ColumnName： string - 資料分割依據的數據行名稱。
    • Kind： string - 要套用的數據分割種類（Hash 或 UniformRange）。
    • Properties： property bag - 根據資料分割的完成方式定義參數。

• EffectiveDateTime：

  • 原則生效的 UTC 日期時間。
  • 這個屬性為選擇性。 如果未指定，原則將會在套用原則之後，對內嵌的數據生效。

數據分割範例

具有兩個數據分割索引鍵的數據分割原則物件。

1. 在名為tenant_id的型別數據行上string哈希分割索引鍵。
   • 它會使用XxHash64哈希函式，並將 MaxPartitionCount 設定為建議的值128，以及的預設值Seed1。
2. 在名為timestamp的型別數據行上，統一datetime的 datetime 範圍分割索引鍵。
   • 它會使用 datetime(2021-01-01) 作為參考點，每個分割區的大小 7d 為 。

{
  "PartitionKeys": [
    {
      "ColumnName": "tenant_id",
      "Kind": "Hash",
      "Properties": {
        "Function": "XxHash64",
        "MaxPartitionCount": 128,
        "Seed": 1,
        "PartitionAssignmentMode": "Uniform"
      }
    },
    {
      "ColumnName": "timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "2021-01-01T00:00:00",
        "RangeSize": "7.00:00:00",
        "OverrideCreationTime": false
      }
    }
  ]
}

其他屬性

下列屬性可以定義為原則的一部分。 這些屬性是選擇性的，建議您不要變更它們。

數據分割程式

• 數據分割會以擷取後背景進程的形式執行。
  • 持續擷取到的數據表，預期一律會有尚未分割的數據「尾端」（非同質範圍）。
• 數據分割只會在經常性範圍上執行，不論 EffectiveDateTime 原則中的 屬性值為何。
  • 如果需要分割冷範圍，您必須暫時調整 快取原則。

您可以使用 .show 資料庫範圍數據分割統計數據命令，監視資料庫中已定義原則之數據表的數據分割狀態。

數據分割容量

• 數據分割程式會導致建立更多範圍。 範圍合併容量可能會逐漸增加，以便合併範圍的程式可以跟上。

• 如果有高擷取輸送量，或已定義數據分割原則的足夠數目數據表，則 Extents分割區容量 可能會逐漸增加，以便 分割範圍 的程式可以跟上。

：：： moniker range = “azure-data-explorer”

• 為了避免耗用太多資源，系統會限制這些動態增加。 如果完全用盡，您可能需要逐漸且線性地增加超過上限。
  • 如果增加容量會導致使用叢集的資源大幅增加，您可以手動相應放大/叢集，或啟用自動調整。 ：：： moniker-end

限制

• 嘗試分割資料庫中已經超過5,000,000個範圍的數據將會受到節流。
  • 在這種情況下， EffectiveDateTime 資料庫中數據表的數據分割原則屬性會自動延遲數小時，以便重新評估設定和原則。

分割數據行中的極端值

• 下列情況有助於跨節點分佈數據不平衡，並降低查詢效能：
  • 如果哈希分割索引鍵包含的值比其他值更普遍，例如空字串或泛型值（例如 null 或 N/A）。
  • 這些值代表數據集中較普遍的實體（例如 tenant_id）。
• 如果統一範圍 datetime 數據分割索引鍵具有與數據行中大部分值「很遠」的足夠百分比，數據分割程式的額外負荷就會增加，而且可能會導致許多小範圍追蹤。 這類情況的範例是來自遙遠過去或未來的日期時間值。

在這兩種情況下，請「修正」數據，或在擷取時間篩選出數據中的任何不相關記錄，以減少數據分割的額外負荷。 例如，使用 更新原則。

相關內容

• 分割原則管理命令