Partitioning ilkesi

Şunlar için geçerlidir: ✅Microsoft Fabric✅Azure Veri Gezgini

Bölümleme ilkesi, belirli bir tablo veya gerçekleştirilmiş görünüm için kapsamların (veri parçaları) bölümlenip bölümlenmediğini ve nasıl bölümlenmesi gerektiğini tanımlar.

İlke, veri alımından sonra kapsamlar oluşturulduktan sonra gerçekleşen ek bir arka plan işlemini tetikler. Bu işlem, verileri kaynak kapsamlardan yeniden boyutlandırmayı ve bölüm anahtarı olarak belirlenen sütunun tüm değerlerinin tek bir bölümde bulunduğu homojen kapsamlar oluşturmayı içerir.

Bölümleme ilkesinin birincil amacı, desteklenen belirli senaryolarda sorgu performansını geliştirmektir.

Desteklenen senaryolar

Aşağıda, veri bölümleme ilkesini ayarlamanın önerildiği tek senaryolar yer alır. Diğer tüm senaryolarda ilkenin ayarlanması önerilmiyor.

• Orta veya yüksek kardinalite string guid veya sütunda sık sık filtreler:
  • Örneğin: çok kiracılı çözümler veya sorguların çoğunun veya tümünün veya türündeki string guidbir sütuna filtre uyguladığı veya veya gibi TenantId MetricIdbir ölçüm tablosu.
  • Orta kardinalite en az 10.000 ayrı değerdir.
  • Karma bölüm anahtarını veya guid sütunu olarak string ayarlayın ve özelliğini olarak uniformayarlayınPartitionAssignmentMode.
• Yüksek kardinalite string veya sütunda sık sık toplamalar veya guid birleştirmeler:
  • Örneğin, birçok farklı algılayıcıdan alınan IoT bilgileri veya birçok farklı öğrencinin akademik kayıtları.
  • Yüksek kardinalite, sütundaki değerlerin dağılımının yaklaşık eşit olduğu en az 1.000.000 ayrı değerdir.
  • Bu durumda, karma bölüm anahtarını sık sık gruplandırılmış veya birleştirilmiş sütun olarak ayarlayın ve özelliğini olarak ByPartitionayarlayınPartitionAssignmentMode.
• Sıra dışı veri alımı:
  • Tabloya alınan veriler, veri oluşturma süresini temsil eden ve verileri filtrelemek için yaygın olarak kullanılan belirli datetime bir sütuna göre sıralanmayabilir ve kapsamlara (parçalar) bölünemeyebilir. Bunun nedeni, büyük bir zaman aralığı boyunca tarih saat değerleri içeren heterojen kaynak dosyalarından gelen bir geri doldurma olabilir.
  • Bu durumda, tekdüzen aralık tarih saat bölüm anahtarını sütun olarak datetime ayarlayın.
  • Alma zamanıyla hizalamak yerine sütundaki tarih saat değerleriyle uyumlu hale getirmek için bekletme ve önbelleğe alma ilkelerine ihtiyacınız varsa özelliğini olarak trueayarlayınOverrideCreationTime.

Bölüm anahtarları

Aşağıdaki bölüm anahtarı türleri desteklenir.

Karma bölüm anahtarı

İlke bir karma bölüm anahtarı içeriyorsa, aynı bölüme ait tüm homojen uzantılar aynı veri düğümüne atanır.

• Verileri bölümlendirmek için bir hash-modulo işlevi kullanılır.
• Homojen (bölümlenmiş) uzantılardaki veriler karma bölüm anahtarı tarafından sıralanır.
  • Tabloda tanımlanmışsa, karma bölüm anahtarını satır sırası ilkesine eklemeniz gerekmez.
• Karıştırma stratejisini kullanan ve shuffle key içinde summarize joinkullanılan veya make-series tablonun karma bölüm anahtarı olan sorguların, düğümler arasında taşımak için gereken veri miktarı azaldığından daha iyi performans göstermeleri beklenir.

Bölüm özellikleri

Karma bölüm anahtarı örneği

adlı tenant_id-typed sütun üzerinde karma stringbölüm anahtarı. Karma işlevini, MaxPartitionCount önerilen değere ve varsayılan 1Seed değerine 128ayarlanmış olarak kullanırXxHash64.

{
  "ColumnName": "tenant_id",
  "Kind": "Hash",
  "Properties": {
    "Function": "XxHash64",
    "MaxPartitionCount": 128,
    "Seed": 1,
    "PartitionAssignmentMode": "Uniform"
  }
}

Tekdüzen aralık tarih saat bölüm anahtarı

Bu gibi durumlarda, her uzantının sınırlı bir zaman aralığındaki kayıtları içermesi için verileri kapsamlar arasında yeniden düzenleyebilirsiniz. Bu işlem, sütundaki filtrelerin datetime sorgu zamanında daha etkili olmasına neden olur.

Kullanılan bölüm işlevi bin_at() şeklindedir ve özelleştirilebilir değildir.

Bölüm özellikleri

Tekdüzen aralık tarih saat bölümü örneği

Kod parçacığı, adlı timestampyazılan bir sütun üzerinde tekdüzen bir datetime tarih saat aralığı bölüm anahtarı gösterir. Her bölüm için boyutuyla 7d başvuru noktası olarak kullanır datetime(2021-01-01) ve kapsamların oluşturma sürelerini geçersiz kılmaz.

{
  "ColumnName": "timestamp",
  "Kind": "UniformRange",
  "Properties": {
    "Reference": "2021-01-01T00:00:00",
    "RangeSize": "7.00:00:00",
    "OverrideCreationTime": false
  }
}

İlke nesnesi

Varsayılan olarak, bir tablonun veri bölümleme ilkesidir null. Bu durumda tablodaki veriler alındıktan sonra yeniden bölümlenmez.

Veri bölümleme ilkesi aşağıdaki ana özelliklere sahiptir:

• PartitionKeys:

  • Tablodaki verilerin nasıl bölümlendiğini tanımlayan bölüm anahtarları koleksiyonu.
  • Bir tabloda aşağıdaki seçeneklerden biriyle en fazla 2 bölüm anahtarları bulunabilir:
    • Bir karma bölüm anahtarı.
    • Tekdüzen aralık tarih saat bölüm anahtarı.
    • Bir karma bölüm anahtarı ve bir tekdüzen aralık tarih saat bölüm anahtarı.
  • Her bölüm anahtarı aşağıdaki özelliklere sahiptir:
    • ColumnName: string - Verilerin bölümlendirileceği sütunun adı.
    • Kind: string - Uygulanacak veri bölümleme türü (Hash veya UniformRange).
    • Properties: property bag - Bölümlemenin yapıldığı parametrelere göre tanımlar.

• EffectiveDateTime:

  • İlkenin geçerli olduğu UTC tarih saati.
  • Bu özellik isteğe bağlıdır. Belirtilmezse, ilke uygulandıktan sonra alınan veriler için ilke geçerli olur.

Veri bölümleme örneği

İki bölüm anahtarıyla veri bölümleme ilkesi nesnesi.

1. adlı tenant_id-typed sütun üzerinde karma stringbölüm anahtarı.
   • Karma işlevini, MaxPartitionCount önerilen değere ve varsayılan 1Seed değerine 128ayarlanmış olarak kullanırXxHash64.
2. adlı timestampbir tür sütunu üzerinde tekdüzen bir datetime tarih saat aralığı bölüm anahtarı.
   • Her bölüm için boyutuyla 7d başvuru noktası olarak kullanırdatetime(2021-01-01).

{
  "PartitionKeys": [
    {
      "ColumnName": "tenant_id",
      "Kind": "Hash",
      "Properties": {
        "Function": "XxHash64",
        "MaxPartitionCount": 128,
        "Seed": 1,
        "PartitionAssignmentMode": "Uniform"
      }
    },
    {
      "ColumnName": "timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "2021-01-01T00:00:00",
        "RangeSize": "7.00:00:00",
        "OverrideCreationTime": false
      }
    }
  ]
}

Ek özellikler

Aşağıdaki özellikler ilkenin bir parçası olarak tanımlanabilir. Bu özellikler isteğe bağlıdır ve bunları değiştirmemenizi öneririz.

Veri bölümleme işlemi

• Veri bölümleme, alım sonrası arka plan işlemi olarak çalışır.
  • Sürekli olarak içine alınan bir tablonun her zaman bölümlenemeyen bir veri "kuyruğuna" sahip olması beklenir (nonhomogeneous extents).
• Veri bölümleme, ilkedeki özelliğin değerinden EffectiveDateTime bağımsız olarak yalnızca sık erişimli kapsamlarda çalışır.
  • Soğuk kapsamları bölümleme gerekiyorsa, önbelleğe alma ilkesini geçici olarak ayarlamanız gerekir.

.show database extents partitioning statistics komutunu ve bölümleme ölçümlerini kullanarak veritabanında tanımlı ilkelere sahip tabloların bölümleme durumunu izleyebilirsiniz.

Bölümleme kapasitesi

• Veri bölümleme işlemi, daha fazla kapsam oluşturulmasına neden olur. Kapsam birleştirme kapasitesi kademeli olarak artabilir, böylece kapsamları birleştirme işlemi devam edebilir.

• Yüksek bir alım aktarım hızı veya bölümleme ilkesi tanımlanmış yeterince fazla sayıda tablo varsa, kapsamlar bölümleme kapsamının devam edebilmesi için kapsamlar bölümleme kapasitesi kademeli olarak artabilir.

::: takma ad aralığı = "azure-data-explorer"

• Çok fazla kaynak kullanmaktan kaçınmak için bu dinamik artışlar sınırlanır. Tamamen kullanılıyorlarsa bunları kademeli ve doğrusal olarak üst sınırın ötesine artırmanız gerekebilir.
  • Kapasitelerin artırılması küme kaynaklarının kullanımında önemli bir artışa neden oluyorsa, kümenin ölçeğini el ile veya otomatik ölçeklendirmeyi etkinleştirerek genişletebilirsiniz/. ::: moniker-end

Sınırlamalar

• 5.000.000'den fazla kapsamı olan bir veritabanındaki verileri bölümleme girişimleri kısıtlanır.
  • Bu gibi durumlarda, EffectiveDateTime yapılandırmanızı ve ilkelerinizi yeniden değerlendirebilmeniz için veritabanındaki tabloların bölümleme ilkelerinin özelliği otomatik olarak birkaç saat geciktirilir.

Bölümlenmiş sütunlarda aykırı değerler

• Aşağıdaki durumlar düğümler arasında dengesiz veri dağıtımına katkıda bulunabilir ve sorgu performansını düşürebilir:
  • Karma bölüm anahtarı diğerlerinden çok daha yaygın değerler içeriyorsa( örneğin, boş bir dize veya genel bir değer (veya N/Agibinull).
  • Değerler, veri kümesinde daha yaygın olan bir varlığı (örneğin tenant_id) temsil eder.
• Tekdüzen aralık tarih saat bölüm anahtarı, sütundaki değerlerin çoğundan "uzak" olan değerlerin yeterince büyük bir yüzdesine sahipse, veri bölümleme işleminin yükü artar ve izlenmesi gereken çok küçük boyutlara yol açabilir. Böyle bir duruma örnek olarak, uzak geçmişten veya gelecekten gelen tarih saat değerleri yer alır.

Bu iki durumda da verileri "düzeltin" veya veri bölümleme ek yükünü azaltmak için veri alımından önce veya veri alımı sırasındaki ilgisiz kayıtları filtreleyin. Örneğin, bir güncelleştirme ilkesi kullanın.

İlgili içerik

• bölümleme ilkesi yönetim komutları