Geçmiş verileri Azure Veri Gezgini alma

Makale
02/23/2024

Azure Veri Gezgini'a ekleme sırasında sık karşılaşılan bir senaryo, bazen backfill olarak da adlandırılan geçmiş verilerini almaktır. bu işlem, mevcut bir depolama sisteminden bir tabloya veri alımını içerir ve bu da bir kapsam koleksiyonudur.

Uzantıların oluşturma zamanını verilerin oluşturulduğu zamana ayarlamak için creationTime alma özelliğini kullanarak geçmiş verileri almanızı öneririz. Alım bölümleme ölçütü olarak oluşturma zamanını kullanmak, verilerinizi önbellek ve bekletme ilkelerinize göre eskitebilir ve zaman filtrelerini daha verimli hale getirir.

Varsayılan olarak, kapsamlar için oluşturma süresi verilerin alınma zamanına ayarlanır ve bu da beklediğiniz davranışı üretmeyebilir. Örneğin, önbellek süresi 30 gün ve saklama süresi iki yıl olan bir tablonuz olduğunu varsayalım. Normal akışta, üretildiği şekilde alınan veriler 30 gün boyunca önbelleğe alınır ve ardından soğuk depolama alanına taşınır. İki yıl sonra, oluşturma zamanına bağlı olarak eski veriler günde bir kez kaldırılır. Ancak, varsayılan olarak verilerin alındığı zaman olarak oluşturma zamanıyla işaretlendiği iki yıllık geçmiş verileri alırsanız. Bu, aşağıdaki nedenden dolayı istenen sonucu üretmeyebilir:

Tüm veriler önbellekte kalır ve tahmin ettiğinizden daha fazla önbellek kullanarak 30 gün boyunca orada kalır.
Eski veriler günde bir kez kaldırılmaz; bu nedenle veriler kümede gerekenden daha uzun süre saklanır ve iki yıl sonra hepsi aynı anda kaldırılır.
Daha önce kaynak sistemde tarihe göre gruplandırılmış veriler artık aynı ölçüde birlikte toplu olarak toplanarak verimsiz sorgulara yol açabilir.

Varsayılan oluşturma zamanı kullanılarak geçmiş verileri alma işleminin beklenen ve gerçek sonucunu gösteren diyagram.

Bu makalede geçmiş verileri bölümlemeyi öğreneceksiniz:

creationTime Alma sırasında alma özelliğini kullanma (önerilir)

Mümkün olduğunda, dosya veya blob yolundan ayıklayarak uzantıların creationTimeoluşturma zamanını ayarlamanıza olanak tanıyan alma özelliğini kullanarak geçmiş verileri alın. Klasör yapınız oluşturma tarihi deseni kullanmıyorsa, dosyanızı veya blob yolunuzu oluşturma zamanını yansıtacak şekilde yeniden yapılandırmanızı öneririz. Bu yöntem kullanılarak veriler tabloya doğru oluşturma zamanıyla alınır ve önbellek ve saklama süreleri doğru şekilde uygulanır.

Not

Varsayılan olarak, uzantılar oluşturma zamanına (alma) göre bölümlenir ve çoğu durumda veri bölümleme ilkesi ayarlamanız gerekmez.
Alma sonrasında bölümleme ilkesi kullanma

Alma özelliğini kullanamıyorsanız creationTime , örneğin oluşturma zamanını denetleyememenize neden olan Azure Cosmos DB bağlayıcısını kullanarak veri alımı gerçekleştiriyorsanız veya klasör yapınızı yeniden yapılandıramıyorsanız, bölümleme ilkesini kullanarak aynı etkiyi elde etmek için veri alımından sonra tabloyu yeniden bölümleyebilirsiniz. Ancak bu yöntem, ilke özelliklerini iyileştirmek için biraz deneme ve hata gerektirebilir ve alım özelliğini kullanmaktan creationTime daha az verimlidir. Bu yöntemi yalnızca alma özelliğini kullanmak creationTime mümkün olmadığında öneririz.

Önkoşullar

Microsoft hesabı veya Microsoft Entra kullanıcı kimliği. Azure aboneliği gerekli değildir.
Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
Bir depolama hesabı.
Alma sırasında alma özelliğinin kullanılması creationTime için önerilen yöntem için LightIngest'i yükleyin.

Geçmiş verileri alma

Alma sırasında alma özelliğini kullanarak creationTime geçmiş verileri bölümlemenizi kesinlikle öneririz. Ancak, bu yöntemi kullanamıyorsanız, bölümleme ilkesi kullanarak veri alımından sonra tabloyu yeniden bölümleyebilirsiniz.

Alma sırasında (önerilir)
Alım sonrası

LightIngest, mevcut bir depolama sisteminden Azure Veri Gezgini geçmiş verilerini yüklemek için yararlı olabilir. Komut satırı bağımsız değişkenlerinin listesini kullanarak kendi komutunuzu derleyebilmenize karşın, bu makalede bir alma sihirbazı aracılığıyla bu komutun nasıl otomatik olarak oluşturulabileceği gösterilir. Komutu oluşturmaya ek olarak, bu işlemi kullanarak yeni bir tablo oluşturabilir ve şema eşlemesi oluşturabilirsiniz. Bu araç, veri kümenizden şema eşlemesi çıkartır.

Hedef

Azure Veri Gezgini web kullanıcı arabiriminin sol menüsünde Sorgu'yu seçin.
Verileri almak istediğiniz veritabanına sağ tıklayın ve ardından LightIngest'i seçin.

Veri alma penceresi açılır ve Hedef sekmesi seçili durumdadır. Küme ve Veritabanı alanları otomatik olarak doldurulur.
Bir hedef tablo seçin. Verileri yeni bir tabloya almak istiyorsanız Yeni tablo'yu seçin ve bir tablo adı girin.

Not

Tablo adları boşluk, alfasayısal, kısa çizgi ve alt çizgi gibi en fazla 1024 karakter olabilir. Özel karakterler desteklenmez.
İleri: Kaynak'ı seçin.

Source

Kaynak seç'in altında URL Ekle'yi veya Kapsayıcı seç'i seçin.
- URL eklerken Kaynağa bağlan altında kapsayıcının hesap anahtarını veya SAS URL'sini belirtin. SAS URL'sini el ile veya otomatik olarak oluşturabilirsiniz.
- Depolama hesabınızdan bir kapsayıcı seçerken açılan menülerden Depolama aboneliğinizi, Depolama hesabınızı ve Kapsayıcı'yı seçin.
Not

Veri alımı en fazla 6 GB'lık dosya boyutunu destekler. Öneri, 100 MB ile 1 GB arasında dosyaları almaktır.
LightIngest kullanarak alım işlemi için ek ayarlar tanımlamak için Gelişmiş ayarlar'ı seçin.

Gelişmiş yapılandırma bölmesinde, aşağıdaki tabloya göre En Açık ayarları tanımlayın.

LightIngest aracını içeren alım işlemi için ek ayarları gösteren gelişmiş yapılandırma bölmesinin ekran görüntüsü.

Özellik	Açıklama
Oluşturma zamanı düzeni	Oluşturulan uzantının alma süresi özelliğini bir desenle geçersiz kılmak için belirtin; örneğin, kapsayıcının klasör yapısına göre bir tarih uygulamak için. Ayrıca bkz . Oluşturma zamanı düzeni.
Blob adı deseni	Alınacak dosyaları tanımlamak için kullanılan deseni belirtin. Verilen kapsayıcıdaki blob adı deseni ile eşleşen tüm dosyaları alın. Joker karakterleri destekler. Çift tırnak içine alınması önerilir.
Tag	Alınan verilere atanmış bir etiket . Etiket herhangi bir dize olabilir.
Dosya miktarını sınırla	Alınabilecek dosya sayısını belirtin. Belirtilen sayıya kadar blob adı deseni ile eşleşen ilk `n` dosyaları alır.
Alımın tamamlanmasını beklemeyin	Ayarlanırsa, alma işlemini izlemeden blobları alım için kuyruğa alır. Ayarlanmadıysa LightIngest, alım tamamlanana kadar alım durumunu yoklama işlemine devam eder.
Yalnızca seçili öğeleri görüntüle	Kapsayıcıdaki dosyaları listeleyin, ancak almaz.

Kaynak sekmesine dönmek için Bitti'yi seçin.
1. İsteğe bağlı olarak, verileri yalnızca belirli bir klasör yolundaki veya belirli bir dosya uzantısına sahip dosyaları almak üzere filtrelemek için Dosya Filtreleri'ni seçin.
  
  Varsayılan olarak, kapsayıcıdaki dosyalardan biri rastgele seçilir ve tablonun şemasını oluşturmak için kullanılır.
2. İsteğe bağlı olarak, Şema tanımlama dosyası altında kullanılacak dosyayı belirtebilirsiniz.
Tablo sütunu yapılandırmanızı görüntülemek ve düzenlemek için İleri: Şema'ya tıklayın.

Şema

Şema sekmesi verilerin önizlemesini sağlar.

LightIngest komutunu oluşturmak için İleri: Alımı Başlat'ı seçin.

İsteğe bağlı olarak:

Açılan menüden istediğiniz biçimi seçerek otomatik olarak çıkarılan Veri biçimini değiştirin.
Otomatik olarak çıkarsanan Eşleme adını değiştirin. Alfasayısal karakterler ve alt çizgi kullanabilirsiniz. Boşluklar, özel karakterler ve kısa çizgiler desteklenmez.
Varolan bir tabloyu kullanırken, tablo şeması seçili biçimle eşleşiyorsa Geçerli tablo şemasını tutabilirsiniz .
Girdilerinizden oluşturulan otomatik komutları görüntülemek ve kopyalamak için Komut görüntüleyicisi'ni seçin.
Sütunları düzenleme. Kısmi veri önizleme altında, tablonun çeşitli yönlerini değiştirmek için sütun açılan menülerini seçin.

Tabloda yapabileceğiniz değişiklikler aşağıdaki parametrelere bağlıdır:

Tablo türü yeni veya var
Eşleme türü yeni veya var

Tablo türü	Eşleme türü	Kullanılabilir ayarlamalar
Yeni tablo	Yeni eşleme	Veri türünü değiştirme, Sütunu yeniden adlandırma, Yeni sütun, Sütunu sil, Sütunu güncelleştir, Artan düzende sırala, Azalan düzende sırala
Varolan tablo	Yeni eşleme	Yeni sütun (daha sonra veri türünü değiştirebileceğiniz, yeniden adlandırabileceğiniz ve güncelleştirebileceğiniz), Sütunu güncelleştir, Artan düzende sırala, Azalan düzende sırala
	Mevcut eşleme	Artan düzende sırala, Azalan düzende sırala

Not

Yeni sütun eklerken veya bir sütunu güncelleştirirken eşleme dönüşümlerini değiştirebilirsiniz. Daha fazla bilgi için bkz . Eşleme dönüştürmeleri

Alma

Tablo, eşleme ve LightIngest komutu yeşil onay işaretleri ile işaretlendikten sonra, oluşturulan LightIngest komutunu kopyalamak için Oluşturulan komut kutusunun sağ üst köşesindeki kopyala simgesini seçin.

Not

Gerekirse LightIngest'i İndir'i seçerek LightIngest aracını indirebilirsiniz.
Alma işlemini tamamlamak için kopyalanan komutu kullanarak LightIngest'i çalıştırmanız gerekir.

1. Adım: Yeniden bölümleme için hazırlanma

Bekletme ilkesini eski verilere izin verecek şekilde ayarlayın. Aşağıdaki örnekte , MyTable tablosunun bekletme ilkesini 10 yıl olarak ayarlamış olursunuz.
```
.alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
```
Önbelleğe alma ilkesini, alma sonrasında yalnızca sık erişimli veriler yeniden bölümlenebileceği için tüm verilerin yeniden bölümleme için sık erişimli önbellekte olmasını sağlayın. Aşağıdaki örnekte , MyTable tablosunun önbelleğe alınmasını 10 yıl olarak ayarlamış olacaksınız.
```
.alter table MyTable policy caching hot = 3650d
```
Önemli

Önbelleğe alma ilkesini artırmak normal işlemlerden çok daha fazla sık erişimli önbellek kullanabilir ve maliyetin artmasına neden olabilir.

2. Adım: Yeniden bölümlendirmeyi başlatma

Verileri adlı Timestampsütuna göre bölümleyen bir bölümleme ilkesi oluşturun. Aşağıdaki örnekte , MyTable tablosunun bölümleme ilkesini adlı Timestampsütuna göre bölümle olarak ayarlarsınız.
```
.alter table MyTable policy partitioning
```
{
  "EffectiveDateTime" : "1970-01-01T00:00:00",
  "PartitionKeys": [
    {
      "ColumnName": "Timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "1970-01-01T00:00:00",
        "RangeSize": "1.00:00:00",
        "OverrideCreationTime": true
      }
    }
  ]
}
```
```
Bölümleme ilkesi özellikleri hakkında bilgi için bkz. bölüm özellikleri. Geçmiş alımı için aşağıdaki özellikleri nasıl ayarlayacağınız önemlidir:
- Yeniden bölümlemesi tetikleyebilmek için EffectiveDateTime özelliğinin alımın başlangıcından önceki bir tarihe ayarlanması gerekir.
- RangeSize, verilerin bir günlük demetlere yeniden bölümlenmesi için bir gün olarak ayarlanır. Ancak, bu değeri verilerinizle uyumlu olacak şekilde ayarlamanız gerekir. Örneğin, günde birden fazla GB'tan az veriniz varsa daha büyük bir değer ayarlamayı göz önünde bulundurun.
- Verileri gün demetlerine yeniden bölümledikten sonra kapsamların oluşturma zamanı olarak o günle işaretlenmesi için OverrideCreationTimetrue olarak ayarlanmalıdır.
14 günden eski kapsamlar da dahil olmak üzere tüm kapsamların birleştirilmesine izin vermek için bir birleştirme ilkesi ayarlayın. Yeniden bölümleme işlemi, varsayılan olarak birleştirme işlemi tarafından hariç tutulan 14 günden eski kapsamlar oluşturduğundan bu ilkenin ayarlanması önemlidir.
```
.alter table MyTable policy merge
```
{
  "Lookback": {
    "Kind": "HotCache"
  }
}
```
```
.show database extents partitioning statistics komutunu kullanarak yeniden bölümleme ilerleme durumunu izleyin. Döndürülen sonuçlarda yeniden bölümlediğiniz tabloyu arayın ve PartitionedRowPercentage sütununu izleyin. PartitionedRowPercentage sütununun değeri olduğunda 100yeniden bölümleme tamamlanır.

3. Adım: Yeniden bölümleme sonrasında temizleme

Yeniden bölümleme tamamlandıktan sonra, önceki adımlarda ayarladığınız ilkeleri temizleyebilirsiniz.

Bölümleme ilkesini kaldırın.

.delete table MyTable policy partitioning

Birleştirme ilkesini kaldırın.
```
.delete table MyTable policy merge
```

Önbelleğe alma ilkesini kaldırın veya ayarlayın.

// Remove the caching policy
.delete table MyTable policy caching
// OR set the caching policy to your desired value
.alter table MyTable policy caching hot = 90d

Bekletme ilkesini kaldırın veya ayarlayın.

// Remove the retention policy
.delete table MyTable policy retention
// OR set the retention policy to your desired value
.alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled

Azure Veri Gezgini'da verileri sorgulama

Aracılığıyla paylaş