Delta Live Tables işlem hatlarını eski Hive meta veri deposuyla kullanma

Bu makalede, verileri eski Hive meta veri deposuna yayımlamak üzere yapılandırılmış Delta Live Tables işlem hatlarına özgü yapılandırmalar ve uyarılar ayrıntılı olarak açıklanmıştır. Databricks, tüm yeni işlem hatları için Unity Kataloğu'nu kullanmanızı önerir. Bkz . Delta Live Tables işlem hatlarınızla Unity Kataloğu'nu kullanma.

İşlem hattı veri kümelerini eski Hive meta veri deposunda yayımlama

İsteğe bağlı olsa da, yeni bir işlem hattı için geliştirme ve test aşamalarının ötesine geçerken işlem hattınız tarafından oluşturulan tabloları yayımlamak için bir hedef belirtmeniz gerekir. Bir hedefte işlem hattı yayımlamak, veri kümelerini Azure Databricks ortamınızın başka bir yerinde sorgulamak için kullanılabilir hale getirir.

Hive meta veri deposunda veri kümelerini yayımlayarak işlem hattınızın çıkış verilerini bulunabilir ve sorgulanabilir hale getirebilirsiniz. Veri kümelerini meta veri deposunda yayımlamak için, işlem hattı oluştururken Hedef alanına bir şema adı girin. Ayrıca, var olan bir işlem hattına hedef veritabanı da ekleyebilirsiniz.

Delta Live Tablolarında oluşturulan tüm tablolar ve görünümler varsayılan olarak işlem hattında yereldir. Delta Live Tables veri kümelerini bildirildiği işlem hattı dışında sorgulamak veya kullanmak için tabloları bir hedef şemaya yayımlamanız gerekir.

İşlem hatlarınızdan Unity Kataloğu'na tablo yayımlamak için bkz Unity Kataloğunu Delta Live Tabloları işlem hatlarıyla kullanma.

Delta Live Tables veri kümelerini eski Hive meta veri deposunda yayımlama

İşlem hattı ayarlarındaki Hedef şema alanını ve İşlem hattı URI'leri oluştur'u kullanarak Delta Live Tables işlem hattınızdaki tüm tablolar için bir hedef şema bildirebilirsiniz.

Değeri ayarlayarak target JSON yapılandırmasında bir şema da belirtebilirsiniz.

Sonuçları hedef şemaya yayımlamak için işlem hattı için bir güncelleştirme çalıştırmanız gerekir.

Bu özelliği, ortamı temel alan farklı şemalarda yayımlamak için birden çok ortam yapılandırmasıyla kullanabilirsiniz. Örneğin, geliştirme için bir dev şemaya ve üretim verileri için bir prod şemaya yayımlayabilirsiniz.

Eski Hive meta veri deposunda akış tablolarını ve gerçekleştirilmiş görünümleri sorgulama

Güncelleştirme tamamlandıktan sonra şemayı ve tabloları görüntüleyebilir, verileri sorgulayabilir veya aşağı akış uygulamalarında kullanabilirsiniz.

Delta Live Tables tabloları yayımlandıktan sonra hedef şemaya erişimi olan herhangi bir ortamdan sorgulanabilir. Buna Databricks SQL, not defterleri ve diğer Delta Live Tables işlem hatları dahildir.

Depolama konumu belirtme

Hive meta veri deposunda yayımlayan bir işlem hattı için depolama konumu belirtebilirsiniz. Konum belirtmek için birincil motivasyon, işlem hattınız tarafından yazılan verilerin nesne depolama konumunu denetlemektir.

Delta Live Tables işlem hatları için tüm tablolar, veriler, denetim noktaları ve meta veriler Delta Live Tables tarafından tam olarak yönetildiğinden, Delta Live Tables veri kümeleriyle etkileşimin çoğu Hive meta veri deposuna veya Unity Kataloğu'na kaydedilmiş tablolar aracılığıyla gerçekleşir.

Bulut depolama yapılandırması

Azure depolamaya erişmek için, küme yapılandırmalarınızdaki ayarları kullanarak spark.conf erişim belirteçleri de dahil olmak üzere gerekli parametreleri yapılandırmanız gerekir. Azure Data Lake Storage 2. Nesil (ADLS 2. Nesil) depolama hesabına erişimi yapılandırma örneği için bkz. İşlem hattında gizli dizilerle depolama kimlik bilgilerine güvenli erişim.