Unity Kataloğu meta veri deposu oluşturma
Bu makalede Unity Kataloğu meta veri deposu oluşturma ve çalışma alanlarına bağlama işlemleri gösterilmektedir.
Önemli
Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları için bu makaledeki yönergeler gereksizdir. Databricks, 9 Kasım 2023'te Unity Kataloğu için yeni çalışma alanlarını otomatik olarak etkinleştirmeye başladı ve hesaplar arasında aşamalı olarak devam eden bir dağıtım yapıldı. Yalnızca çalışma alanınız varsa ve çalışma alanı bölgenizde bir meta veri deposu yoksa bu makaledeki yönergeleri izlemeniz gerekir. Bölgenizde zaten bir meta veri deposu olup olmadığını belirlemek için bkz . Unity Kataloğu'nun otomatik olarak etkinleştirilmesi.
Meta veri deposu, Unity Kataloğu'ndaki veriler için en üst düzey kapsayıcıdır. Unity Kataloğu meta veri depoları güvenli hale getirilebilir nesneler (tablolar, birimler, dış konumlar ve paylaşımlar gibi) ve bunlara erişimi yöneten izinlerle ilgili meta verileri kaydeder. Her meta veri deposu, verilerin düzenlenebileceği üç düzeyli bir ad alanını (catalog.schema.table) kullanıma sunar. Kuruluşunuzun faaliyet gösterdiği her bölge için bir meta veri deposuna sahip olmanız gerekir. Unity Kataloğu ile çalışmak için kullanıcıların kendi bölgelerindeki bir meta veri deposuna bağlı bir çalışma alanında olmaları gerekir.
Meta veri deposu oluşturmak için aşağıdakileri yaparsınız:
Azure hesabınızda, isteğe bağlı olarak yönetilen tabloların ve birimlerin meta veri deposu düzeyinde depolaması için bir depolama konumu oluşturun.
Meta veri deposu düzeyinde depolamaya ihtiyacınız olup olmadığına karar vermenize yardımcı olacak bilgiler için bkz . (İsteğe bağlı) Meta veri deposu düzeyinde depolama oluşturma ve Veriler depolama alanında fiziksel olarak ayrılmıştır.
Azure hesabınızda, bu depolama konumuna erişim sağlayan bir Azure yönetilen kimliği veya hizmet sorumlusu oluşturun.
Azure Databricks'te meta depoyu oluşturun, depolama konumunu ekleyin ve meta veri deposuna çalışma alanları atayın.
Not
Bu makalede açıklanan yaklaşımlara ek olarak Databricks Terraform sağlayıcısını, özellikle de databricks_metastore kaynağını kullanarak bir meta veri deposu oluşturabilirsiniz. Unity Kataloğu'nu meta veri deposuna erişmek üzere etkinleştirmek için databricks_metastore_data_access kullanın. Çalışma alanlarını bir meta veri deposuna bağlamak için databricks_metastore_assignment kullanın.
Başlamadan önce
Başlamadan önce meta veri depoları ve yönetilen depolama da dahil olmak üzere temel Unity Kataloğu kavramlarını öğrenmeniz gerekir. Unity Kataloğu nedir? bölümüne bakın.
Ayrıca tüm kurulum adımları için aşağıdaki gereksinimleri karşıladığınızdan da emin olmanız gerekir:
Azure Databricks hesap yöneticisi olmanız gerekir.
İlk Azure Databricks hesap yöneticisi, Azure Databricks hesap konsolunda ilk kez oturum açtığı sırada Bir Microsoft Entra ID Genel Yöneticisi olmalıdır. İlk oturum açmadan sonra bu kullanıcı Azure Databricks hesabı yöneticisi olur ve artık Azure Databricks hesabına erişmek için Microsoft Entra ID Genel Yönetici rolüne ihtiyacı yoktur. İlk hesap yöneticisi, Microsoft Entra ID kiracısında kullanıcıları ek hesap yöneticisi olarak atayabilir (kendileri daha fazla hesap yöneticisi atayabilir). Ek hesap yöneticileri, Microsoft Entra Id'de belirli roller gerektirmez.
Meta veri deposuna eklediğiniz çalışma alanları Azure Databricks Premium planında olmalıdır.
Meta veri deposu düzeyinde kök depolamayı ayarlamak istiyorsanız Azure kiracınızda aşağıdakileri oluşturma izniniz olmalıdır:
- Azure Data Lake Storage 2. Nesil ile kullanılacak bir depolama hesabı. Bkz. Azure Data Lake Storage 2. Nesil ile kullanmak için depolama hesabı oluşturma.
- Sistem tarafından atanan yönetilen kimliği barındırmak için yeni bir kaynak. Bunun için kiracıdaki herhangi bir abonelikteki kaynak grubunun Katkıda Bulunanı veya Sahibi olmanız gerekir.
1. Adım (İsteğe bağlı): Meta veri deposu düzeyinde yönetilen depolama için depolama kapsayıcısı oluşturma
İsteğe bağlı olan bu adımda, yönetilen tablo ve birim verilerini meta veri deposu düzeyinde depolamak için bir depolama hesabı ve kapsayıcı oluşturursunuz. Meta veri deposu düzeyinde depolamaya ihtiyacınız olup olmadığını belirlemek için bkz . (İsteğe bağlı) Meta veri deposu düzeyinde depolama oluşturma.
Azure Data Lake Storage 2. Nesil için bir depolama hesabı oluşturun.
Bu depolama hesabı Unity Kataloğu tarafından yönetilen tabloları ve birimleri içerir. Bu, Azure Databricks çalışma alanlarınızla aynı bölgede bulunan bir Azure Data Lake Storage 2. Nesil hesabı olmalıdır. Bkz. Azure Data Lake Storage 2. Nesil ile kullanmak için depolama hesabı oluşturma.
Yönetilen tablolarınızı ve birim verilerinizi meta veri deposu düzeyinde tutacak bir depolama kapsayıcısı oluşturun.
Bölge başına yalnızca bir meta veri deposu oluşturabilirsiniz. Meta veri deponuz ve depolama kapsayıcınız için aynı bölgeyi kullanmanız gerekir.
Bu meta veri deposu düzeyindeki depolama konumu, katalog ve şema düzeylerinde geçersiz kılınabilir. Bkz . Unity Kataloğu'nda yönetilen depolama konumu belirtme.
Aşağıdaki biçimdeki kapsayıcı için ADLSv2 URI'sini not edin:
abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<metastore-name>İzleyen adımlarda değerini bu URI ile değiştirin
<storage-container>.
2. Adım (İsteğe bağlı): Yönetilen depolama konumuna erişmek için yönetilen kimlik oluşturma
Yalnızca 1. adımı tamamladığınızda gerekli olan bu adımda, yönetilen kimliği barındıran bir Azure Databricks erişim bağlayıcısı oluşturur ve depolama kapsayıcısına erişim verirsiniz.
Depolamaya erişmek için Unity Kataloğu'nda Azure yönetilen kimliklerini kullanma başlığındaki yönergeleri izleyin.
Not
Meta veri deposunun depolama kapsayıcısına erişim sağlayan kimlik olarak Azure yönetilen kimliği veya hizmet sorumlusu kullanabilirsiniz. Databricks, kimlik bilgilerini korumanızı veya gizli dizileri döndürmenizi gerektirmediğinden ve depolama güvenlik duvarı tarafından korunan bir Azure Data Lake Storage 2. Nesil hesabına bağlanmanıza izin vermediğinden yönetilen kimlikleri kesinlikle önerir. Hizmet sorumlusu kullanmak istiyorsanız bkz . Hizmet sorumlusu (eski) kullanarak Unity Kataloğu yönetilen depolama alanı oluşturma.
3. Adım: Meta veri deposu oluşturma ve çalışma alanı ekleme
Her Azure Databricks bölgesi kendi Unity Kataloğu meta veri deposu gerektirir.
Kuruluşunuzun faaliyet gösterdiği her bölge için bir meta veri deposu oluşturursunuz. Bu bölgesel meta veri depolarının her birini bu bölgedeki herhangi bir sayıda çalışma alanına bağlayabilirsiniz. Her bağlı çalışma alanı meta veri deposundaki verilerin aynı görünümüne sahiptir ve veri erişim denetimi çalışma alanları arasında yönetilebilir. Delta Paylaşımı'nı kullanarak diğer meta veri depolarındaki verilere erişebilirsiniz.
Meta veri deposu düzeyinde depolama oluşturmayı seçtiyseniz, meta veri deposu önceki adımlarda oluşturduğunuz depolama kapsayıcısını ve Azure yönetilen kimliğini kullanır.
Meta veri deposu oluşturmak için:
Meta veri deposu düzeyinde depolama oluşturmayı seçtiyseniz, depolama kapsayıcısının yolunu ve önceki görevde oluşturduğunuz Azure Databricks erişim bağlayıcısının kaynak kimliğini kullandığınızdan emin olun.
Çalışma alanınızda hesap yöneticisi olarak oturum açın.
Azure Databricks çalışma alanının üst çubuğunda kullanıcı adınıza tıklayın ve Hesabı Yönet'i seçin.
Azure Databricks hesap konsolunda oturum açın.
Katalog'a tıklayın
.Meta veri deposu oluştur'a tıklayın.
Aşağıdakileri girin:
Meta veri deposunun adı .
Meta veri deposunun dağıtılacağı bölge .
Bu, verilere erişmek için kullanmak istediğiniz çalışma alanlarıyla aynı bölgede olmalıdır. Meta veri deposu düzeyinde depolama için bir depolama kapsayıcısı oluşturmayı seçerseniz, bu bölge de aynı olmalıdır.
(İsteğe bağlı) ADLS 2. Nesil yolu: Meta veri deposu için kök depolama olarak kullanacağınız depolama kapsayıcısının yolunu girin.
Ön
abfss://ek otomatik olarak eklenir.(İsteğe bağlı) Erişim Bağlayıcısı Kimliği: Azure Databricks erişim bağlayıcısının kaynak kimliğini şu biçimde girin:
/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
Oluştur’a tıklayın.
İstendiğinde, meta veri deposuna bağlanmak için çalışma alanlarını seçin.
Ayrıntılar için bkz . Unity Kataloğu için çalışma alanını etkinleştirme.
Meta veri deposu yönetici rolünü bir gruba aktarın.
Meta veri deposu oluşturan kullanıcı, meta veri deposu yöneticisi olarak da adlandırılan sahibidir. Meta veri deposu yöneticisi, meta veri deposunda kataloglar gibi üst düzey nesneler oluşturabilir ve tablolara ve diğer nesnelere erişimi yönetebilir. Databricks, meta veri deposu yönetici rolünü bir gruba yeniden atamanızı önerir. Bkz. Meta veri deposu yöneticisi atama.
Yönetilen birimlere yüklemelerin Azure Databricks yönetimini etkinleştirin.
Azure Databricks, Unity Kataloğu'nda yönetilen birimlere veri yüklemek için çıkış noktaları arası kaynak paylaşımını (CORS) kullanır. Bkz . CORS için Unity Kataloğu depolama hesabını yapılandırma.