Kaynak önkoşulları
Not
31 Ocak 2025'te AKS'de Azure HDInsight'ı kullanımdan kaldırmaya devam edeceğiz. 31 Ocak 2025'den önce, iş yüklerinizin aniden sonlandırılmasını önlemek için iş yüklerinizi Microsoft Fabric'e veya eşdeğer bir Azure ürününe geçirmeniz gerekir. Aboneliğinizdeki kalan kümeler durdurulur ve konaktan kaldırılır.
Kullanımdan kaldırma tarihine kadar yalnızca temel destek sağlanacaktır.
Önemli
Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.
Bu makalede, AKS üzerinde HDInsight'ı kullanmaya başlamak için gereken kaynaklar ayrıntılı olarak açıklanıyor. Gerekli ve isteğe bağlı kaynakları ve bunların nasıl oluşturulacağını kapsar.
Gerekli kaynaklar
Aşağıdaki tabloda, küme türlerine göre küme oluşturmak için gereken kaynaklar gösterilir.
| İş Yükü | Yönetilen Hizmet Kimliği (MSI) | Depolama | SQL Server - SQL Veritabanı | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Hive Meta Veri Deposu (HMS) ile Trino, Flink veya Spark | ✅ | ✅ | ✅ | ✅ |
Not
MSI, SQL Veritabanı dışında kaynaklar arasında kimlik doğrulaması ve yetkilendirme için bir güvenlik standardı olarak kullanılır. Rol ataması, MSI'yi depolama için yetkilendirmek üzere dağıtımdan önce gerçekleşir ve gizli diziler SQL Veritabanı için Key Vault'ta depolanır. Depolama desteği ADLS 2. Nesil ile birliktedir ve işlem altyapıları için veri deposu olarak kullanılır ve SQL Veritabanı Hive Meta Veri Deposu'nda tablo yönetimi için kullanılır.
İsteğe bağlı kaynaklar
- Sanal Ağ (VNet) ve Alt Ağ: Sanal ağ oluşturma
- Log Analytics Çalışma Alanı: Log Analytics çalışma alanı oluşturma
Not
- Sanal ağ, kendisiyle ilişkilendirilmiş herhangi bir yol tablosu olmayan alt ağ gerektirir.
- AKS üzerinde HDInsight, kendi sanal ağınızı ve Alt Ağınızı getirmenize olanak tanıyarak ağ gereksinimlerinizi kuruluşunuzun gereksinimlerine uyacak şekilde özelleştirmenizi sağlar.
- Log Analytics çalışma alanı isteğe bağlıdır ve Azure Log Analytics gibi Azure İzleyici özelliklerini kullanmak isterseniz önceden oluşturulması gerekir.
Gerekli kaynakları iki şekilde oluşturabilirsiniz:
- Kullanıma hazır ARM şablonları
- Azure portalı kullanarak
ARM şablonlarını kullanma
Aşağıdaki ARM şablonları, kaynak ön ekini ve gereken diğer ayrıntıları kullanarak belirtilen gerekli kaynakları tek tıklamayla oluşturmanıza olanak sağlar.
Örneğin, kaynak ön ekini "tanıtım" olarak sağlarsanız, seçtiğiniz şablona bağlı olarak kaynak grubunuzda aşağıdaki kaynaklar oluşturulur -
- MSI adıyla
demoMSIoluşturulur. - Depolama alanı olarak bir kapsayıcı
democontainerile birlikte adıylademostoreoluşturulur. - Anahtar kasası, şablonda parametre olarak
demoKeyVaultsağlanan gizli diziyle birlikte adla oluşturulur. - Azure SQL veritabanı adıyla ve sql
demoSqlDBsunucusu adıylademoSqlServeroluşturulur.
| İş Yükü | Önkoşullar |
|---|---|
| Trino | Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. |
| Flink | Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. 2. ADLS 2. Nesil depolama hesabı ve bir kapsayıcı. Rol atamaları: 1. Depolama hesabında kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atar. |
| Spark | Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. 2. ADLS 2. Nesil depolama hesabı ve bir kapsayıcı. Rol atamaları: 1. Depolama hesabında kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atar. |
| Hive Meta Veri Deposu (HMS) ile Trino, Flink veya Spark | Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. 2. ADLS 2. Nesil depolama hesabı ve bir kapsayıcı. 3. Azure SQL Server ve SQL Veritabanı. 4. Azure Key Vault ve SQL Server yönetici kimlik bilgilerini depolamak için bir gizli dizi. Rol atamaları: 1. Depolama hesabında kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atar. 2. Key Vault'ta kullanıcı tarafından atanan MSI'ye "Key Vault Gizli Dizileri Kullanıcısı" rolü atar. |
Not
Bu ARM şablonlarını kullanmak, kullanıcının yeni kaynaklar oluşturma ve abonelikteki kaynaklara rol atama iznine sahip olmasını gerektirir.
Azure portalı kullanarak
Kullanıcı tarafından atanan yönetilen kimlik (MSI) oluşturma
Yönetilen kimlik, kimlik bilgileri Azure tarafından yönetilen Microsoft Entra Id (Microsoft Entra ID) içinde kayıtlı bir kimliktir. Yönetilen kimliklerle, sertifikalar gibi kimlik bilgilerini korumak için hizmet sorumlularını Microsoft Entra Id'ye kaydetmeniz gerekmez.
AKS üzerinde HDInsight, farklı bileşenler arasındaki iletişim için kullanıcı tarafından atanan MSI'ye dayanır.
Depolama hesabı oluşturma – ADLS 2. Nesil
Depolama hesabı, küme günlükleri ve diğer çıkışlar için varsayılan konum olarak kullanılır. AdLS 2. Nesil depolama olarak kullanmak üzere depolama hesabı oluşturma sırasında hiyerarşik ad alanını etkinleştirin.
Rol atama: Bu depolama hesabında oluşturulan kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atayın.
Kapsayıcı oluşturma: Depolama hesabını oluşturduktan sonra depolama hesabında bir kapsayıcı oluşturun.
Not
Küme oluşturma sırasında kapsayıcı oluşturma seçeneği de kullanılabilir.
Azure SQL Veritabanı oluşturma
Küme oluşturma sırasında dış meta veri deposu olarak kullanılacak bir Azure SQL Veritabanı oluşturun veya var olan bir SQL Veritabanı kullanabilirsiniz. Ancak aşağıdaki özelliklerin ayarlandığından emin olun.
SQL Server ve SQL Veritabanı için etkinleştirilmesi gereken özellikler-
| Kaynak Türü | Özellik | Açıklama |
|---|---|---|
| SQL Server | Kimlik doğrulama yöntemi | SQL Server oluştururken "Kimlik doğrulama yöntemi"ni şu şekilde kullanın: 
|
| SQL Veritabanı | Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver | Azure portalındaki SQL veritabanınızda Ağ dikey penceresi altında bu özelliği etkinleştirin. |
Not
- Şu anda yalnızca Azure SQL Veritabanı yerleşik meta veri deposu olarak destekliyoruz.
- Hive sınırlaması nedeniyle meta veri deposu veritabanı adında "-" (kısa çizgi) karakteri desteklenmez.
- Azure SQL Veritabanı kümenizle aynı bölgede olmalıdır.
- Küme oluşturma sırasında SQL Veritabanı oluşturma seçeneği de kullanılabilir. Ancak, yeni oluşturulan veritabanının açılan listede görünmesini sağlamak için küme oluşturma sayfasını yenilemeniz gerekir.
Azure Key Vault oluşturma
Key Vault, SQL Veritabanı oluşturma sırasında ayarlanan SQL Server yönetici parolasını depolamanıza olanak tanır. AKS platformundaki HDInsight, kimlik bilgileriyle doğrudan ilgilenmez. Bu nedenle, önemli kimlik bilgilerinizi Key Vault'ta depolamanız gerekir.
Rol atama: Bu Key Vault'a gerekli kaynakların bir parçası olarak oluşturulan kullanıcı tarafından atanan MSI'ye "Key Vault Gizli Dizileri Kullanıcısı" rolü atayın.
Gizli dizi oluşturma: Bu adım, SQL Server yönetici parolanızı Azure Key Vault'ta gizli dizi olarak tutmanızı sağlar. Gizli dizi oluştururken parolanızı "Değer" alanına ekleyin.
Not
- Küme oluşturma sırasında gerekli olduğundan gizli dizi adını not edin.
- Azure portalını kullanarak Key Vault'ta gizli dizi eklemek için kimliğinize veya hesabınıza atanmış bir "Key Vault Yöneticisi" rolüne sahip olmanız gerekir. Key Vault'a gidin ve rolü atama adımlarını izleyin.