AKS üzerinde HDInsight'ta Spark kümesi oluşturma (Önizleme)
Not
31 Ocak 2025'te AKS'de Azure HDInsight'ı kullanımdan kaldırmaya devam edeceğiz. 31 Ocak 2025'den önce, iş yüklerinizin aniden sonlandırılmasını önlemek için iş yüklerinizi Microsoft Fabric'e veya eşdeğer bir Azure ürününe geçirmeniz gerekir. Aboneliğinizdeki kalan kümeler durdurulur ve konaktan kaldırılır.
Kullanımdan kaldırma tarihine kadar yalnızca temel destek sağlanacaktır.
Önemli
Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.
Abonelik önkoşulları ve kaynak önkoşulları adımları tamamlandıktan ve dağıtılan bir küme havuzunuz olduğunda Spark kümesi oluşturmak için Azure portalını kullanmaya devam edin. Azure portalını kullanarak küme havuzunda apache Spark kümesi oluşturabilirsiniz. Ardından bir Jupyter Notebook oluşturabilir ve Apache Hive tablolarında Spark SQL sorguları çalıştırmak için kullanabilirsiniz.
Azure portalında küme havuzları yazın ve küme havuzları sayfasına gitmek için küme havuzlarını seçin. Küme havuzları sayfasında, içine yeni bir Spark kümesi ekleyebileceğiniz küme havuzunu seçin.
Belirli bir küme havuzu sayfasında + Yeni küme'ye tıklayın.
Bu adım küme oluşturma sayfasını açar.
Özellik Açıklama Abonelik Önkoşullar bölümünde AKS üzerinde HDInsight ile kullanılmak üzere kaydedilen Azure aboneliği önceden doldurulacak Kaynak Grubu Küme havuzuyla aynı kaynak grubu önceden doldurulur Bölge Küme havuzu ve sanal ile aynı bölge önceden doldurulur Küme havuzu Küme havuzunun adı önceden doldurulur HDInsight Havuzu sürümü Küme havuzu sürümü havuz oluşturma seçiminden önceden doldurulur AKS sürümünde HDInsight AKS sürümünde HDI'yi belirtme Küme türü Açılan listeden Spark'ı seçin Küme Sürümü Kullanılacak görüntü sürümünü seçin Küme adı Yeni kümenin adını girin Kullanıcı tarafından atanan yönetilen kimlik Depolama ile bağlantı dizesi olarak çalışacak kullanıcı tarafından atanan yönetilen kimliği seçin Depolama Hesabı Küme için birincil depolama olarak kullanılacak önceden oluşturulmuş depolama hesabını seçin Kapsayıcı adı Önceden oluşturulduysa veya yeni bir kapsayıcı oluşturduysanız kapsayıcı adını (benzersiz) seçin Hive Kataloğu (isteğe bağlı) Önceden oluşturulmuş Hive meta depoyu (Azure SQL DB) seçin Hive için SQL Veritabanı Açılan listeden hive-meta veri deposu tablolarının ekleneceği SQL Veritabanı seçin. SQL yöneticisi kullanıcı adı SQL yöneticisi kullanıcı adını girin Key Vault Açılan listeden, SQL yöneticisi kullanıcı adı için parola içeren bir gizli dizi içeren Key Vault'ı seçin SQL parola gizli dizisi adı SQL DB parolasının depolandığı Key Vault'tan gizli dizi adını girin Not
- HDInsight şu anda yalnızca MS SQL Server veritabanlarını desteklemektedir.
- Hive sınırlaması nedeniyle meta veri deposu veritabanı adında "-" (kısa çizgi) karakteri desteklenmez.
Devam etmek için İleri: Yapılandırma + fiyatlandırma'ya tıklayın.
Özellik Açıklama Düğüm boyutu Spark düğümleri için kullanılacak düğüm boyutunu seçin Çalışan düğümlerinin sayısı Spark kümesi için düğüm sayısını seçin. Bunların dışında, koordinatör ve sistem hizmetleri için üç düğüm ayrılmıştır, kalan düğümler her düğüm için bir çalışan olmak üzere Spark çalışanlarına ayrılmıştır. Örneğin, beş düğümlü bir kümede iki çalışan vardır Otomatik Ölçeklendirme Otomatik Ölçeklendirme'yi etkinleştirmek için iki durumlu düğmeyi tıklatın Otomatik Ölçeklendirme Türü Yük tabanlı veya zamanlama tabanlı otomatik ölçeklendirme arasından seçim yapın Düzgün bir şekilde kullanımdan çıkarma zaman aşımı Yetkisiz kullanımdan çıkarma zaman aşımını belirtin Varsayılan çalışan düğümü yok Otomatik ölçeklendirme için düğüm sayısını seçin Saat Dilimi Saat dilimini seçin Otomatik Ölçeklendirme Kuralları Günü, başlangıç saatini, bitiş saatini, hayır'ı seçin. çalışan düğümlerinin sayısı SSH'yi etkinleştirme Etkinleştirilirse, Ön Ek ve SSH düğüm sayısı tanımlamanızı sağlar Günlük kaydı için Log Analytics'i etkinleştirmek ve seçmek için İleri: Tümleştirmeler'e tıklayın.
İzleme ve ölçümler için Azure Prometheus, küme oluşturma işleminden sonra etkinleştirilebilir.
Sonraki sayfaya geçmek için İleri: Etiketler'e tıklayın.
Etiketler sayfasında, kaynağınıza eklemek istediğiniz etiketleri girin.
Özellik Açıklama Ad isteğe bağlı. Kaynaklarınızla ilişkili tüm kaynakları kolayca tanımlamak için AKS Özel Önizleme'de HDInsight gibi bir ad girin Değer Bunu boş bırakın Kaynak Seçilen Tüm kaynaklar'ı seçin İleri: Gözden geçir ve oluştur'a tıklayın.
Gözden geçir ve oluştur sayfasında, sayfanın üst kısmındaki Doğrulama başarılı iletisini bulun ve Oluştur'a tıklayın.
Kümenin oluşturulduğu Dağıtım işlem aşamasında sayfası görüntülenir. Kümenin oluşturulması 5-10 dakika sürer. Küme oluşturulduktan sonra Dağıtımınız tamamlandı iletisi görüntülenir. Sayfadan uzaklaşırsanız durum için Bildirimlerinizi de kontrol edebilirsiniz.
Kümeye genel bakış sayfasına gidin, burada uç nokta bağlantılarını görebilirsiniz.
