Özel Ambari DB ile HDInsight kümeleri ayarlama
Apache Ambari, Apache Hadoop kümesinin yönetimini ve izlenmesini basitleştirir. Ambari, kullanımı kolay bir web kullanıcı arabirimi ve REST API sağlar. Ambari, HDInsight kümelerine dahil edilir ve kümeyi izlemek ve yapılandırma değişiklikleri yapmak için kullanılır.
Normal küme oluşturmada, HDInsight'ta küme ayarlama gibi diğer makalelerde açıklandığı gibi Ambari, HDInsight tarafından yönetilen ve kullanıcılar tarafından erişilmeyen bir S0 Azure SQL Veritabanı dağıtılır.
Özel Ambari DB özelliği, yeni bir küme dağıtmanıza ve Ambari'yi yönettiğiniz bir dış veritabanında ayarlamanıza olanak tanır. Dağıtım bir Azure Resource Manager şablonuyla gerçekleştirilir. Bu özelliğin aşağıdaki faydaları vardır:
- Özelleştirme - veritabanının boyutunu ve işleme kapasitesini seçersiniz. Yoğun iş yüklerini işleyen büyük kümeleriniz varsa, daha düşük belirtimlere sahip bir Ambari veritabanı yönetim işlemleri için bir performans sorununa neden olabilir.
- Esneklik: Veritabanını gereksinimlerinize uygun şekilde ölçeklendikleyebilirsiniz.
- Denetim: Veritabanınız için yedeklemeleri ve güvenliği kuruluşunuzun gereksinimlerine uygun bir şekilde yönetebilirsiniz.
Bu makalenin geri kalanında aşağıdaki noktalar ele alınmaktadır:
- özel Ambari DB özelliğini kullanma gereksinimleri
- Apache Ambari için kendi dış veritabanınızı kullanarak HDInsight kümesi sağlamak için gereken adımlar
Özel Ambari DB gereksinimleri
Tüm küme türleri ve sürümleriyle özel bir Ambari DB dağıtabilirsiniz. Birden çok küme aynı Ambari DB'yi kullanamaz.
Özel Ambari DB aşağıdaki diğer gereksinimlere sahiptir:
- Veritabanının adı kısa çizgi veya boşluk içeremez
- Mevcut bir Azure SQL DB sunucunuz ve veritabanınız olmalıdır.
- Ambari kurulumu için sağladığınız veritabanı boş olmalıdır. Varsayılan dbo şemasında tablo olmamalıdır.
- Veritabanına bağlanmak için kullanılan kullanıcının veritabanında SELECT, CREATE TABLE, INSERT, UPDATE, DELETE, ALTER ON SCHEMA ve REFERENCES ON SCHEMA izinleri olmalıdır.
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
- Ambari'yi barındırdığınız sunucuda Azure hizmetlerine erişime izin ver seçeneğini açın.
- HDInsight hizmetinden yönetim IP adreslerine güvenlik duvarı kuralında izin verilmelidir. Sunucu düzeyinde güvenlik duvarı kuralına eklenmesi gereken IP adreslerinin listesi için bkz . HDInsight yönetim IP adresleri.
Apache Ambari DB'nizi bir dış veritabanında barındırdığınızda aşağıdaki noktaları unutmayın:
- Ambari'yi barındıran Azure SQL DB'nin ek maliyetlerinden siz sorumlusunuz.
- Özel Ambari DB'nizi düzenli aralıklarla yedekleyin. Azure SQL Veritabanı otomatik olarak yedek oluşturur, ancak yedekleme saklama zaman çerçevesi değişir. Daha fazla bilgi için bkz. Otomatik SQL Veritabanı yedeklemeleri hakkında daha fazla bilgi alın.
- HDInsight kümesi Çalışıyor durumuna ulaştıktan sonra özel Ambari DB parolasını değiştirmeyin. Desteklenmez.
Özel Ambari DB ile küme dağıtma
Kendi dış Ambari veritabanınızı kullanan bir HDInsight kümesi oluşturmak için özel Ambari DB Hızlı Başlangıç şablonunu kullanın.
Yeni kümeniz ve Ambari'yi azuredeploy.parameters.json
barındıran veritabanı hakkında bilgi belirtmek için içindeki parametrelerini düzenleyin.
Azure CLI'yi kullanarak dağıtıma başlayabilirsiniz. değerini, kümenizi dağıtmak istediğiniz kaynak grubuyla değiştirin <RESOURCEGROUPNAME>
.
az deployment group create --name HDInsightAmbariDBDeployment \
--resource-group <RESOURCEGROUPNAME> \
--template-file azuredeploy.json \
--parameters azuredeploy.parameters.json
Uyarı
LÜTFEN HDInsight kümeniz için aşağıdaki önerilen SQL DB ve Headnode VM'sini kullanın. Lütfen herhangi bir üretim ortamı için varsayılan Ambari DB'sini (S0) kullanmayın.
Veritabanı ve Baş Düğüm boyutlandırma
Aşağıdaki tabloda, HDInsight kümenizin boyutuna göre hangi Azure SQL DB katmanının seçildiğine ilişkin yönergeler sağlanmaktadır.
Çalışan düğümlerinin sayısı | Gerekli VERITABANı katmanı | Gerekli Baş Düğüm VM'si |
---|---|---|
<=4 | S0 | 4 çekirdek/28 GB RAM veya üzeri |
>4 & <=8 | S1 | 4 çekirdek/28 GB RAM veya üzeri |
>8 & <=16 | S2 | 4 çekirdek/28 GB RAM veya üzeri |
>16 & <=32 | S3 | 8 çekirdek/56 GB RAM veya üzeri |
>32 & <=64 | S4 | 8 çekirdek/56 GB RAM veya üzeri |
>64 & <=128 | P2 | 16 çekirdek/112 GB RAM veya üzeri |
>128 | Destek birimine başvurma | Destek birimine başvurma |