Quelles sont les configurations de nœud par défaut et recommandées pour Azure HDInsight ?

  • Article

Cet article décrit les configurations de nœud par défaut et recommandées pour les clusters Azure HDInsight.

Les tableaux suivants répertorient les tailles de machine virtuelle par défaut et recommandées des clusters HDInsight. Ces informations sont nécessaires pour comprendre les tailles de machine virtuelle à utiliser lorsque vous créez des scripts PowerShell ou Azure CLI pour déployer des clusters HDInsight.

Si vous avez besoin de plus de 32 nœuds Worker dans un cluster, sélectionnez une taille de nœud principal avec au moins 8 cœurs et 14 Go de RAM.

Les seuls types de clusters dotés de disques de données sont les clusters Kafka et HBase avec la fonctionnalité Écritures accélérées activée. HDInsight prend en charge les tailles de disque P30 et S30 dans ces scénarios. Pour tous les autres types de clusters, HDInsight fournit un espace disque managé avec le cluster. À compter du 07/11/2019, la taille de disque managé de chaque nœud du cluster nouvellement créé est de 128 Go. Cela ne peut pas être modifié.

Les spécifications de tous les types de machines virtuelles recommandés minimum utilisés dans ce document sont résumées dans le tableau suivant.

Taille Processeurs virtuels Mémoire : Gio Stockage temporaire (SSD) en Gio Débit de stockage temporaire max. : IOPS / MBps en lecture / MBps en écriture Disques de données max. / débit : E/S par seconde Nombre max de cartes réseau / Bande passante réseau attendue (MBps)
Standard_D3_v2 4 14 200 12000 / 187 / 93 16 / 16 x 500 4 / 3 000
Standard_D4_v2 8 28 400 24000 / 375 / 187 32 / 32 x 500 8 / 6 000
Standard_D5_v2 16 56 800 48000 / 750 / 375 64 / 64 x 500 8 / 12000
Standard_D12_v2 4 28 200 12000 / 187 / 93 16 / 16 x 500 4 / 3 000
Standard_D13_v2 8 56 400 24000 / 375 / 187 32 / 32 x 500 8 / 6 000
Standard_D14_v2 16 112 800 48000 / 750 / 375 64 / 64 x 500 8 / 12000
Standard_A1_v2 1 2 10 1000 / 20 / 10 2 / 2 x 500 2 / 250
Standard_A2_v2 2 4 20 2000 / 40 / 20 4 / 4 x 500 2 / 500
Standard_A4_v2 4 8 40 4000 / 80 / 40 8 / 8 x 500 4 / 1 000

Pour plus d’informations sur les spécifications de chaque type de machine virtuelle, consultez les documents suivants :

Régions prises en charge

Notes

Pour obtenir l’identificateur de référence (SKU) à utiliser dans PowerShell et d’autres scripts, ajoutez Standard_ au début de toutes les références (SKU) de machine virtuelle dans les tableaux ci-dessous. Par exemple, D12_v2 deviendrait Standard_D12_v2.

Type de cluster Hadoop hbase Interactive Query Spark Kafka
Head : taille de machine virtuelle par défaut E4_v3 E4_v3 D13_v2 E8_v3,
D13_v2*		 E4_v3
Head : tailles de machine virtuelle recommandées minimum D5_v2 D3_v2 D13_v2 D12_v2,
D13_v2*		 D3_v2
Worker : taille de machine virtuelle par défaut E8_v3 E4_v3 D14_v2 E8_v3 4 E4_v3 avec 2 disques S30 par répartiteur
Worker : tailles de machine virtuelle recommandées minimum D5_v2 D3_v2 D13_v2 D12_v2 D3_v2
Zookeeper : taille de machine virtuelle par défaut A4_v2 A4_v2 A4_v2
ZooKeeper : tailles de machine virtuelle recommandées minimum A4_v2 A4_v2 A4_v2

* = Tailles de machine virtuelle pour les clusters du Pack Sécurité Entreprise (ESP) Spark

Notes

  • L’élément Worker est appelé Region pour le type de cluster HBase.

Étapes suivantes