Auswählen der richtigen VM-Größe für Ihren Azure HDInsight-Cluster

  • Artikel

In diesem Artikel wird erläutert, wie Sie die richtige VM-Größe für die verschiedenen Knoten in Ihrem HDInsight-Cluster auswählen.

Verstehen Sie zunächst, wie sich die Eigenschaften eines virtuellen Computers wie CPU-Verarbeitung, RAM-Größe und Netzwerklatenz auf die Verarbeitung Ihrer Workloads auswirken. Betrachten Sie als Nächstes Ihre Anwendung, und untersuchen Sie, wie sie zu den Aspekten passt, für die die verschiedenen VM-Familien optimiert sind. Stellen Sie sicher, dass die zu verwendende VM-Familie mit dem Clustertyp kompatibel ist, den Sie bereitstellen möchten. Eine Liste aller unterstützten und empfohlenen VM-Größen für jeden Clustertyp finden Sie im Artikel zu den von Azure HDInsight unterstützten Knotenkonfigurationen. Schließlich können Sie einen Benchmarkprozess verwenden, um einige Beispielworkloads zu testen und zu überprüfen, welche SKU innerhalb dieser Familie die richtige für Sie ist.

Weitere Informationen zum Planen anderer Aspekte Ihres Clusters – etwa die Auswahl von Speichertyp oder Speichergröße – finden Sie unter Kapazitätsplanung für HDInsight-Cluster.

VM-Eigenschaften und Big Data-Workloads

Die GRÖßE und der Typ des virtuellen Computers werden durch CPU-Verarbeitungsleistung, RAM-Größe und Netzwerklatenz bestimmt:

  • CPU: Die VM-Größe bestimmt die Anzahl der Kerne. Je mehr Kerne, in desto höherem Maße kann jeder Knoten parallele Berechnungen durchführen. Außerdem weisen einige VM-Typen schnellere Kerne auf.

  • RAM: Die VM-Größe bestimmt auch, wie viel RAM die VM bietet. Stellen Sie für Workloads, bei denen Daten eher für die Verarbeitung im Arbeitsspeicher gespeichert als vom Datenträger gelesen werden, sicher, dass Ihre Workerknoten ausreichend Arbeitsspeicher für die Datenmenge aufweisen.

  • Netzwerk: Bei den meisten Clustertypen befinden sich die vom Cluster verarbeiteten Daten nicht auf dem lokalen Datenträger, sondern in einem externen Speicherdienst wie Data Lake Storage oder Azure Storage. Berücksichtigen Sie die Netzwerkbandbreite und den Durchsatz zwischen der Knoten-VM und dem Speicherdienst. Die für einen virtuellen Computer verfügbare Netzwerkbandbreite wird bei Erweiterungen in der Regel heraufgesetzt. Weitere Informationen finden Sie unter Größen für virtuelle Linux-Computer in Azure.

Grundlegendes zur VM-Optimierung

Die VM-Familien in Azure sind für verschiedene Anwendungsfälle optimiert. In der folgenden Tabelle finden Sie einige der am häufigsten verwendeten Anwendungsfälle und die VM-Familien, die mit ihnen übereinstimmen.

type Größen BESCHREIBUNG
Einstiegsebene Av2 CPU-Leistung und Arbeitsspeicherkonfigurationen dieser VM-Serie sind am besten für Workloads wie Entwicklung und Test geeignet. Sie sind wirtschaftlich und bieten eine kostengünstige Option für die ersten Schritte mit Azure.
Allgemeiner Zweck D, DSv2, Dv2 Ausgewogenes Verhältnis von CPU zu Arbeitsspeicher. Ideal für Tests und Entwicklung, kleine bis mittlere Datenbanken sowie Webserver mit geringer bis mittlerer Auslastung.
Für Compute optimiert F Hohes Verhältnis von CPU zu Arbeitsspeicher. Ideal für Webserver, Network Appliances, Stapelverarbeitungsvorgänge und Anwendungsserver mit mittlerer Auslastung.
Arbeitsspeicheroptimiert Esv3, Ev3 Hohes Verhältnis von Speicher zu CPU. Hervorragend geeignet für relationale Datenbankserver, mittlere bis große Caches und In-Memory-Analysen.
  • Preisinformationen zu den verfügbaren VM-Instanzen in den Regionen mit HDInsight-Unterstützung finden Sie unter HDInsight – Preise.

Kostensparende VM-Typen für weniger umfangreiche Workloads

Wenn Sie geringere Anforderungen an die Verarbeitung stellen, kann die F-Serie eine gute Wahl für den Einstieg in HDInsight sein. Die F-Serie hat einen niedrigeren Listenpreis pro Stunde und bietet auf Basis der Azure-Compute-Einheit (Azure Compute Unit, ACU) das beste Preis-Leistungs-Verhältnis pro vCPU im Azure-Portfolio.

Die folgende Tabelle beschreibt die Cluster- und Knotentypen, die mit den VMs der Fsv2-Serie erstellt werden können.

Clustertyp Version Workerknoten Hauptknoten ZooKeeper-Knoten
Spark Alle F4 und höher Nein Nein
Hadoop Alle F4 und höher Nein nein
Kafka Alle F4 und höher Nein nein
hbase Alle F4 und höher Nein nein
LLAP deaktiviert Nein Nein nein

Die Spezifikationen jeder SKU der F-Serie finden Sie unter New F-Series VM Sizes (Neue VM-Größen der F-Serie).

Benchmarktests

Benchmarking ist der Prozess der Ausführung simulierter Workloads auf verschiedenen virtuellen Computern, um zu messen, wie gut sie für Ihre Produktionsworkloads funktionieren.

Weitere Informationen zu Benchmarktests für VM-SKUs und Clustergrößen finden Sie unter Planen der Clusterkapazität in Azure HDInsight.

Nächste Schritte