HDInsight 上の Apache Kafka 用に記憶域とスケーラビリティを構成する

  • [アーティクル]

HDInsight 上の Apache Kafka によって使用されるマネージド ディスクの数を構成する方法について説明します。

HDInsight 上の Kafka は、HDInsight クラスターの仮想マシンのローカル ディスクを使います。 Kafka は I/O が非常に多いため、Azure Managed Disks を使ってノードごとに高いスループットと多くの記憶域を提供します。 従来の仮想ハード ドライブ (VHD) を Kafka 用に使う場合は、各ノードは 1 TB に制限されます。 マネージド ディスクの場合は、複数のディスクを使ってクラスターの各ノードを 16 TB にできます。

次の図は、マネージド ディスクを使う前と使った後の HDInsight 上の Kafka を比較したものです。

Kafka とマネージド ディスク アーキテクチャ。

マネージド ディスクを構成する: Azure Portal

  1. 「HDInsight クラスターの作成」の手順に従って、Portal を使ってクラスターを作成する一般的な手順を理解します。 ポータルの作成プロセスを完了しないでください。

  2. [構成と価格] セクションで、[ノード数] フィールドを使用して、ディスクの数を構成します。

    Note

    マネージド ディスクの種類は、Standard (HDD) または Premium (SSD) です。 Premium ディスクは、DS および GS シリーズの VM で使われます。 他の種類の VM はすべて Standard を使います。

    ワーカー ノードごとのディスク数が強調表示されているクラスター サイズ セクション。

マネージド ディスクを構成する: Resource Manager テンプレート

Kafka クラスターのワーカー ノードによって使われるディスクの数を制御するには、テンプレートの次のセクションを使います。

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

次のステップ

HDInsight 上の Apache Kafka の操作の詳細については、次のドキュメントを参照してください。