HDInsight on AKS - よく寄せられる質問

  • [アーティクル]

この記事では、Azure HDInsight on AKS についてよく寄せられる質問にお応えします。

Note

Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されます。

重要

現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新情報については、Azure HDInsight コミュニティのフォローをお願いいたします。

全般

  • HDInsight on AKS とは何ですか。

    新しい HDInsight バージョンである HDInsight on AKS は、Apache Flink (ストリーミング用)、Trino (アドホック分析および BI 用)、Apache Spark などの新しいオープンソース分析プロジェクトを備えたエンタープライズ対応のマネージド クラスター サービスを提供します。 詳細については、「概要」を参照してください。

  • HDInsight on AKS はどのようなクラスター シェイプをサポートしていますか。

    HDInsight on AKS では、最初に Trino、Apache Flink、Apache Spark がサポートされています。 ただし、Kafka、Hive などの他のクラスター シェイプも開発が予定されています。

  • HDInsight on AKS の使用を開始するにはどうすればよいですか。

    開始するには、Azure Marketplace にアクセスし、Azure HDInsight on AKS サービスを検索します。概要に関する記事を参照してください。

  • VM 上の既存の HDInsight と現在実行しているクラスターはどうなりますか。

    既存の HDInsight (VM 上の HDInsight) に変更はありません。 既存のすべてのクラスターは引き続き実行され、新しい HDInsight クラスターの作成とスケーリングを続行できます。

  • HDInsight on AKS でサポートされているオペレーティング システムはどれですか。

    HDInsight on AKS は、Mariner OS に基づいています。 詳細については、OS バージョンに関する記事を参照してください。

  • HDInsight on AKS はどのリージョンで利用できますか。

    サポートされているリージョンの一覧については、「利用可能なリージョン」を参照してください。

  • HDInsight on AKS クラスターのデプロイ費用はどのくらいですか。

    価格の詳細については、HDInsight on AKS の価格に関するページを参照してください。

クラスターの管理

  • 複数のクラスターを同時に実行できますか。

    はい。クラスター プールごとに必要な数のクラスターを同時に実行できます。 ただし、サブスクリプションのクォータによる制約がないことを確認してください。 クラスター プールで許可されるノードの最大数は 250 です (パブリック ビュー)。

  • クラスターにプラグイン/ライブラリをインストールまたは追加できますか。

    はい。クラスター シェイプに応じて、カスタム プラグインとライブラリをインストールできます。

  • クラスターに SSH 接続できますか。

    はい。webssh を使用してクラスターに SSH 接続し、クエリを実行し、そこから直接ジョブを送信できます。

メタストア

  • 外部メタストアを使用してクラスターに接続できますか。

    はい。外部メタストアを使用できます。 ただし、外部カスタム メタストアとしては Azure SQL Database のみをサポートしています。

  • 複数のクラスター間でメタストアを共有することはできますか。

    はい。複数の HDInsight of AKS 間でメタストアを共有できます。

  • サポートされている Hive メタストアのバージョンは何ですか。

    Hive メタストア version 3.1.2

ワークロード

Trino

  • Trino とは何ですか。

    Trino は、オープン ソースのフェデレーションおよび分散 SQL クエリ エンジンです。これにより、中央データ ウェアハウスに移動することなく、異なるデータ ソースに存在するデータに対してクエリを実行できます。 ANSI SQL を使用してデータのクエリを実行できます。新しい言語を学習する必要はありません。 詳細については、Trino の概要に関する記事を参照してください。

  • どのようなコネクタをサポートしていますか。

    HDInsight on AKS Trino では、複数のコネクタがサポートされています。 詳細については、「Trino コネクタ」の一覧を参照してください。 新しいコネクタがオープンソース バージョンで使用できるようになるたびに、新しいコネクタが追加され続けます。

  • 既存のクラスターにカタログを追加できますか。

    はい。サポートされているカタログを既存のクラスターに追加できます。 詳細については、既存のクラスターへのカタログの追加に関する記事を参照してください。

  • Apache Flink とは何ですか。

    Apache Flink は、境界なしと境界ありのデータ ストリームに対して、ストリーム処理とステートフル評価を実行するためのクラス最高のオープン ソース分析エンジンです。 メモリ内速度と任意のスケールで評価を実行できます。 HDInsight on AKS 上の Flink は、マネージド オープンソースの Apache Flink を提供します。 詳しくは、Flink の概要に関する記事を参照してください。

  • Apache Flink ではセッション モードとアプリ モードの両方をサポートしていますか。

    HDInsight on AKS では、Flink は現在セッション モードのクラスターをサポートしています。

  • HDInsight on AKS における状態バックエンド管理とそのしくみはどのようなものですか。

    バックエンドによって、状態が格納される場所が決まります。 チェックポイント処理がアクティブ化されると、状態は、チェックポイント時に永続化されて、データ損失から保護され、整合的に回復されます。 状態が内部的に表現される方法と、チェックポイント時に永続化される方法と場所は、選択された "状態バックエンド" によって異なります。 詳しくは、Flink の概要に関する記事を参照してください

Apache Spark

  • Apache Spark とは

    Apache Spark は、大規模なデータ セットに対して処理タスクを迅速に実行できるデータ処理フレームワークであり、単独で、または他の分散コンピューティング ツールと連携して、複数のコンピューターにデータ処理タスクを分散することもできます。

  • Spark でサポートされている言語 API は何ですか。

    Azure HDInsight on AKS では、Python と Scala がサポートされています。

  • HDInsight on AKS Spark では外部メタストアがサポートされていますか。

    HDInsight on AKS では、外部メタストア接続がサポートされています。 現在、外部メタストアとしてサポートされているのは Azure SQL DB のみです。

  • HDInsight on AKS Spark では、どのような方法でジョブを送信できますか。

    Jupyter Notebook、Zeppelin Notebook、SDK、クラスター ターミナルを使用して、HDInsight on AKS Spark でジョブを送信できます。 詳細については、「HDInsight on AKS の Spark クラスターでジョブを送信および管理する」を参照してください