Azure Stream Analytics からの Kafka 出力 (プレビュー)

Azure Stream Analytics では、データを出力するプロデューサーとして Kafka クラスターに直接接続できます。 このソリューションはロー コードで、Microsoft の Azure Stream Analytics チームによって完全に管理されているため、ビジネス コンプライアンス基準を満たすことができます。 ASA Kafka 出力には下位互換性があり、バージョン 0.10 以降の最新のクライアント リリースを含むすべてのバージョンをサポートしています。 ユーザーは、構成に応じて、VNET 内の Kafka クラスターやパブリック エンドポイントを含む Kafka クラスターに接続できます。 この構成は、既存の Kafka 構成規則に依存しています。 サポートされている圧縮の種類は、None、Gzip、Snappy、LZ4、Zstd です。

手順

この記事では、Azure Stream Analytics からの出力として Kafka を設定する方法について説明します。 以下の 6 つの手順があります。

1. Azure Stream Analytics ジョブを作成します。
2. mTLS または SASL_SSl セキュリティ プロトコルを使用している場合は、マネージド ID を使用するように Azure Stream Analytics ジョブを構成します。
3. mTLS または SASL_SSl セキュリティ プロトコルを使用している場合は、Azure Key Vault を構成します。
4. Azure Key Vault に証明書をシークレットとしてアップロードします。
5. アップロードされた証明書にアクセスするためのアクセス許可を Azure Stream Analytics に付与します。
6. Azure Stream Analytics ジョブ内で Kafka 出力を構成します。

構成

次の表に、Kafka 入力を作成するためのプロパティの名前とその説明を示します。

認証と暗号化

Kafka クラスターへの接続には、次の 4 種類のセキュリティ プロトコルを使用できます：

Confluent Cloud Kafka への接続に関する詳細なチュートリアルについては、次のドキュメントを参照してください。

• Confluent Cloud Kafka の入力: Azure Stream Analytics を使用して Confluent Cloud Kafka からデータをストリーミングする
• Confluent Cloud Kafka の出力: Azure Stream Analytics から Confluent Cloud Kafka にデータをストリーミングする

Key Vault の統合

Azure Stream Analytics は、Azure Key Vault とシームレスに統合され、mTLS または SASL_SSL セキュリティ プロトコルを使用する場合の認証と暗号化に必要な格納済みシークレットにアクセスできます。 Azure Stream Analytics ジョブは、マネージド ID を使ってユーザーの Azure キー コンテナーに接続し、セキュリティで保護された接続を確保して、シークレットの流出を防ぎます。 証明書はシークレットとしてキー コンテナーに格納され、PEM 形式である必要があります。

アクセス許可を使ってキー コンテナーを構成する

キー コンテナー リソースを作成するには、ドキュメント「クイック スタート: Azure portal を使用してキー コンテナーを作成する」に従ってください。証明書をアップロードするには、Key Vault に対する "Key Vault Administrator" アクセス権が必要です。 次の手順に従って、管理者アクセス権を付与してください。

1. [アクセス制御 (IAM)] を選択します。

2. [追加]>[ロールの割り当ての追加] を選択して、[ロールの割り当ての追加] ページを開きます。

3. 次の構成を使ってロールを割り当てます。

Azure CLI を使って証明書をキー コンテナーにアップロードする

PowerShell を使用して Azure CLI がローカルに構成されていることを確認します。 Azure CLI の設定方法に関するガイダンスについては、次のページを参照してください: Azure CLI の概要

Azure CLI にログインする:

az login

キー コンテナーを含むサブスクリプションに接続する:

az account set --subscription <subscription name>

次のコマンドを実行すると、証明書をシークレットとしてキー コンテナーにアップロードできる:

<your key vault> は、証明書をアップロードするキー コンテナーの名前です。 <name of the secret> は、シークレットに付ける任意の名前であり、キー コンテナーで表示されるものです。 <file path to certificate> は証明書が配置される場所へのパスです。 右クリックして、証明書へのパスをコピーできます。

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

次に例を示します。

az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem

マネージド ID を構成する

Azure Stream Analytics では、キー コンテナーにアクセスするマネージド ID を構成する必要があります。 マネージド ID を使うように ASA ジョブを構成するには、左側の [構成] の下にある [マネージド ID] タブに移動します。

1. [構成] の [マネージド ID] タブをクリックします。
2. [ID の切り替え] を選択し、ジョブで使用する ID (システム割り当て ID またはユーザー割り当て ID) を選択します。
3. ユーザー割り当て ID の場合は、ユーザー割り当て ID があるサブスクリプションを選択し、ID の名前を選択します。
4. 確認して保存します。

キー コンテナー内の証明書にアクセスするためのアクセス許可を Stream Analytics ジョブに付与する

Azure Stream Analytics ジョブでキー コンテナー内のシークレットを読み取る場合、ジョブにはキー コンテナーにアクセスするためのアクセス許可が必要です。 Stream Analytics ジョブに特別なアクセス許可を付与するには、次の手順を使用します。

1. [アクセス制御 (IAM)] を選択します。

2. [追加]>[ロールの割り当ての追加] を選択して、[ロールの割り当ての追加] ページを開きます。

3. 次の構成を使ってロールを割り当てます。

VNET 統合

Kafka が仮想ネットワーク (VNET) 内またはファイアウォールの内側にある場合は、Kafka トピックにアクセスするように Azure Stream Analytics ジョブを構成する必要があります。 詳しくは、Azure Virtual Network での Azure Stream Analytics ジョブの実行に関するドキュメントを参照してください。

制限事項

• VNET/SWIFT を使うように Azure Stream Analytics ジョブを構成する場合、そのジョブは少なくとも 6 つのストリーミング ユニット、または 1 つの V2 ストリーミング ユニットで構成する必要があります。
• Azure Key Vault で mTLS または SASL_SSL を使用する場合は、Java Key Store を PEM 形式に変換する必要があります。
• Azure Stream Analytics で接続できる Kafka の最小バージョンは、バージョン 0.10 です。
• Azure Stream Analytics は、OAuth または SAML シングル サインオン (SSO) を使用した Confluent Cloud の認証をサポートしていません。 SASL_SSL プロトコルを介して API キーを使用する必要があります。

次のステップ

• クイック スタート: Azure Portal を使用して Stream Analytics ジョブを作成する
• confluent cloud Kafka から Azure Stream Analytics を使用してデータをストリーミングする
• Azure Stream Analytics から confluent クラウド にデータをストリーミングする