イベントハブを含む名前空間を作成し、テンプレートを使用してキャプチャを有効にします

[アーティクル]
04/16/2024

この記事では、Azure Resource Manager テンプレートを使用し、1 つのイベントハブインスタンスを含んだ Event Hubs 名前空間を作成して、イベントハブの Capture 機能を有効にする方法について説明します。記事では、デプロイ対象のリソースを定義する方法と、デプロイの実行時に指定されるパラメーターを定義する方法を説明します。このテンプレートは、独自のデプロイに使用することも、要件に合わせてカスタマイズすることもできます。

この記事では、選択した保存先に応じて Azure Storage Blob または Azure Data Lake Store にキャプチャされるイベントの指定方法についても取り上げます。

テンプレートの作成の詳細については、「 Azure Resource Manager のテンプレートの作成」を参照してください。テンプレートで使用する JSON の構文とプロパティについては、「Microsoft.EventHub resource types (Microsoft.EventHub のリソースの種類)」を参照してください。

Azure リソースの名前付け規則のパターンとプラクティスの詳細については、Azure リソースの名前付け規則に関するページを参照してください。

完成したテンプレートについては、次の GitHub リンクを選択してください。

Note

最新のテンプレートを確認する場合は、「 Azure クイックスタートテンプレート」ギャラリーで "Event Hubs" を検索してください。

重要

Azure Data Lake Storage Gen1 は廃止されているため、イベントデータのキャプチャに使わないでください。詳細については、公式告知を参照してください。 Azure Data Lake Storage Gen1 をお使いの場合は、Azure Data Lake Storage Gen2 に移行してください。詳細については、「Azure Data Lake Storage 移行のガイドラインとパターン」を参照してください。

デプロイの対象

このテンプレートを使用して、イベントハブを含んだ Event Hubs 名前空間をデプロイし、Event Hubs Capture も有効にします。 Event Hubs Capture を使用すると、指定した時間またはサイズの間隔で、Event Hubs のストリーミングデータを Azure Blob Storage または Azure Data Lake Store に自動的に配信できます。 Event Hubs Capture を Azure Storage に対して有効にするには、次のボタンを選択します。

Event Hubs Capture を Azure Data Lake Store に対して有効にするには、次のボタンを選択します。

パラメーター

Azure リソースマネージャーを使用して、テンプレートのデプロイ時に値を指定するパラメーターを定義します。テンプレートには、すべてのパラメーター値を含む Parameters という名前のセクションがあります。これらの値用のパラメーターを定義する必要があります。これらの値は、デプロイするプロジェクトあるいはデプロイ先の環境によって異なります。常に同じ値に対してはパラメーターを定義しないでください。テンプレート内のそれぞれのパラメーターの値は、デプロイされるリソースを定義するために使用されます。

このテンプレートでは、次のパラメーターを定義します。

eventHubNamespaceName

作成する Event Hubs 名前空間の名前。

"eventHubNamespaceName":{
     "type":"string",
     "metadata":{
         "description":"Name of the EventHub namespace"
      }
}

eventHubName

Event Hubs 名前空間に作成するイベントハブの名前。

"eventHubName":{
    "type":"string",
    "metadata":{
        "description":"Name of the event hub"
    }
}

messageRetentionInDays

イベントハブにメッセージを保持する日数。

"messageRetentionInDays":{
    "type":"int",
    "defaultValue": 1,
    "minValue":"1",
    "maxValue":"7",
    "metadata":{
       "description":"How long to retain the data in event hub"
     }
 }

partitionCount

イベントハブに作成するパーティションの数。

"partitionCount":{
    "type":"int",
    "defaultValue":2,
    "minValue":2,
    "maxValue":32,
    "metadata":{
        "description":"Number of partitions chosen"
    }
 }

captureEnabled

イベントハブの Capture を有効にします。

"captureEnabled":{
    "type":"string",
    "defaultValue":"true",
    "allowedValues": [
    "false",
    "true"],
    "metadata":{
        "description":"Enable or disable the Capture for your event hub"
    }
 }

captureEncodingFormat

イベントデータのシリアル化に使用するエンコード形式。

"captureEncodingFormat":{
    "type":"string",
    "defaultValue":"Avro",
    "allowedValues":[
    "Avro"],
    "metadata":{
        "description":"The encoding format in which Capture serializes the EventData"
    }
}

captureTime

データのキャプチャが Event Hubs Capture で開始される期間。

"captureTime":{
    "type":"int",
    "defaultValue":300,
    "minValue":60,
    "maxValue":900,
    "metadata":{
         "description":"The time window in seconds for the capture"
    }
}

captureSize

データのキャプチャが Capture で開始されるサイズ間隔。

"captureSize":{
    "type":"int",
    "defaultValue":314572800,
    "minValue":10485760,
    "maxValue":524288000,
    "metadata":{
        "description":"The size window in bytes for capture"
    }
}

captureNameFormat

Event Hubs Capture が Avro ファイルを書き込むときに使用する名前の形式。キャプチャ名の形式には、{Namespace}、{EventHub}、{PartitionId}、{Year}、{Month}、{Day}、{Hour}、{Minute}、{Second} の各フィールドが含まれている必要があります。これらのフィールドは任意の順序で指定でき、区切り記号はあってもなくてもかまいません。

"captureNameFormat": {
      "type": "string",
      "defaultValue": "{Namespace}/{EventHub}/{PartitionId}/{Year}/{Month}/{Day}/{Hour}/{Minute}/{Second}",
      "metadata": {
        "description": "A Capture Name Format must contain {Namespace}, {EventHub}, {PartitionId}, {Year}, {Month}, {Day}, {Hour}, {Minute} and {Second} fields. These can be arranged in any order with or without delimeters. E.g.  Prod_{EventHub}/{Namespace}\\{PartitionId}_{Year}_{Month}/{Day}/{Hour}/{Minute}/{Second}"
      }
    }

apiVersion

テンプレートの API バージョン。

 "apiVersion":{
    "type":"string",
    "defaultValue":"2017-04-01",
    "metadata":{
        "description":"ApiVersion used by the template"
    }
 }

Azure Storage を保存先として選ぶ場合は、次のパラメーターを使用します。

destinationStorageAccountResourceId

目的のストレージアカウントへのキャプチャを有効にするには、Azure ストレージアカウントのリソース ID が必要になります。

 "destinationStorageAccountResourceId":{
    "type":"string",
    "metadata":{
        "description":"Your existing Storage account resource ID where you want the blobs be captured"
    }
 }

blobContainerName

イベントデータをキャプチャする BLOB コンテナー。

 "blobContainerName":{
    "type":"string",
    "metadata":{
        "description":"Your existing storage container in which you want the blobs captured"
    }
}

subscriptionId

Event Hubs 名前空間と Azure Data Lake Store のサブスクリプション ID。この 2 つのリソースは同じサブスクリプション ID に属している必要があります。

"subscriptionId": {
    "type": "string",
    "metadata": {
        "description": "Subscription ID of both Azure Data Lake Store and Event Hubs namespace"
     }
 }

dataLakeAccountName

キャプチャしたイベントに使用する Azure Data Lake Store の名前。

"dataLakeAccountName": {
    "type": "string",
    "metadata": {
        "description": "Azure Data Lake Store name"
    }
}

dataLakeFolderPath

キャプチャしたイベントの保存先となるフォルダーのパス。このパスは、キャプチャ操作中にイベントがプッシュされる先の Data Lake Store のフォルダーです。このフォルダーに対してアクセス許可を設定する方法については、「Azure Data Lake Store を使用して Event Hubs からデータをキャプチャする」を参照してください。

"dataLakeFolderPath": {
    "type": "string",
    "metadata": {
        "description": "Destination capture folder path"
    }
}

保存先としての Azure Storage または Azure Data Lake Storage Gen 2

1 つのイベントハブを含んだ Microsoft.EventHub/Namespaces 型の名前空間を作成し、さらに Azure Blob Storage または Azure Data Lake Storage Gen2 に対して Capture を有効にします。

"resources":[
      {
         "apiVersion":"[variables('ehVersion')]",
         "name":"[parameters('eventHubNamespaceName')]",
         "type":"Microsoft.EventHub/Namespaces",
         "location":"[variables('location')]",
         "sku":{
            "name":"Standard",
            "tier":"Standard"
         },
         "resources": [
    {
      "apiVersion": "2017-04-01",
      "name": "[parameters('eventHubNamespaceName')]",
      "type": "Microsoft.EventHub/Namespaces",
      "location": "[resourceGroup().location]",
      "sku": {
        "name": "Standard"
      },
      "properties": {
        "isAutoInflateEnabled": "true",
        "maximumThroughputUnits": "7"
      },
      "resources": [
        {
          "apiVersion": "2017-04-01",
          "name": "[parameters('eventHubName')]",
          "type": "EventHubs",
          "dependsOn": [
            "[concat('Microsoft.EventHub/namespaces/', parameters('eventHubNamespaceName'))]"
          ],
          "properties": {
            "messageRetentionInDays": "[parameters('messageRetentionInDays')]",
            "partitionCount": "[parameters('partitionCount')]",
            "captureDescription": {
              "enabled": "true",
              "skipEmptyArchives": false,
              "encoding": "[parameters('captureEncodingFormat')]",
              "intervalInSeconds": "[parameters('captureTime')]",
              "sizeLimitInBytes": "[parameters('captureSize')]",
              "destination": {
                "name": "EventHubArchive.AzureBlockBlob",
                "properties": {
                  "storageAccountResourceId": "[parameters('destinationStorageAccountResourceId')]",
                  "blobContainer": "[parameters('blobContainerName')]",
                  "archiveNameFormat": "[parameters('captureNameFormat')]"
                }
              }
            }
          }

        }
      ]
    }
  ]

デプロイを実行するコマンド

リソースを Azure にデプロイするには、Azure アカウントにサインインし、Azure Resource Manager モジュールを使用する必要があります。 Azure リソースマネージャーを Azure PowerShell または Azure CLI で使用する方法については、次のトピックを参照してください。

次の例では、指定した名前のアカウントにリソースグループが既にあるものと想定しています。

PowerShell

注意

Azure を操作するには、Azure Az PowerShell モジュールを使用することをお勧めします。作業を始めるには、「Azure PowerShell をインストールする」を参照してください。 Az PowerShell モジュールに移行する方法については、「AzureRM から Az への Azure PowerShell の移行」を参照してください。

Azure Storage に対して Event Hubs Capture を有効にするには、次のようにしてテンプレートをデプロイします。

New-AzResourceGroupDeployment -ResourceGroupName \<resource-group-name\> -TemplateFile https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.eventhub/eventhubs-create-namespace-and-enable-capture/azuredeploy.json

Azure Data Lake Store に対して Event Hubs Capture を有効にするには、次のようにしてテンプレートをデプロイします。

New-AzResourceGroupDeployment -ResourceGroupName \<resource-group-name\> -TemplateFile https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/quickstarts/microsoft.eventhub/eventhubs-create-namespace-and-enable-capture-for-adls/azuredeploy.json

Azure CLI

保存先としての Azure Blob Storage:

az deployment group create \<my-resource-group\> \<my-deployment-name\> --template-uri [https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.eventhub/eventhubs-create-namespace-and-enable-capture/azuredeploy.json][]

保存先としての Azure Data Lake Store:

az deployment group create \<my-resource-group\> \<my-deployment-name\> --template-uri [https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/quickstarts/microsoft.eventhub/eventhubs-create-namespace-and-enable-capture-for-adls/azuredeploy.json][]

次のステップ

Azure Portal を使用して Event Hubs Capture を構成することもできます。詳細については、「Azure Portal を使用して Event Hubs Capture を有効にする」を参照してください。

Event Hubs の詳細については、次のリンク先を参照してください:

次の方法で共有

イベントハブを含む名前空間を作成し、テンプレートを使用してキャプチャを有効にします

デプロイの対象

パラメーター

eventHubNamespaceName

eventHubName

messageRetentionInDays

partitionCount

captureEnabled

captureEncodingFormat

captureTime

captureSize

captureNameFormat

apiVersion

destinationStorageAccountResourceId

blobContainerName

subscriptionId

dataLakeAccountName

dataLakeFolderPath

保存先としての Azure Storage または Azure Data Lake Storage Gen 2

デプロイを実行するコマンド

PowerShell

Azure CLI

次のステップ

フィードバック

その他のリソース

次の方法で共有

イベント ハブを含む名前空間を作成し、テンプレートを使用してキャプチャを有効にします

デプロイの対象

パラメーター

eventHubNamespaceName

eventHubName

messageRetentionInDays

partitionCount

captureEnabled

captureEncodingFormat

captureTime

captureSize

captureNameFormat

apiVersion

destinationStorageAccountResourceId

blobContainerName

subscriptionId

dataLakeAccountName

dataLakeFolderPath

保存先としての Azure Storage または Azure Data Lake Storage Gen 2

デプロイを実行するコマンド

PowerShell

Azure CLI

次のステップ

フィードバック

その他のリソース

イベントハブを含む名前空間を作成し、テンプレートを使用してキャプチャを有効にします