エッジでの Azure Monitor パイプラインの構成

[アーティクル]
11/05/2024

Azure Monitor パイプラインは、Azure Monitor 用の一貫性のある一元化されたデータ収集を提供するデータインジェストパイプラインです。エッジのパイプラインでは大規模な収集が可能になり、クラウドに送信する前にテレメトリデータのルーティングができます。接続が復元した時点でデータをローカルにキャッシュし、クラウドと同期し、ネットワークがセグメント化され、データをクラウドに直接送信できない場合は、テレメトリを Azure Monitor にルーティングできます。この記事では、環境内でエッジのパイプラインを有効化して構成する方法について説明します。

概要

Azure Monitor のエッジのパイプラインは、Arc 対応 Kubernetes クラスターにデプロイされ、OpenTelemetry Collector を基盤として活用するコンテナー化されたソリューションです。次の図は、エッジのパイプラインのコンポーネントを示しています。 1 つ以上のデータフローがクライアントからの受信データをリッスンし、パイプライン拡張機能が必要に応じてローカルキャッシュを使用して、データをクラウドに転送します。

パイプライン構成ファイルは、エッジのパイプラインのデータフローとキャッシュプロパティを定義します。 DCR は、クラウドパイプラインに送信されるデータのスキーマ、データをフィルター処理または変更するための変換、およびデータの送信先を定義します。パイプライン構成の各データフロー定義では、DCR に加え、クラウドパイプラインでそのデータを処理する DCR 内のストリームを指定します。

Note

クラウドパイプラインへの接続の際に、プライベートリンクがエッジのパイプラインによってサポートされます。

Azure Monitor エッジのパイプラインを有効化するには、次のコンポーネントと構成が必要です。 Azure portal を使用してエッジのパイプラインを構成する場合は、これらの各コンポーネントが自動的に作成されます。その他の方法を使用する場合は、それぞれを構成する必要があります。

コンポーネント	説明
エッジパイプラインコントローラー拡張機能	パイプライン機能をサポートするために Arc 対応 Kubernetes クラスターに拡張機能が追加されました - `microsoft.monitor.pipelinecontroller`。
エッジパイプラインコントローラーインスタンス	Arc 対応 Kubernetes クラスターで稼働するエッジパイプラインのインスタンス。
データフロー	パイプラインコントローラーインスタンスで稼働するレシーバーとエクスポーターの組み合わせ。レシーバーはクライアントからのデータを受け入れ、エクスポーターはそのデータを Azure Monitor に提供します。
パイプラインの構成	パイプラインインスタンスのデータフローを定義する構成ファイル。各データフローには、レシーバーとエクスポーターが含まれます。レシーバーは受信データをリッスンし、エクスポーターはデータを宛先に送信します。
データ収集エンドポイント (DCE)	データが Azure Monitor パイプラインに送信されるエンドポイント。パイプライン構成には DCE の URL のプロパティが含まれるため、パイプラインインスタンスはデータの送信先を認識します。

構成	説明
データ収集ルール (DCR)	クラウドパイプラインでのデータの受信方法と送信先を定義する構成ファイル。 DCR には、宛先に送信する前にデータをフィルター処理または変更する変換を含めることもできます。
パイプラインの構成	データフローとキャッシュを含むパイプラインインスタンスのデータフローを定義する構成。

サポートされている構成

サポートされているディストリビューション
エッジの Azure Monitor パイプラインは、次の Kubernetes ディストリビューションでサポートされています。

Canonical
Azure 用のクラスター API プロバイダー
K3
Rancher Kubernetes Engine
VMware Tanzu Kubernetes Grid

サポートされる場所
エッジの Azure Monitor パイプラインは、次の Azure リージョンでサポートされています。

米国東部 2
米国西部 2
西ヨーロッパ

前提条件

外部 IP アドレスを持つ、環境内の Arc 対応 Kubernetes クラスター。クラスター用に Arc を有効化する方法の詳細については、「既存の Kubernetes クラスターを Azure Arc に接続する」を参照してください。
Arc 対応 Kubernetes クラスターでは、カスタムの場所機能が有効化されている必要があります。「Azure Arc 対応 Kubernetes にカスタムの場所を作成および管理する」を参照してください。
エッジのパイプラインからデータを受信する Azure Monitor の Log Analytics ワークスペース。ワークスペースを作成する方法の詳細については、「Azure portal で Log Analytics ワークスペースを作成する」を参照してください。
次のリソースプロバイダーを Azure サブスクリプションに登録する必要があります。「Azure リソースプロバイダーと種類」を参照してください。
- Microsoft.Insights
- Microsoft.Monitor

ワークフロー

Azure portal を使用して構成するために、Azure Monitor パイプラインによって実行されるさまざまな手順について詳しく理解する必要はありません。ただし、別のインストール方法を使用する場合や、データを宛先に保存する前にデータを変換するなど、より高度な構成を実行する必要がある場合は、より詳細な理解が必要になる場合があります。

次の表と図では、エッジのパイプラインを使用してデータを収集し、Azure Monitor で保存するためにクラウドパイプラインに渡すプロセスの詳細な手順とコンポーネントについて説明します。また、これらの各コンポーネントに必要な構成も表に含まれています。

Step	アクション	サポートする構成
1.	クライアントがエッジパイプラインレシーバーにデータを送信する。	クライアントはエッジパイプラインのレシーバーの IP とポートで構成され、レシーバーの種類に対して想定される形式でデータを送信します。
2.	レシーバーがエクスポーターにデータを転送する。	レシーバーとエクスポーターが、同じパイプライン内に構成されます。
3.	エクスポーターがクラウドパイプラインにデータを送信しようとする。	パイプライン構成内のエクスポーターには、DCE の URL、DCR の一意識別子、およびデータの処理方法を定義する DCR 内のストリームが含まれます。
3a.	エクスポーターが DCE に接続できない場合、ローカルキャッシュにデータを保存する。	キャッシュの永続ボリュームとローカルキャッシュの構成が、パイプライン構成で有効化されます。

手順	アクション	サポートする構成
4.	クラウドパイプラインが受信データを受け入れる。	DCR には、エッジのパイプラインから送信されるデータのスキーマと一致する必要がある受信ストリームのスキーマ定義が含まれます。
5.	クラウドパイプラインがデータに変換を適用する。	DCR には、宛先に送信する前にデータをフィルター処理または変更する変換が含まれます。変換では、データをフィルター処理し、列を削除または追加し、スキーマを完全に変更することがあります。変換の出力は、宛先テーブルのスキーマと一致する必要があります。
6.	クラウドパイプラインが宛先にデータを送信する。	DCR には、データが保存される Log Analytics ワークスペースとテーブルを指定する宛先が含まれます。

セグメント化されたネットワーク

ネットワークのセグメント化とは、ソフトウェア定義の境界を使用して、ネットワークのさまざまな部分に対して異なるセキュリティ体制を作成するモデルです。このモデルでは、インターネットや他のネットワークセグメントに接続できないネットワークセグメントがある場合があります。エッジのパイプラインを使用して、これらのネットワークセグメントからデータを収集し、クラウドパイプラインに送信できます。

レイヤードネットワーク構成で Azure Monitor パイプラインを使用するには、Arc 対応 Kubernetes クラスターの許可リストに次のエントリを追加する必要があります。「レベル 4 のクラスターで Azure IoT Layered Network Management プレビューを構成する」を参照してください。

- destinationUrl: "*.ingest.monitor.azure.com"
  destinationType: external
- destinationUrl: "login.windows.net"
  destinationType: external

Log Analytics ワークスペースでテーブルを作成する

エッジのパイプライン用にデータ収集プロセスを構成する前に、Log Analytics ワークスペースにデータを受信するためのテーブルを作成する必要があります。組み込みテーブルは現在サポートされていないため、これはカスタムテーブルである必要があります。テーブルのスキーマは受信するデータと一致する必要がありますが、収集プロセスには受信データを変更できる複数の手順があるため、テーブルスキーマは収集するソースデータと一致する必要はありません。 Log Analytics ワークスペースのテーブルの唯一の要件は、TimeGenerated 列があることです。

テーブルを作成するためのさまざまな方法の詳細については、「Azure Monitor ログのテーブルと列を追加または削除する」を参照してください。たとえば、次の CLI コマンドを使用して、Body、TimeGenerated、および SeverityText という 3 つの列を含むテーブルを作成します。

az monitor log-analytics workspace table create --workspace-name my-workspace --resource-group my-resource-group  --name my-table_CL --columns TimeGenerated=datetime Body=string SeverityText=string

キャッシュを有効化する

一部の環境のエッジデバイスでは、ネットワークの輻輳、信号の干渉、停電、モビリティなどのさまざまな要因により断続的な接続が発生する場合があります。これらの環境では、クラスターに永続ボリュームを作成することで、データをキャッシュするようにエッジのパイプラインを構成できます。このプロセスは特定の環境によって異なりますが、構成は次の要件を満たす必要があります。

メタデータ名前空間が、Azure Monitor パイプラインの指定されたインスタンスと同じである必要がある。
アクセスモードが ReadWriteMany をサポートする必要がある。

適切な名前空間にボリュームが作成されたら、以下のパイプライン構成ファイルのパラメータを使用してボリュームを構成します。

注意事項

エッジパイプラインの各レプリカは、そのレプリカに固有の永続ボリューム内の場所にデータを保存します。クラスターがクラウドから切断されている間にレプリカの数を減らすと、接続の復元時にそのデータがバックフィルされなくなります。

データは、先入れ先出し法 (FIFO) を使用してキャッシュから取得されます。 48 時間以上前のデータはすべて破棄されます。

パイプラインを有効化して構成する

有効化と構成に関する現在のオプションについては、以下のタブで詳しく説明します。

Azure portal を使用してパイプラインを構成する

Azure portal を使用してパイプラインを有効化して構成すると、選択内容に基づいて必要なすべてのコンポーネントが作成されます。これにより、各コンポーネントを個別に作成する複雑さが軽減されますが、他の方法を使用する必要があることがあります。

Azure portal で次のいずれかを実行して、Azure Monitor パイプラインのインストールプロセスを起動します。

[Azure Monitor パイプライン (プレビュー)] メニューから [作成] をクリックします。
Arc 対応 Kubernetes クラスターのメニューから、[拡張機能] を選択し、[Azure Monitor パイプライン拡張機能 (プレビュー)] 拡張機能を追加します。

[Basic] タブで、クラスターに拡張機能とパイプラインインスタンスをデプロイするための次の情報が求められます。

このタブの設定を次の表で説明します。

プロパティ	説明
インスタンス名	Azure Monitor パイプラインインスタンスの名前。サブスクリプションに対して一意である必要があります。
サブスクリプション	パイプラインインスタンスを作成する Azure サブスクリプション。
リソースグループ	パイプラインインスタンスを作成するリソースグループ。
クラスター名	パイプラインがインストールされる Arc 対応 Kubernetes クラスターを選択します。
カスタムの場所	Arc 対応 Kubernetes クラスターのカスタムの場所。これには、クラスター用に作成されるカスタムの場所の名前が自動的に設定されます。または、クラスター内の別のカスタムの場所を選択できます。

[データフロー] タブでは、パイプラインインスタンス用のデータフローを作成および編集できます。各データフローには、次の詳細情報が含まれます。

このタブの設定を次の表で説明します。

プロパティ	内容
Name	データフローの名前。このパイプラインに対して一意である必要があります。
変換元の型	収集されるデータの種類。現在は、次のソースの種類がサポートされています。 - Syslog - OTLP
ポート	パイプラインが受信データをリッスンするポート。 2 つのデータフローが同じポートを使用する場合、データの受信と処理の両方を実施します。
Log Analytics ワークスペース	データの送信先の Log Analytics ワークスペース。
テーブル名	データの送信先の Log Analytics ワークスペース内のテーブルの名前。

Azure CLI を使用してパイプラインを構成する

Azure CLI を使用して Azure Monitor エッジのパイプラインに必要なコンポーネントを作成および構成するために必要な手順を次に示します。

エッジパイプライン拡張機能

次のコマンドは、Arc 対応 Kubernetes クラスターにエッジパイプライン拡張機能を追加します。

az k8s-extension create --name <pipeline-extension-name> --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --release-train Preview

## Example
az k8s-extension create --name my-pipe --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --release-train Preview

カスタムの場所

次の ARM テンプレートは、Arc 対応 Kubernetes クラスター用にカスタムの場所を作成します。

az customlocation create --name <custom-location-name>  --resource-group <resource-group-name> --namespace <name of namespace> --host-resource-id <connectedClusterId> --cluster-extension-ids <extensionId>

## Example
az customlocation create --name my-cluster-custom-location --resource-group my-resource-group --namespace my-cluster-custom-location --host-resource-id /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster --cluster-extension-ids /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster/providers/Microsoft.KubernetesConfiguration/extensions/my-cluster

DCE

次の ARM テンプレートは、エッジのパイプラインがクラウドパイプラインに接続するために必要なデータ収集エンドポイント (DCE) を作成します。同じリージョンに既存の DCE がある場合は、それを使用できます。テンプレートをデプロイする前に、次の表のプロパティを置き換えます。

az monitor data-collection endpoint create -g "myResourceGroup" -l "eastus2euap" --name "myCollectionEndpoint" --public-network-access "Enabled"

## Example
 az monitor data-collection endpoint create --name strato-06-dce --resource-group strato --public-network-access "Enabled"

DCR

DCR は Azure Monitor に保存され、エッジのパイプラインからデータを受信したときのデータの処理方法を定義します。エッジのパイプライン構成では、DCR の immutable ID に加え、データを処理する DCR 内の stream を指定します。 immutable ID は DCR の作成時に自動的に生成されます。

CLI コマンドを実行して DCR を作成する前に、次のテンプレートのプロパティを置き換えて json ファイルに保存します。 DCR の構造の詳細については、「Azure Monitor でのデータ収集ルールの構造」を参照してください。

パラメーター	説明
`name`	DCR の名前。サブスクリプションに対して一意である必要があります。
`location`	DCR の場所。 DCE の場所と一致する必要があります。
`dataCollectionEndpointId`	DCE のリソース ID。
`streamDeclarations`	受信するデータのスキーマ。パイプライン構成のデータフローごとに 1 つのストリームが必要です。名前は DCR 内で一意である必要があり、Custom- で始まる必要があります。以下のサンプルの `column` セクションは、OLTP および Syslog のデータフロー用に使用する必要があります。宛先テーブルのスキーマが異なる場合は、`transformKql` パラメータで定義された変換を使用して変更できます。
`destinations`	追加のセクションを追加することで、複数のワークスペースにデータを送信できます。
- `name`	`dataFlows` セクションで参照する宛先の名前。 DCR に対して一意である必要があります。
- `workspaceResourceId`	Log Analytics ワークスペースのリソース ID。
- `workspaceId`	Log Analytics ワークスペースのワークスペース ID。
`dataFlows`	ストリームおよび宛先と一致します。ストリームと宛先の組み合わせごとに 1 つのエントリ。
- `streams`	1 つ以上のストリーム (`streamDeclarations` で定義される)。同じ宛先に送信される場合は、複数のストリームを含めることができます。
- `destinations`	1 つ以上の宛先 (`destinations` で定義される)。同じ宛先に送信される場合は、複数の宛先を含めることができます。
- `transformKql`	宛先に送信する前にデータに適用する変換。 `source` を使用すると、変更なしでデータを送信できます。変換の出力は、宛先テーブルのスキーマと一致する必要があります。変換の詳細については、「Azure Monitor でのデータコレクションの変換」を参照してください。
- `outputStream`	Log Analytics ワークスペース内の宛先テーブルを指定します。テーブルは、ワークスペースに既に存在している必要があります。カスタムテーブルの場合は、テーブル名の前に Custom- を付けます。組み込みテーブルは、現在エッジのパイプラインではサポートされません。

{
    "properties": {
        "dataCollectionEndpointId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionEndpoints/my-dce",
        "streamDeclarations": {
            "Custom-OTLP": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            },
            "Custom-Syslog": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            }
        },
        "dataSources": {},
        "destinations": {
            "logAnalytics": [
                {
                    "name": "LogAnayticsWorkspace01",
                    "workspaceResourceId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace",
                    "workspaceId": "00000000-0000-0000-0000-000000000000"
                }
            ]
        },
        "dataFlows": [
            {
                "streams": [
                    "Custom-OTLP"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-OTelLogs_CL"
            },
            {
                "streams": [
                    "Custom-Syslog"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-Syslog_CL"
            }
        ]
    }
}

次のコマンドを使用して DCR をインストールします。

az monitor data-collection rule create --name 'myDCRName' --location <location> --resource-group <resource-group>  --rule-file '<dcr-file-path.json>' 

## Example
az monitor data-collection rule create --name my-pipeline-dcr  --location westus2 --resource-group 'my-resource-group' --rule-file 'C:\MyDCR.json'

DCR へのアクセス

クラウドパイプラインにデータを送信するには、Arc 対応 Kubernetes クラスターは DCR にアクセスできる必要があります。次のコマンドを使用して、クラスターのシステム割り当て ID のオブジェクト ID を取得します。

az k8s-extension show --name <extension-name> --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --query "identity.principalId" -o tsv 

## Example:
az k8s-extension show --name my-pipeline-extension --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --query "identity.principalId" -o tsv

このコマンドからの出力を次のコマンドへの入力として使用して、Azure Monitor パイプラインにテレメトリを DCR に送信する権限を付与します。

az role assignment create --assignee "<extension principal ID>" --role "Monitoring Metrics Publisher" --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Insights/dataCollectionRules/<dcr-name>" 

## Example:
az role assignment create --assignee "00000000-0000-0000-0000-000000000000" --role "Monitoring Metrics Publisher" --scope "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionRules/my-dcr"

エッジパイプラインの構成

エッジのパイプラインの構成では、エッジパイプラインインスタンスの詳細を定義し、テレメトリを受信してクラウドに送信するために必要なデータフローをデプロイします。

テンプレートをデプロイする前に、次の表のプロパティを置き換えます。

プロパティ	Description
全般
`name`	パイプラインインスタンスの名前。サブスクリプション内で一意である必要があります。
`location`	パイプラインインスタンスの場所。
`extendedLocation`
レシーバー	レシーバーごとに 1 つのエントリ。各エントリは、受信するデータの種類、リッスンするポート、および構成の `pipelines` セクションで使用される一意の名前を指定します。
`type`	受信するデータの種類。現在のオプションは `OTLP` と `Syslog` です。
`name`	`service` セクションで参照されるレシーバーの名前。パイプラインインスタンスに対して一意である必要があります。
`endpoint`	レシーバーがリッスンするアドレスとポート。すべてのアドレスに `0.0.0.0` を使用します。
[プロセッサ]	将来の使用のために予約済み。
エクスポーター	宛先ごとに 1 つのエントリ。
`type`	現在サポートされる種類は `AzureMonitorWorkspaceLogs` のみです。
`name`	パイプラインインスタンスに対して一意である必要があります。この名前は構成の `pipelines` セクションで使用されます。
`dataCollectionEndpointUrl`	エッジのパイプラインがデータを送信する DCE の URL。これを Azure portal で見つけるには、DCE に移動し、ログインジェストの値をコピーします。
`dataCollectionRule`	クラウドパイプライン内のデータ収集を定義する DCR の不変 ID。 Azure portal の DCR の JSON ビューで、[全般] セクションの [不変 ID] 値をコピーします。
- `stream`	データを受け入れる DCR 内のストリームの名前。
- `maxStorageUsage`	キャッシュの容量。この容量の 80% に達すると、より多くのデータを保存するために最も古いデータが排除されます。
- `retentionPeriod`	保存期間 (分)。この時間が経過すると、データは排除されます。
- `schema`	クラウドパイプラインに送信されるデータのスキーマ。これは、DCR のストリームで定義されるスキーマと一致する必要があります。この例で使用されるスキーマは、Syslog と OTLP の両方で有効です。
サービス	パイプラインインスタンスごとに 1 つのエントリ。パイプライン拡張機能ごとに 1 つのインスタンスのみを使用することをお勧めします。
パイプライン	データフローごとに 1 つのエントリ。各エントリは `exporter` を持つ `receiver` と一致します。
`name`	パイプラインの一意の名前。
`receivers`	受信するデータをリッスンする 1 つ以上のレシーバー。
`processors`	将来の使用のために予約済み。
`exporters`	クラウドパイプラインにデータを送信する 1 つ以上のエクスポーター。
`persistence`	キャッシュ用に使用される永続ボリュームの名前。キャッシュを有効化しない場合は、このパラメータを削除します。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "metadata": {
        "description": "This template deploys an edge pipeline for azure monitor."
    },
    "resources": [
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "eastus",
            "apiVersion": "2023-10-01-preview",
            "name": "my-pipeline-group-name",
            "extendedLocation": {
                "name": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.ExtendedLocation/customLocations/my-custom-location",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-log-analytics-workspace",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "https://my-dce-4agr.eastus-1.ingest.monitor.azure.com",
                                "dataCollectionRule": "dcr-00000000000000000000000000000000",
                                "stream": "Custom-OTLP",
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            },
                            "cache": {
                                "maxStorageUsage": 10000,
                                "retentionPeriod": 60
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        },
                        {
                            "name": "DefaultSyslogs",
                            "receivers": [
                                "receiver-Syslog"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        }
                    ],
                    "persistence": {
                        "persistentVolumeName": "my-persistent-volume"
                    }
                },
                "networkingConfigurations": [
                    {
                        "externalNetworkingMode": "LoadBalancerOnly",
                        "routes": [
                            {
                                "receiver": "receiver-OTLP"
                            },
                            {
                                "receiver": "receiver-Syslog"
                            }
                        ]
                    }
                ]
            }
        }
    ]
}

次のコマンドを使用してテンプレートをインストールします。

az deployment group create --resource-group <resource-group-name> --template-file <path-to-template>

## Example
az deployment group create --resource-group my-resource-group --template-file C:\MyPipelineConfig.json

すべてのコンポーネントを構成するための ARM テンプレートのサンプル

次に示す 1 つの ARM テンプレートを使用して、Azure Monitor のエッジのパイプラインに必要なすべてのコンポーネントをデプロイできます。環境に対する特定の値を使用してパラメータファイルを編集します。テンプレートを使用する前に変更する必要があるセクションを含む、テンプレートの各セクションについて以下に説明します。

コンポーネント	型	説明
Log Analytics ワークスペース	`Microsoft.OperationalInsights/workspaces`	既存の Log Analytics ワークスペースを使用している場合、このセクションを削除します。必要な唯一のパラメータはワークスペース名です。他のコンポーネント用に必要なワークスペースの不変 ID が自動的に作成されます。
データ収集エンドポイント (DCE)	`Microsoft.Insights/dataCollectionEndpoints`	既存の DCE を使用している場合は、このセクションを削除します。必要な唯一のパラメータは DCE 名です。他のコンポーネント用に必要な DCE のログインジェスト URL が自動的に作成されます。
エッジパイプライン拡張機能	`Microsoft.KubernetesConfiguration/extensions`	必要な唯一のパラメータはパイプライン拡張機能名です。
カスタムの場所	`Microsoft.ExtendedLocation/customLocations`	カスタムを作成するための Azure Arc 対応 Kubernetes クラスターのカスタムの場所。
エッジパイプラインインスタンス	`Microsoft.monitor/pipelineGroups`	リスナー、エクスポーター、データフローの構成を含むエッジパイプラインインスタンス。テンプレートをデプロイする前に、パイプラインインスタンスのプロパティを変更する必要があります。
データ収集ルール (DCR)	`Microsoft.Insights/dataCollectionRules`	必要なパラメータは DCR 名だけですが、テンプレートをデプロイする前に DCR のプロパティを変更する必要があります。

テンプレートファイル

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "type": "string"
        },
        "clusterId": {
            "type": "string"
        },
        "clusterExtensionIds": {
            "type": "array"
        },
        "customLocationName": {
            "type": "string"
        },
        "cachePersistentVolume": {
            "type": "string"
        },
        "cacheMaxStorageUsage": {
            "type": "int"
        },
        "cacheRetentionPeriod": {
            "type": "int"
        },
        "dceName": {
            "type": "string"
        },
        "dcrName": {
            "type": "string"
        },
        "logAnalyticsWorkspaceName": {
            "type": "string"
        },
        "pipelineExtensionName": {
            "type": "string"
        },
        "pipelineGroupName": {
            "type": "string"
        },
        "tagsByResource": {
            "type": "object",
            "defaultValue": {}
        }
    },
    "resources": [
        {
            "type": "Microsoft.OperationalInsights/workspaces",            
            "name": "[parameters('logAnalyticsWorkspaceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2017-03-15-preview",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.OperationalInsights/workspaces'), parameters('tagsByResource')['Microsoft.OperationalInsights/workspaces'], json('{}')) ]",
            "properties": {
                "sku": {
                    "name": "pergb2018"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionEndpoints",            
            "name": "[parameters('dceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-04-01",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionEndpoints'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionEndpoints'], json('{}')) ]",
            "properties": {
                "configurationAccess": {},
                "logsIngestion": {},
                "networkAcls": {
                    "publicNetworkAccess": "Enabled"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dcrName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-09-01-preview",
            "dependsOn": [
                "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionRules'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionRules'], json('{}')) ]",
            "properties": {
                "dataCollectionEndpointId": "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]",
                "streamDeclarations": {
                    "Custom-OTLP": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    },
                    "Custom-Syslog": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {},
                "destinations": {
                    "logAnalytics": [
                        {
                            "name": "DefaultWorkspace-westus2",
                            "workspaceResourceId": "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                            "workspaceId": "[reference(resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2'))].customerId"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-OTLP"
                        ],
                        "destinations": [
                            "localDest-DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-OTelLogs_CL"
                    },
                    {
                        "streams": [
                            "Custom-Syslog"
                        ],
                        "destinations": [
                            "DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-Syslog_CL"
                    }
                ]
            }
        },
        {
            "type": "Microsoft.KubernetesConfiguration/extensions",
            "apiVersion": "2022-11-01",
            "name": "[parameters('pipelineExtensionName')]",
            "scope": "[parameters('clusterId')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.KubernetesConfiguration/extensions'), parameters('tagsByResource')['Microsoft.KubernetesConfiguration/extensions'], json('{}')) ]",
            "identity": {
                "type": "SystemAssigned"
            },
            "properties": {
                "aksAssignedIdentity": {
                    "type": "SystemAssigned"
                },
                "autoUpgradeMinorVersion": false,
                "extensionType": "microsoft.monitor.pipelinecontroller",
                "releaseTrain": "preview",
                "scope": {
                    "cluster": {
                        "releaseNamespace": "my-strato-ns"
                    }
                },
                "version": "0.37.3-privatepreview"
            }
        },
        {
            "type": "Microsoft.ExtendedLocation/customLocations",
            "apiVersion": "2021-08-15",
            "name": "[parameters('customLocationName')]",
            "location": "[parameters('location')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.ExtendedLocation/customLocations'), parameters('tagsByResource')['Microsoft.ExtendedLocation/customLocations'], json('{}')) ]",
            "dependsOn": [
                "[parameters('pipelineExtensionName')]"
            ],
            "properties": {
                "hostResourceId": "[parameters('clusterId')]",
                "namespace": "[toLower(parameters('customLocationName'))]",
                "clusterExtensionIds": "[parameters('clusterExtensionIds')]",
                "hostType": "Kubernetes"
            }
        },
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "[parameters('location')]",
            "apiVersion": "2023-10-01-preview",
            "name": "[parameters('pipelineGroupName')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.monitor/pipelineGroups'), parameters('tagsByResource')['Microsoft.monitor/pipelineGroups'], json('{}')) ]",
            "dependsOn": [
                "[parameters('customLocationName')]",
                "[resourceId('Microsoft.Insights/dataCollectionRules','Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "extendedLocation": {
                "name": "[resourceId('Microsoft.ExtendedLocation/customLocations', parameters('customLocationName'))]",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP-4317",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog-514",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-lu7mbr90",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "[reference(resourceId('Microsoft.Insights/dataCollectionEndpoints','Aep-mytestpl-ZZPXiU05tJ')).logsIngestion.endpoint]",
                                "stream": "Custom-DefaultAEPOTelLogs_CL-FqXSu6GfRF",
                                "dataCollectionRule": "[reference(resourceId('Microsoft.Insights/dataCollectionRules', 'Aep-mytestpl-ZZPXiU05tJ')).immutableId]",
                                "cache": {
                                    "maxStorageUsage": "[parameters('cacheMaxStorageUsage')]",
                                    "retentionPeriod": "[parameters('cacheRetentionPeriod')]"
                                },
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-lu7mbr90"
                            ]
                        }
                    ],
                    "persistence": {
                        "persistentVolume": "[parameters('cachePersistentVolume')]"
                    }
                }
            }
        }
    ],
    "outputs": {}
}

サンプルのパラメーターファイル

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
        "value": "eastus"
        },
        "clusterId": {
            "value": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-arc-cluster"
        },
        "clusterExtensionIds": {
            "value": ["/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.KubernetesConfiguration/extensions/my-pipeline-extension"]
        },
        "customLocationName": {
            "value": "my-custom-location"
        },
        "dceName": {
            "value": "my-dce"
        },
        "dcrName": {
            "value": "my-dcr"
        },
        "logAnalyticsWorkspaceName": {
            "value": "my-workspace"
        },
        "pipelineExtensionName": {
            "value": "my-pipeline-extension"
        },
        "pipelineGroupName": {
            "value": "my-pipeline-group"
        },
        "tagsByResource": {
            "value": {}
        }   
    }
}

構成の確認

クラスターで稼働しているパイプラインコンポーネントを確認する

Azure portal で [Kubernetes サービス] メニューに移動し、Arc 対応 Kubernetes クラスターを選択します。 [サービスとイングレス] を選択し、次のサービスが表示されていることを確認します。

<パイプライン名>-external-service
<パイプライン名>-service

<パイプライン名>-external-service のエントリをクリックし、[エンドポイント] 列の IP アドレスとポートを確認します。これは、クライアントがデータを送信する先の外部 IP アドレスとポートです。クライアントからこのアドレスを取得する方法については、「イングレスエンドポイントを取得する」を参照してください。

ハートビートを確認する

パイプラインインスタンスで構成された各パイプラインは、毎分 Log Analytics ワークスペースの Heartbeat テーブルにハートビートレコードを送信します。 OSMajorVersion 列の内容は、パイプラインインスタンスの名前と一致する必要があります。パイプラインインスタンスに複数のワークスペースがある場合は、最初に構成されたワークスペースが使用されます。

次の例のように、ログクエリを使用してハートビートレコードを取得します。

クライアントの構成

エッジパイプライン拡張機能とインスタンスがインストールされると、パイプラインにデータを送信するようにクライアントを構成する必要があります。

イングレスエンドポイントを取得する

各クライアントには、Azure Monitor パイプラインサービスの外部 IP アドレスが必要です。次のコマンドを使用して、このアドレスを取得します。

kubectl get services -n <namespace where azure monitor pipeline was installed>

ログを生成するアプリケーションがクラスターの外部にある場合は、ロードバランサーの種類とともに、サービスの <パイプライン名>-service または <パイプライン名>-external-service の external-ip 値をコピーします。
アプリケーションがクラスター内のポッド上にある場合は、cluster-ip 値をコピーします。

Note

external-ip フィールドが pending に設定されている場合は、クラスターの構成に従って、このイングレスの外部 IP を手動で構成する必要があります。

クライアント	説明
syslog	Syslog クライアントを更新して、パイプラインエンドポイントと Syslog データフローのポートにデータを送信します。
OTLP	Azure Monitor エッジパイプラインは、ポート 4317 で gRPC ベースの OTLP エンドポイントを公開します。この OTLP エンドポイントに送信するようにインストルメンテーションを構成する方法は、インストルメンテーションライブラリ自体によって異なります。 OpenTelemetry のドキュメントについては、「OTLP エンドポイントまたはコレクター」を参照してください。環境変数の方法は、「OTLP エクスポーターの構成」に記載されています。

クライアント

説明

syslog

Syslog クライアントを更新して、パイプラインエンドポイントと Syslog データフローのポートにデータを送信します。

OTLP

Azure Monitor エッジパイプラインは、ポート 4317 で gRPC ベースの OTLP エンドポイントを公開します。この OTLP エンドポイントに送信するようにインストルメンテーションを構成する方法は、インストルメンテーションライブラリ自体によって異なります。 OpenTelemetry のドキュメントについては、「OTLP エンドポイントまたはコレクター」を参照してください。環境変数の方法は、「OTLP エクスポーターの構成」に記載されています。

データの確認

最後の手順では、Log Analytics ワークスペースでデータが受信されたことを確認します。この確認を実行するには、Log Analytics ワークスペースでクエリを実行して、テーブルからデータを取得します。

次のステップ

Azure Monitor パイプラインの詳細を参照してください。

次の方法で共有

エッジでの Azure Monitor パイプラインの構成

概要

サポートされている構成

前提条件

ワークフロー

セグメント化されたネットワーク

Log Analytics ワークスペースでテーブルを作成する

キャッシュを有効化する

パイプラインを有効化して構成する

Azure portal を使用してパイプラインを構成する

Azure CLI を使用してパイプラインを構成する

エッジパイプライン拡張機能

カスタムの場所

DCE

DCR

DCR へのアクセス

エッジパイプラインの構成

すべてのコンポーネントを構成するための ARM テンプレートのサンプル

テンプレートファイル

サンプルのパラメーターファイル

構成の確認

クラスターで稼働しているパイプラインコンポーネントを確認する

ハートビートを確認する

クライアントの構成

イングレスエンドポイントを取得する

データの確認

次のステップ

フィードバック

その他のリソース

次の方法で共有

エッジでの Azure Monitor パイプラインの構成

概要

サポートされている構成

前提条件

ワークフロー

セグメント化されたネットワーク

Log Analytics ワークスペースでテーブルを作成する

キャッシュを有効化する

パイプラインを有効化して構成する

Azure portal を使用してパイプラインを構成する

構成の確認

クラスターで稼働しているパイプライン コンポーネントを確認する

ハートビートを確認する

クライアントの構成

イングレス エンドポイントを取得する

データの確認

次のステップ

フィードバック

その他のリソース

クラスターで稼働しているパイプラインコンポーネントを確認する

イングレスエンドポイントを取得する