データ インジェスト ツールの選択
履歴データ のターゲット プラットフォームを選択 した後、次に、データを転送するツールを選択してください。
この記事では、選択したターゲット プラットフォームに履歴データを転送するために使用される一連のさまざまなツールについて説明します。 次の表に、各ターゲット プラットフォームで使用できるツールと、インジェスト プロセスに役立つ一般的なツールを示します。
| Azure Monitor の基本ログ/アーカイブ | Azure Data Explorer | Azure Blob Storage | 一般ツール |
|---|---|---|---|
| • Azure Monitor カスタム ログ インジェスト ツール • ダイレクトAPI |
•LightIngest •Logstash |
•Azure Data Factory もしくはAzure Synapse Analytics •AzCopy |
•Azure Data Box •SIEM データ移行アクセラレータ |
Azure Monitor の基本ログ/アーカイブ
Azure Monitor 基本ログまたはアーカイブにデータを取り込む前に、インジェスト価格を下げるために、書き込むテーブルが 基本ログとして構成されているか確認します。 Azure Monitor カスタム ログ インジェスト ツールと、Azure Monitor Basic Logs のダイレクト API メソッドを確認します。
Azure Monitor カスタム ログ インジェスト ツール
カスタム ログ インジェスト ツールは、Azure Monitor ログ ワークスペースにカスタム データを送信する PowerShell スクリプトです。 スクリプトは、すべてのログ ファイルが存在するフォルダーを指し示し、スクリプトがそのフォルダーにファイルをプッシュします。 スクリプトは、ログ ファイルの CSV または JSON 形式を受け入れます。
ダイレクトAPI
このオプションを使って、 カスタム ログを Azure Monitor ログに取り込みます。 REST API を使用する PowerShell スクリプトを使ってログを取り込みます。 一方で、他のプログラミング言語を使用してインジェストを実行することも、また、他の Azure サービスを使用して、Azure FunctionsやAzure Logic Appsなどのコンピューティング レイヤーを抽象化することもできます。
Azure Data Explorer
Azure Data Explorer (ADX) にデータを取り込む方法は、いくつかあります。
ADX が受け入れるインジェストメソッドは、さまざまなコンポーネントに基づいています:
- .NET、Go、Python、Java、NodeJS、API など、さまざまな言語の SDK。
- Event Grid や Storage Blob Event Hubs などのマネージド パイプラインとAzure Data Factory。
- Logstash、Kafka、Power Automate、Apache Spark などのコネクタまたはプラグイン。
LightIngest と Logstash の 2 つの方法を確認します。これは、データ移行のユース ケースにより適しています。
LightIngest
ADX は、履歴データ移行ユース ケース専用の LightIngest ユーティリティ を開発しました。 LightIngest を使用して、ローカル ファイル システムまたは Azure Blob Storage から ADX にデータをコピーできます。
LightIngest の主なベネフィットと機能を次に示します:
- LightIngest は、インジェスト期間に時間の制約がないため、大量のデータを取り込む必要がある場合に最も役立ちます。
- また、クエリの (取り込み時間ではなく) 作成時間に従って後でレコードのクエリを実行する場合にも役立ちます。
- ユーティリティは実際のコピーを実行しないため、LightIngest の複雑なサイズ設定に対処する必要はありません。 LightIngest は、コピーする必要がある BLOB について ADX に通知し、ADX がデータをコピーします。
LightIngest を選択した場合は、これらのヒントとベスト プラクティスを確認してください。
- 移行を高速化し、コストを削減するには、ADX クラスターのサイズを大きくして、インジェストに使用できるノードを増やします。 移行が終了したら、サイズを小さくします。
- ADX にデータを取り込んだ後のクエリをより効率的にするには、コピーしたデータが元のイベントのタイムスタンプを使用していることを確認します。 データが ADX にコピーされたときのタイムスタンプは、データで使用しないでください。 CreationTime プロパティの一部として、ファイル名のパスとして LightIngest にタイムスタンプを指定します。
- パスまたはファイル名にタイムスタンプが含まれていない場合でも、 パーティション分割ポリシーを使用してデータを整理するように ADX に指示できます。
Logstash
Logstash は、多くのソースからデータを同時に取り込み、変換したデータを任意の "一時退避場所" に送信する、オープン ソースのサーバー側データ処理パイプラインです。 Logstash から Azure Data Explorer にデータを取り込む方法をについて説明します。 Logstash は、Windows、Linux、MacOS マシンで実行されます。
パフォーマンスを最適化するには、1 秒あたりのイベントに従って Logstash レベルのサイズを構成 します。 LightIngest はコピーを実行するために ADX クラスター コンピューティングに依存しているため、可能な限り LightIngest を使用することをお勧めします。
Azure Blob Storage
Azure Blob Storage にデータを取り込む方法はいくつかあります。
Azure Data Factory (ADF) とAzure Synapseの方法を確認します。これは、データ移行のユース ケースにより適しています。
Azure Data Factory もしくは Azure Synapse
Azure Data Factory (ADF) または Synapse パイプラインでCopy アクティビティを使用するには:
- 「セルフホステッド統合ランタイムを作成して構成する」を参照してください。 このコンポーネントは、オンプレミスのホストからデータをコピーする役割を担います。
- ソースデータストア（filesystem）とシンクデータストア（blob storage）のリンクサービスを作成します。
- データをコピーするには、データ コピー ツールを使用します。 または、PowerShell、Azure portal、.NET SDK などのメソッドを使用することもできます。
AzCopy
AzCopy は、ストレージ アカウントとの間でファイルをコピーする単純なコマンド ライン ユーティリティです。 AzCopy は Windows、Linux、および macOS で使用できます。 AzCopy を使用して オンプレミスのデータを Azure Blob Storage にコピーする方法について説明します。
これらのオプションを使用して、データをコピーすることもできます:
- AzCopy のパフォーマンスを最適化する方法について説明します。
- configure AzCopyを構成する方法について説明します。
- コピーコマンドの使い方について説明します。
Azure Data Box
ソース SIEM に Azure への接続が適切ではないシナリオでは、このセクションで確認したツールを使用したデータの取り込みが遅くなるか、不可能な場合もあります。 このシナリオに対処するには、 Azure Data Box を使用して、顧客のデータ センターからアプライアンスにローカルにデータをコピーし、そのアプライアンスを Azure データ センターに発送できます。 Azure Data Box は AzCopy または LightIngest の代わりではありませんが、このツールを使用して、顧客データ センターと Azure 間のデータ転送の速度を上げることができます。
Azure Data Box には、移行するデータの量に応じて、次の 3 つの異なる SKU が用意されています:
移行が完了すると、Azure サブスクリプションの 1 つ下のストレージ アカウントでデータを使用できるようになります。 その後、 AzCopy、 LightIngest、または ADF を使用して、ストレージ アカウントからデータを取り込むことができます。
SIEM データ移行アクセラレータ
インジェスト ツールを選択するだけでなく、チームは基礎環境の設定に時間を費やす必要があります。 このプロセスを容易にするために、以下のタスクを自動化するSIEMデータ移行アクセラレータを使用することができます:
- ソースからターゲット プラットフォームへのログの移動に使用するWindows仮想マシンをデプロイする
- 次のツールをダウンロードして仮想マシン デスクトップに抽出します:
- LightIngest: データの ADXへの移行に使用します
- Azure Monitor カスタム ログ インジェスト ツール: データのLog Analytics への移行に使用します
- AzCopy: Azure Blob Storageへのデータ移行に使用します
- 履歴ログをホストするターゲット プラットフォームをデプロイします:
- Azure Storage アカウント (Azure Blob Storage)
- Azure Data Explorer クラスターとデータベース
- Azure Monitor ログ ワークスペース (基本ログ、Microsoft Sentinel で有効)
SIEM データ移行アクセラレータを使うには:
- SIEM データ移行アクセラレータ ページで、ページの下部にある [Azure にデプロイ] をクリックし、認証を行います。
- [ 基本]、ユーザーのリソース グループと場所、そして、[ 次へ] を選択します。
- [ 移行 VM] を選択し、次の操作を行います:
- 一意の仮想マシン名、ユーザー名、およびパスワードを入力します。
- 既存の vNet を選択するか、仮想マシン接続用の新しい vNet を作成します。
- 仮想マシンのサイズを選択します。
- [ターゲット プラットフォーム] を選択し、次のいずれかの操作を行います:
- この手順をスキップします。
- ADX クラスターとデータベース名、SKU、ノード数を指定します。
- Azure Blob Storageアカウントの場合は、既存のアカウントを選択します。 アカウントがない場合は、新しいアカウント名、種類、冗長性を指定します。
- Azure Monitor ログの場合は、新しいワークスペースの名前を入力します。
次のステップ
この記事では、ターゲット プラットフォームにデータを取り込む方法について説明しました。