データ プロセッサで参照データセットを構成する

データ プロセッサ ストア内の参照データセットは、パイプラインがエンリッチメントとコンテキスト化に使用できる参照データを格納します。 参照データ ストア内のデータは、それぞれ複数のキーを持つデータセットに編成されます。

前提条件

• オプションのデータ プロセッサ コンポーネントを含むデータ プロセッサのデプロイされたインスタンス。
• 受信データを逆シリアル化する入力ステージを含むデータ プロセッサ パイプライン。

参照データ ストアの構成

データセットをデータ ストアに追加するには、次の 2 つのオプションがあります。

• パイプライン構成ページの [Reference datasets] タブを選択します。
• パイプラインの出力ステージで変換先の種類が [Reference datasets]　と選択されている場合は、[新規作成] を選択します。

参照されるタイムスタンプは、RFC3339、ISO 8601、または Unix のタイムスタンプ形式である必要があります。 既定では、データセットの有効期限は 24h に設定されます。 この既定値により、24 時間を超えて古いデータがエンリッチされたり (データが更新されていない場合)、データが無制限に増えてディスクがいっぱいになったりすることがなくなります。

各キーには次のものが含まれます。

データセット内のキーは必要ありませんが、データセットを最新の状態に保つために推奨されます。

次の注意事項は、前の表のデータセット構成オプションに関連するものです。

• プロパティ名は大文字と小文字が区別されます。
• データセットごとに最大 10 個のプロパティを持つことができます。
• 各データセットで選択できる主キーは 1 つだけです。
• 文字列は、データセット キー値に有効な唯一のデータ型です。
• 主キーは、取り込まれたデータを更新またはデータセットに追加するために使用されます。 同じ主キーを持つ新しいメッセージが受信されると、前のエントリが更新されます。 主キーに新しい値が入力されると、その新しいキーおよび関連する値がデータセットに追加されます。
• 参照データセットのタイムスタンプは、エンリッチ ステージのタイムスタンプベースの結合条件に使用されます。
• 変換ステージを使用すると、ペイロード オブジェクトにデータを転送できます。参照データセットがメッセージの .payload オブジェクト内のデータのみを格納し、関連付けられているメタデータを除外するためです。

データセットの表示

使用可能なデータセットを表示するには

1. パイプライン エディター エクスペリエンスで [Reference datasets] を選択します。 使用可能なすべてのデータセットの一覧は、[Reference datasets] ビューに表示されます。
2. データセット　キーやタイムスタンプなどの構成の詳細を表示するデータセットを選択します。

例

この例は、複数の機器が異なる場所に設置されている製造施設の概要を示しています。 ERP システムは、設備を追跡し、データをデータベースに格納し、各機器の詳細 (名前、場所、設置日、および予備機器であるかどうかを示すブール値) を記録します。 次に例を示します。

この ERP データは、各場所から取得される時系列データのコンテキスト データの便利なソースです。 このデータをデータ プロセッサに送信して参照データセットに格納し、それを使用して他のパイプラインのメッセージをエンリッチすることができます。

Microsoft SQL Server などのデータベースからデータ プロセッサにデータを送信すると、処理できる形式に逆シリアル化されます。 次の JSON は、データ プロセッサ内のデータベースからのデータを表すペイロードの例を示しています。

{
    "payload": { 
        { 
            "equipment": "Oven", 
            "location": "Seattle", 
            "installationDate": "2002-03-05T00:00:00Z", 
            "isSpare": "FALSE" 
        }, 
        { 
            "equipment": "Mixer", 
            "location": "Tacoma", 
            "installationDate": "2005-11-15T00:00:00Z", 
            "isSpare": "FALSE"
        }, 
        { 
            "equipment": "Slicer", 
            "location": "Seattle", 
            "installationDate": "2021-04-25T00:00:00Z", 
            "isSpare": "TRUE"
        } 
    }
} 

参照データセットには、次の構成を使用します。

2 つのキー:

各データセットには主キーが 1 つだけあります。

パイプライン内のすべての受信データは、参照データ ストアの equipment データセットに格納されます。 格納されたデータには、installationDate タイムスタンプと、equipment name や location などのキーが含まれます。

これらのプロパティは、他のパイプラインのエンリッチメント ステージで使用できます。これらのプロパティを使用してコンテキストを提供し、処理中のメッセージに追加情報を付け足すことができます。 たとえば、このデータを使用して、特定の機器からのセンサーの読み取り値およびその設置日と場所を補完できます。 詳細については、エンリッチ ステージを参照してください。

equipment データセット内では equipment name キーが主キーとして機能します。 パイプラインが新しいデータを取り込むとき、データ プロセッサはこのプロパティをチェックして、受信データの処理方法を決定します。

• データセットにまだ存在しない equipment name キー ( Pumpなど) を含むメッセージが届いた場合、データ プロセッサはデータセットに新しいエントリを追加します。 このエントリには、新しい equipment name 型とそれに関連付けられたデータ (location、installationDate、isSpare など) が含まれます。
• データセット内の既存のエントリ (Slicer など) と一致するequipment name キーを持つメッセージが到着した場合、データ プロセッサはそのエントリを更新します。 location、installationDate、isSpare など、その機器に関連付けられているデータは、受信メッセージの値で更新されます。

参照データ ストアの equipment データセットは、 Enrich ステージを使用して、データ プロセッサ内の他のパイプラインを通過するデータを拡張およびコンテキスト化できる、最新の情報ソースです。

関連するコンテンツ

• コンテキスト化とは
• 参照データ ストアにデータを送信する
• パイプライン内データのエンリッチメント
• パイプライン内の最後の既知の値を使用する