Azure Data Manager for Energy に外部データ ソース (EDS) を登録する方法

  • [アーティクル]

この記事では、外部データ ソース (EDS) を Azure Data Manager for Energy に登録する方法について説明します。 EDS を使用すると、外部データ ソースからデータ (メタデータ) をフェッチおよび取り込むことができます。 また、必要に応じて一括データを取得することもできます。

前提条件

  • API コレクション および 環境ファイルを API テスト クライアント (Postman など) にダウンロードしてインポートします。 データ ソースに基づいて、環境内で適切な変更を行います。
  • データ ソース登録の詳細については、osdu-eds-data-supplier-enablement-guide のセクション 2.2 を参照してください。
  • EDS_Documentation-1.0.docx の接続ソース レジストリ エントリ (CSRE) と接続ソース データ ジョブ (CSDJ) セクションを確認して、データ ソースの登録で使用されるさまざまなパラメーターを理解してください。
  • EDS を実行するには、ユーザーが service.eds.user エンタイトルメント グループのメンバーである必要があります。 さらに、シークレット サービスにアクセスするには、ユーザーが service.secret.viewer、service.secret.editor、service.secret.admin のエンタイトルメントのメンバーである必要があります。

EDS フェッチと取り込みのワークフロー

次のコレクションの API を実行して、スケジュールに従って EDS フェッチおよび取り込みワークフローを実行する外部データ ソースを登録します。

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

データの登録が成功すると、データは定期的に外部ソースからフェッチされ、Azure Data Manager for Energy に追加されます。

Search Service を使用して、取り込まれたデータを検索できます。

トラブルシューティング

Log Analytics ワークスペースで以下の Kusto クエリを実行して、データ ソースの登録に関する問題を特定できます。

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

オンデマンドで一括データ取得する

005: Dataset Service collection の getRetrievalInstructions API を使用して、必要に応じて外部データ ソースから一括データを取得します。

リファレンス