¿Cómo registrar un origen de datos externo (EDS) con Azure Data Manager for Energy?

  • Artículo

En este artículo se explica cómo registrar un origen de datos externo (EDS, por sus siglas en inglés) con Azure Data Manager for Energy. Una funcionalidad EDS permite capturar e ingerir datos (metadatos) de orígenes de datos externos. También permite recuperar datos masivos a petición.

Requisitos previos

  • Descargue e importe archivos de colección y entorno de API en el cliente de prueba de API (como Postman). Realice las modificaciones adecuadas en el entorno en función del origen de datos.
  • Consulte la sección 2.2 en osdu-eds-data-supplier-enablement-guide para obtener más información sobre el registro de orígenes de datos.
  • Revise las secciones Entradas del registro de origen conectado (CSRE) y Trabajos de datos de origen de conexión (CSDJ) en EDS_Documentation-1.0.docx para comprender los distintos parámetros usados en el registro de orígenes de datos.
  • Para ejecutar la funcionalidad EDS, el usuario debe ser miembro de un grupo de derechos service.eds.user. Además, para acceder al servicio Secret, el usuario debe ser miembro de los siguientes derechos: service.secret.viewer, service.secret.editor y service.secret.admin.

Flujo de trabajo de captura e ingesta de EDS

Ejecute las API de las siguientes colecciones para registrar el origen de datos externo que ejecuta el flujo de trabajo de captura e ingesta de EDS según una programación:

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

Después de un registro de datos correcto, los datos se capturan periódicamente de orígenes externos y se agregan a Azure Data Manager for Energy.

Puede usar el servicio Search para buscar los datos ingeridos.

Solución de problemas

Puede ejecutar las siguientes consultas de Kusto en el área de trabajo de Log Analytics para identificar cualquier problema con el registro de orígenes de datos.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

Recuperación de datos masivos a petición

Use la API getRetrievalInstructions en 005: Dataset Service collection para recuperar datos masivos de orígenes de datos externos a petición.

Referencias