Bereitstellen von Geospatial Consumption Zone

Bereitstellen der Geospatial Consumption Zone (GCZ) unter Azure Kubernetes Service (AKS)

Erfahren Sie, wie Sie die Geospatial Consumption Zone (GCZ) unter Azure Kubernetes Service (AKS) bereitstellen.

Voraussetzungen

• Ein Azure-Abonnement. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen.
• Azure Kubernetes Cluster (AKS) mit VNet-Integration. Weitere Anweisungen finden Sie unter Erstellen eines Azure Kubernetes Service-Clusters (AKS) und Übersicht über Azure CNI-Netzwerke in Azure Kubernetes Service (AKS).
• Azure Cloud Shell oder Azure CLI, kubectl und Git CLI.

HELM-Chart zum Bereitstellen von Geospatial Consumption Zone (GCZ)

1. Klonen Sie das GCZ-Repository in Ihrer lokalen Umgebung:

   git clone https://community.opengroup.org/osdu/platform/consumption/geospatial.git
   

2. Ändern Sie in das Verzeichnis in den Ordner geospatial:

   cd geospatial/devops/azure/charts/geospatial
   

3. Definieren Sie Variablen für die Bereitstellung:

   • Unix-Shell
   • Windows PowerShell

   # Define the variables for Azure Data Manager for Energy
   AZURE_DNS_NAME="<instanceName>.energy.azure.com"  # Example: demo.energy.azure.com
   DATA_PARTITION_ID="<dataPartitionId>" # Data partition ID. Example: opendes
   AZURE_TENANT_ID="<tenantId>" # Entra ID tenant ID. Example: 557963fb-ede7-4a88-9e3e-19ace7f1e36b 
   AZURE_CLIENT_ID="<clientId>" # App Registration client ID. Example: b149dc73-ed8c-4ad3-bbaf-882a208f87eb
   AZURE_CLIENT_SECRET="<clientSecret>" # App Registration client secret.
   CALLBACK_URL="http://localhost:5050" #ie: http://localhost:8080
   
   # Define the variables for AKS
   AKS_NAME="<aksName>" # Name of the AKS cluster. Example: gcz-aks-cluster.
   RESOURCE_GROUP="<resourceGroupName>" # Name of the resource group. Example: gcz-rg.
   NAMESPACE="ignite" # Name of the AKS namespace you want to deploy to. We recommend to leave it default.
   GCZ_IGNITE_SERVICE="ignite-service" # Name of the ignite service. We recommend to leave it default.
   GCZ_IGNITE_NAMESPACE=$NAMESPACE
   CHART=osdu-gcz-service
   VERSION=0.1.0
   

4. Erstellen Sie das HELM-Chart:

   • Unix-Shell
   • Windows PowerShell

   cat > osdu_gcz_custom_values.yaml << EOF
   # This file contains the essential configs for the gcz on azure helm chart
   
   ################################################################################
   # Specify the values for each service.
   #
   global:
   ignite:
       namespace: $NAMESPACE
       name: ignite
       image:
       name: community.opengroup.org:5555/osdu/platform/consumption/geospatial/gridgain-community
       tag: 8.8.34
       configuration:
       gcz_ignite_namespace: "$GCZ_IGNITE_NAMESPACE"
       gcz_ignite_service: "$GCZ_IGNITE_SERVICE"
   provider:
       namespace: $NAMESPACE
       image:
       repository: community.opengroup.org:5555
       name: osdu/platform/consumption/geospatial/geospatial-provider-master
       tag: latest
       service:
       type: LoadBalancer
       annotations:
           service.beta.kubernetes.io/azure-load-balancer-internal: "true"
   transformer:
       namespace: $NAMESPACE
       image:
       repository: community.opengroup.org:5555
       name: osdu/platform/consumption/geospatial/geospatial-transformer-master
       tag: latest
       service:
       type: LoadBalancer
       annotations:
           service.beta.kubernetes.io/azure-load-balancer-internal: "true"
       configuration:
       datapartitionid: $DATA_PARTITION_ID
       clientId: $AZURE_CLIENT_ID
       tenantId: $AZURE_TENANT_ID
       callbackURL: $CALLBACK_URL
       searchQueryURL: "https://$AZURE_DNS_NAME/api/search/v2/query"
       searchCursorURL: "https://$AZURE_DNS_NAME/api/search/v2/query_with_cursor"
       schemaURL: "https://$AZURE_DNS_NAME/api/schema-service/v1/schema"
       entitlementsURL: "https://$AZURE_DNS_NAME/api/entitlements/v2"
       fileRetrievalURL: "https://$AZURE_DNS_NAME/api/dataset/v1/retrievalInstructions"
       crsconvertorURL: "https://$AZURE_DNS_NAME/api/crs/converter/v3/convertTrajectory"
       storageURL: "https://$AZURE_DNS_NAME/api/storage/v2/records"
       clientSecret: $(echo "$AZURE_CLIENT_SECRET" | base64)
       gcz_ignite_namespace: "$GCZ_IGNITE_NAMESPACE"
       gcz_ignite_service: "$GCZ_IGNITE_SERVICE"   
   EOF
   

5. Ändern Sie den Diensttyp für die Konfigurationsdateien der provider- und transformer-Dienste in LoadBalancer.

   • Unix-Shell
   • Windows PowerShell

   cat > ../provider/templates/service.yaml << EOF
   apiVersion: v1
   kind: Service
   metadata:
       name: gcz-provider
       namespace: {{ $.Values.global.provider.namespace }}
       annotations:
           {{- range $key, $value := $.Values.global.provider.service.annotations }}
           {{ $key }}: {{ $value | quote }}
           {{- end }}
   spec:
       selector:
           app: provider
       ports:
       - port: 80
           protocol: TCP
           targetPort: 8083
       type: {{ $.Values.global.provider.service.type }}
   EOF
   
   cat > ../transformer/templates/service.yaml << EOF
   apiVersion: v1
   kind: Service
   metadata:
       name: gcz-transformer
       namespace: {{ $.Values.global.transformer.namespace }}
       annotations:
           {{- range $key, $value := $.Values.global.transformer.service.annotations }}
           {{ $key }}: {{ $value | quote }}
           {{- end }}
   spec:
       selector:
           app: transformer
       ports:
       - port: 80
           protocol: TCP
           targetPort: 8080
       type: {{ $.Values.global.transformer.service.type }}
   EOF
   

6. Authentifizieren Sie sich beim Azure Kubernetes Service-Cluster (AKS):

   az aks get-credentials --resource-group $RESOURCE_GROUP --name $AKS_NAME --admin
   

7. Stellen Sie HELM-Abhängigkeiten bereit:

   helm dependency build
   

8. Stellen Sie das GCZ-HELM-Chart bereit:

   helm install $CHART ../$CHART --values osdu_gcz_custom_values.yaml
   

9. Überprüfen Sie die Bereitstellung:

   kubectl get pods -n $NAMESPACE
   

   Nun sollten die Pods für die Dienste ignite, provider und transformer angezeigt werden.

10. Notieren Sie sich als Nächstes die externen IP-Adressen für den provider- und den transformer-Dienst.

    kubectl get service -n $NAMESPACE
    

    Diese IP-Adressen werden verwendet, um eine Verbindung mit den GCZ-API-Endpunkten herzustellen.

Bereitstellen der Geospatial Consumption Zone (GCZ) auf einem virtuellen Windows-Computer

Erfahren Sie, wie Sie die Geospatial Consumption Zone (GCZ) unter Windows bereitstellen. Diese Bereitstellungsoption wird für Entwicklungs- und Testumgebungen empfohlen, da die Einrichtung und Konfiguration einfacher ist und weniger Wartung erfordert.

Voraussetzungen

• Eine Azure Data Manager for Energy-Instanz. Wenn Sie nicht über eine Azure Data Manager for Energy-Instanz verfügen, lesen Sie die Informationen unter Erstellen einer Azure Data Manager for Energy-Instanz.
• Windows-VM. Falls Sie keine Windows-VM besitzen, lesen Sie die Informationen zum Erstellen einer Windows-VM. Es ist auch möglich, Ihren lokalen Computer zu verwenden.
• Installation von Java JDK 17 auf der Windows-VM. Wenn Sie Java nicht installiert haben, lesen Sie Installieren von Java unter Windows.
• Installation von Node 18.19.1 (LTS) auf der Windows-VM. Wenn Sie Node nicht installiert haben, lesen Sie die Informationen unter Installieren von Node.js und npm unter Windows.
• Installation von Python 3.11.4 oder höher auf der Windows-VM. Wenn Sie Python nicht installiert haben, lesen Sie Installieren von Python unter Windows.
  • Fügen Sie unbedingt pip während des Installationsvorgangs hinzu. Wenn Sie vergessen, pip hinzuzufügen, können Sie eine manuelle Installation durchführen.

Bereitstellen von GCZ unter Windows

1. Stellen Sie eine Verbindung mit der Windows-VM her.

2. Laden Sie die folgenden Dateien aus dem OSDU GitLab-Repository herunter:

   1. GCZ-Anbieter
   2. GCZ-Transformator
   3. Python-Abhängigkeiten

3. Öffnen Sie PowerShell als Administrator, und navigieren Sie zu dem Ordner, in den Sie die Dateien heruntergeladen haben.

4. Führen Sie die folgenden Befehle aus, um die Dateien zu extrahieren:

   Expand-Archive -Path .\GCZ_PROVIDER.zip -DestinationPath C:\gcz\
   Expand-Archive -Path .\GCZ_TRANSFORMER.zip -DestinationPath C:\gcz\
   Expand-Archive -Path .\GCZ_PYTHON_DEPENDENCIES.zip -DestinationPath C:\gcz\
   

5. Konfigurieren Sie die Umgebungsvariablen:

   $ADME_HOSTNAME = "<adme-hostname>" # ADME Hostname, e.g. "https://contoso.energy.azure.com"
   $GCZ_DATA_PARTITION_ID = "<data-partition-id>" # ADME Data Partition ID, e.g. "opendes"
   $GCZ_QUERY_URL = "$ADME_HOSTNAME/api/search/v2/query" # ADME Query Endpoint
   $GCZ_QUERY_CURSOR_URL = "$ADME_HOSTNAME/api/search/v2/query_with_cursor" # ADME Query with Cursor Endpoint
   $GCZ_SCHEMA_URL = "$ADME_HOSTNAME/api/schema-service/v1/schema" # ADME Schema Endpoint
   $GCZ_ENTITLEMENT_SERVICE_URL = "$ADME_HOSTNAME/api/entitlements/v2" # ADME Entitlement Service Endpoint
   $GCZ_FILE_RETRIEVAL_URL = "$ADME_HOSTNAME/api/dataset/v1/retrievalInstructions" # ADME File Retrieval Endpoint
   $GCZ_CONVERT_TRAJECTORY_URL = "$ADME_HOSTNAME/api/crs/converter/v3/convertTrajectory" # ADME Convert Trajectory Endpoint
   $GCZ_STORAGE_URL = "$ADME_HOSTNAME/api/storage/v2/records/" # ADME Storage Endpoint
   

   Weitere Umgebungsvariablen finden Sie in der OSDU GitLab-Dokumentation.

6. Überprüfen Sie die Konfigurationsdateien für den GCZ-Anbieter und Transformator, indem Sie die Konfigurationsdateien in einem Text-Editor öffnen und die Werte bei Bedarf aktualisieren.

   • Anbieter: C:\gcz\gcz-provider\gcz-provider-core\config\koop-config.json
   • Transformator: C:\gcz\gcz-transformer-core\config\application.yml

   Wichtig

   Wenn Sie Änderungen an den Schemas in den Konfigurationsdateien vornehmen, müssen Sie sicherstellen, dass diese Schemas in beiden Konfigurationsdateien dargestellt werden.

7. (Optional) Installieren Sie Python-Abhängigkeiten (nur erforderlich für die Well Log-Interpolation).

   pip install -r C:\gcz\gcz-transformer-core\src\main\resources\script\requirements.txt --no-index --find-links python-dependencies
   

8. Starten Sie den GCZ-Transformator.

   C:\gcz\transformer\transformer.bat local
   

9. Erstellen Sie den GCZ-Anbieter.

   cd C:\gcz\gcz-provider\gcz-provider-core
   npm install
   npm start
   

Standardmäßig lauscht der Anbieter an http://localhost:8083 und der Transformator an http://localhost:8080.