Ambienti di calcolo supportati dalle pipeline di Azure Data Factory e Synapse

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Questo articolo spiega i diversi ambienti di calcolo che è possibile utilizzare per elaborare o una trasformare dati. Fornisce inoltre informazioni dettagliate sulle diverse configurazioni (on-demand e bring your own) supportate durante la configurazione di servizi collegati che collegano questi ambienti.

La seguente tabella presenta un elenco degli ambienti di calcolo supportati e le attività eseguibili in tali ambienti.

Ambiente di calcolo di HDInsight

Vedere la tabella seguente per informazioni dettagliate sui tipi di servizi collegati di archiviazione supportati per la configurazione in un ambiente su richiesta e BYOC (Bring Your Own Computer).

Servizio collegato Azure HDInsight su richiesta

In questo tipo di configurazione, l'ambiente informatico è completamente gestito dal servizio. Viene automaticamente creato dal servizio prima che un processo venga inviato per l’elaborazione dati e rimosso quando il processo viene completato. Gli utenti possono configurare e controllare le impostazioni granulari dell'ambiente di elaborazione su richiesta per l'esecuzione del processo, la gestione del cluster e azioni di avvio automatico.

Il servizio può creare automaticamente un cluster HDInsight su richiesta per elaborare i dati. La creazione del cluster avviene nella stessa area dell'account di archiviazione (proprietà linkedServiceName in JSON) associato al cluster. L'account di archiviazione must essere un account di Archiviazione di Azure standard per utilizzo generico.

Tenere presente i seguenti punti importanti sul servizio collegato HDInsight su richiesta:

• Il cluster HDInsight su richiesta verrà creato nella sottoscrizione di Azure. È possibile visualizzare il cluster nel portale di Azure quando questo è attivo e in esecuzione.
• I log per i processi eseguiti su un cluster HDInsight su richiesta vengono copiati nell'account di archiviazione associato al cluster HDInsight. ClusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definiti nella definizione del servizio collegato vengono usati per accedere al cluster per la risoluzione approfondita dei problemi durante il ciclo di vita del cluster.
• Viene addebitato solo il tempo in cui il cluster HDInsight è attivo e i processi in esecuzione.
• Si può usare un'azione script con il servizio collegato Azure HDInsight su richiesta.

Esempio

Il codice JSON seguente definisce un servizio collegato HDInsight su richiesta basato su Linux. Il servizio crea automaticamente un cluster HDInsight basato su Linux per elaborare un'attività richiesta.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Proprietà

• Esempio di codice JSON additionalLinkedServiceNames

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Autenticazione dell'entità servizio

Il servizio collegato di HDInsight su richiesta richiede un'autenticazione dell'entità servizio per creare i cluster HDInsight per conto dell'utente. Per usare l'autenticazione dell'entità servizio, registrare un'entità di applicazione in Microsoft Entra ID, e concedere a questa il ruolo di Collaboratore della sottoscrizione o il gruppo di risorse in cui viene creato il cluster HDInsight. Per la procedura dettagliata vedere Usare il portale per creare un'applicazione Microsoft Entra e un'entità servizio che possano accedere alle risorse. Prendere nota dei valori seguenti che si usano per definire il servizio collegato:

• ID applicazione
• Chiave applicazione
• ID tenant

Usare l'autenticazione basata su entità servizio specificando le proprietà seguenti:

Advanced Properties

È inoltre possibile specificare le seguenti proprietà per la configurazione granulare del cluster HDInsight su richiesta.

• Esempio: configurazione del cluster HDInsight on demand con le proprietà avanzate

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Dimensioni dei nodi

È possibile specificare le dimensioni dei nodi head, di dati e zookeeper usando le proprietà seguenti:

• Specificare le dimensioni dei nodi Vedere l'articolo sulle dimensioni delle macchine virtuali per i valori della stringa che è necessario specificare per le proprietà indicate nella sezione precedente. I valori devono essere conformi a CMDLET e API a cui si fa riferimento nell'articolo. Come si vede nell'articolo, il nodo dei dati di grandi dimensioni (per impostazione predefinita) ha 7 GB di memoria, che potrebbe non essere adatto al proprio scenario.

Per creare nodi head e nodi del ruolo di lavoro di dimensioni D4, è necessario specificare Standard_D4 come valore per le proprietà headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se si specifica un valore errato per queste proprietà, potrebbe essere visualizzato il seguente errore: impossibile creare il cluster. Eccezione: impossibile completare l'operazione di creazione del cluster. L'operazione non è riuscita con codice '400'. Nello stato del cluster è apparso il messaggio 'Errore'. Messaggio: ’PreClusterCreationValidationFailure’. Quando si riceve questo errore, assicurarsi di usare il nome di CMDLET e API della tabella dell'articolo relativo alle dimensioni delle macchine virtuali.

Ambiente di calcolo “bring your own”

In questo tipo di configurazione, gli utenti possono registrare un ambiente informatico già esistente come servizio collegato. L'ambiente di elaborazione viene gestito dall'utente e il servizio viene utilizzato per eseguire le attività.

Questo tipo di configurazione è supportato per gli ambienti di calcolo seguenti:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics.
• Azure SQL DB, Azure Synapse Analytics, SQL Server

Servizio collegato Azure HDInsight

È possibile creare un servizio collegato Azure HDInsight per registrare il proprio cluster HDInsight con una data factory o un workspace Synapse.

Esempio

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Proprietà

Servizio collegato Azure Batch

È possibile creare un servizio collegato di Azure Batch per registrare un pool di Batch di macchine virtuali (VM) a uno spazio di lavoro dati o a Synapse. È possibile eseguire l'attività personalizzata usando Azure Batch.

Vedere gli articoli seguenti se non si ha familiarità con il servizio Azure Batch:

• Nozioni di base di Azure Batch per una panoramica del servizio Azure Batch.
• Cmdlet New-AzureBatchAccount per creare un account di Azure Batch oppure portale di Azure per creare l'account di Azure Batch usando il portale di Azure. Per istruzioni dettagliate sull'uso del cmdlet, vedere l'articolo Uso di Azure PowerShell per gestire l'account di Azure Batch.
• Cmdlet New AzureBatchPool per creare un pool di Azure Batch.

Esempio

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Proprietà

Servizio collegato di Machine Learning Studio (versione classica)

Si crea un servizio collegato di Machine Learning Studio (versione classica) per registrare un endpoint di punteggio batch Machine Learning Studio (versione classica) a una data factory.

Esempio

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Proprietà

Servizio collegato di Azure Machine Learning

Si crea un servizio collegato di Azure Machine Learning per collegare un'area di lavoro di Azure Machine Learning a una data factory di Azure o a Synapse.

Esempio

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Proprietà

Servizio collegato di Azure Data Lake Analytics

Creare un servizio collegato di Azure Data Lake Analytics per collegare un servizio di calcolo di Azure Data Lake Analytics a una Data Factory o a un workspace Synapse. L'attività U-SQL di Data Lake Analytics nella pipeline fa riferimento a questo servizio collegato.

Esempio

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Proprietà

Servizio collegato Azure Databricks

È possibile creare un servizio collegato Azure Databricks per registrare l'area di lavoro di Databricks che si userà per eseguire i carichi di lavoro di Databricks (notebook, jar, python).

Esempio - Uso di un nuovo cluster dei processi in Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Esempio - Uso di un cluster interattivo esistente in Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Proprietà

Servizio collegato per il database SQL di Azure

Si crea un servizio collegato di Azure SQL e lo si utilizza con l’ Attività di stored procedure per richiamare una procedura stored da una pipeline. Vedere l’articolo Connettore di Azure SQL per informazioni dettagliate su questo servizio collegato.

Servizio collegato Azure Synapse Analytics

Si crea un servizio collegato di Azure Synapse Analytics e lo si utilizza con l’ Attività di stored procedure per richiamare una procedura stored da una pipeline. Vedere l’articolo Connettore di Azure Synapse Analytics per informazioni dettagliate su questo servizio collegato.

Servizio collegato di SQL Server

Si crea un servizio collegato di SQL Server e lo si usa con l' attività di stored procedure per richiamare una stored procedure da una pipeline. Vedere l'articolo Proprietà del servizio collegato SQL Server per informazioni dettagliate su questo servizio collegato.

Servizio collegato Azure Synapse Analytics (Artifacts)

Si crea un servizio collegato di Azure Synapse Analytics (Artifacts) e lo si usa con l'attività del notebook Synapse e l’attività di definizione del processo Synapse Spark.

Esempio

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntergrationRuntimeReference"
        }
    }
}

Proprietà

Servizio collegato della funzione di Azure

Si crea un servizio collegato di Funzioni di Azure e lo si usa con l'attività Funzioni di Azure per eseguire funzioni di Azure in una pipeline. Il tipo restituito della funzione di Azure deve essere un JObject valido. (Tenere presente che JArraynon è un JObject.) Qualsiasi tipo restituito diverso da JObject ha esito negativo e genera l'errore utente il contenuto della risposta non è un JObject valido.

Contenuto correlato

Per un elenco delle attività di trasformazione supportate, vedere le informazioni su Trasformazione dati.