Azure Data Factory と Synapse パイプラインでサポートされるコンピューティング環境

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、データの処理または変換に利用できるさまざまなコンピューティング環境について説明します。 これらのコンピューティング環境をリンクするリンク サービスの構成時にサポートされる、さまざまな構成 (オンデマンドと Bring Your Own の比較) に関する詳細も説明します。

次の表は、サポートされているコンピューティング環境と、その環境で実行できるアクティビティの一覧です。

HDInsight コンピューティング環境

オンデマンドおよび BYOC (Bring Your Own Compute) 環境内の構成でサポートされるストレージのリンクされたサービスの種類についての詳細は、以下の表を参照してください。

Azure HDInsight のオンデマンドのリンクされたサービス

この種類の構成では、コンピューティング環境はサービスによって完全に管理されます。 データを処理するためのジョブが送信される前にサービスにより自動的に作成され、ジョブの完了時に削除されます。 オンデマンドのコンピューティング環境のために「リンクされたサービス」を作成し、構成し、ジョブ実行、クラスター管理、ブートストラップ アクションの詳細設定を制御できます。

サービスにより、データを処理するためのオンデマンド HDInsight クラスターが自動的に作成されます。 このクラスターはクラスターに関連付けられているストレージ アカウント (JSON の linkedServiceName プロパティ) と同じリージョンで作成されます。 ストレージ アカウントは、汎用の Standard Azure Storage アカウントである必要があります。

オンデマンド HDInsight のリンクされたサービスに関する次の 重要な 点に注意してください。

• オンデマンド HDInsight クラスターは Azure サブスクリプションのもとで作成されます。 クラスターが稼働している場合、Azure ポータルでクラスターを確認できます。
• オンデマンド HDInsight クラスターで実行されるジョブのログは HDInsight クラスターに関連付けられているストレージ アカウントにコピーされます。 リンクされたサービス定義で定義されている ClusterUserName、clusterPassword、clusterSshUserName、clusterSshPassword は、クラスターのライフサイクル中に詳細なトラブルシューティングのためにクラスターにログインするときに使用されます。
• HDInsight クラスターが稼動し、ジョブを実行している時間に対してのみ課金されます。
• HDInsight のオンデマンドのリンクされたサービスでは、スクリプト操作を使用できません。

例

次の JSON は、Linux ベースのオンデマンド HDInsight のリンクされたサービスを定義します。 必要なアクティビティを処理するため、サービスにより Linux ベースの HDInsight クラスターが自動的に作成されます。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• additionalLinkedServiceNames JSON の例

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

サービス プリンシパルの認証

オンデマンドの HDInsight リンク サービスでは、ユーザーに代わって HDInsight クラスターを作成するためにサービス プリンシパル認証が必要になります。 サービス プリンシパルの認証を使用するには、Microsoft Entra ID でアプリケーション エンティティを登録し、サブスクリプションの、または HDInsight クラスターが作成されるリソース グループの共同作成者のロールを付与します。 詳細な手順については、「リソースにアクセスできる Microsoft Entra アプリケーションとサービス プリンシパルをポータルで作成する」を参照してください。 次の値を記録しておきます。リンクされたサービスを定義するときに使います。

• アプリケーション ID
• アプリケーション キー
• テナント ID

次のプロパティを指定して、サービス プリンシパル認証を使います。

高度なプロパティ

次のプロパティを指定し、オンデマンド HDInsight クラスターを詳細に設定することもできます。

• 例 - オンデマンド HDInsight クラスター構成と詳細なプロパティ

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

ノードのサイズ

次のプロパティを使用して、ヘッド ノード、データ ノード、Zookeeper ノードのサイズを指定できます。

• ノード サイズの指定。前のセクションで説明したプロパティで指定する必要がある文字列値については、仮想マシンのサイズに関する記事を参照してください。 値は、この記事に記載されているコマンドレットと API に準拠する必要があります。 この記事に示すように、Large (既定値) サイズのデータ ノードのメモリ容量は 7 GB ですが、シナリオによってはこれでは不十分な場合があります。

D4 サイズのヘッド ノードとワーカー ノードを作成する場合は、headNodeSize プロパティと dataNodeSize プロパティの値として Standard_D4 を指定します。

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

これらのプロパティに間違った値を指定すると、次のエラーが発生します。エラー: クラスターを作成できませんでした。 例外:クラスター作成操作を完了できません。 コード '400' で操作が失敗しました。 取り残されたクラスターの状態: 'Error'。 メッセージ:'PreClusterCreationValidationFailure'。 このエラーが発生した場合は、仮想マシンのサイズに関する記事の表に記載されているコマンドレットと API の名前を使用していることを確認してください。

Bring Your Own のコンピューティング環境

この種類の構成では、既存のコンピューティング環境をリンク サービスとして登録できます。 このコンピューティング環境はユーザーにより管理され、サービスではこれを使用してアクティビティを実行します。

この種類の構成は次のコンピューティング環境でサポートされています。

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB、Azure Synapse Analytics、SQL Server

Azure HDInsight のリンクされたサービス

Azure HDInsight のリンク サービスを作成し、独自の HDInsight クラスターをデータ ファクトリまたは Synapse ワークスペースに登録できます。

例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Azure Batch のリンクされたサービス

Azure Batch のリンク サービスを作成し、仮想マシン (VM) の Batch プールをデータまたは Synapse ワークスペースに登録できます。 Azure Batch を使用してカスタム アクティビティを実行することができます。

Azure Batch サービスを初めて利用する場合は、次の記事をご覧ください。

• Azure Batch の基本 」をご覧ください。
• Azure Batch アカウントの作成方法については、New-AzBatchAccount コマンドレットをご覧ください。Azure portal を使用した Azure Batch アカウントの作成方法については、Azure portal をご覧ください。 このコマンドレットの使用方法の詳細については、PowerShell を使用した Azure Batch アカウントの管理に関する記事をご覧ください。
• Azure Batch プールの作成方法については、New-AzBatchPool コマンドレットをご覧ください。

例

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Machine Learning スタジオ (クラシック) のリンク サービス

Machine Learning スタジオ (クラシック) のリンク サービスを作成して、Machine Learning スタジオ (クラシック) のバッチ スコアリング エンドポイントをデータ ファクトリまたは Synapse ワークスペースに登録します。

例

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Azure Machine Learning のリンクされたサービス

Azure Machine Learning のリンク サービスを作成して、Azure Machine Learning ワークスペースをデータ ファクトリまたは Synapse ワークスペースに接続します。

例

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Azure Data Lake Analytics リンク サービス

Azure Data Lake Analytics リンク サービスを作成して、Azure Data Lake Analytics コンピューティング サービスをデータ ファクトリまたは Synapse ワークスペースにリンクします。 パイプラインの Data Lake Analytics U-SQL アクティビティは、このリンク サービスを参照します。

例

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Azure Databricks のリンクされたサービス

Azure Databricks のリンクされたサービスを作成して、Databricks ワークロード (Notebook、Jar、Phthon) の実行に使用する Databricks ワークスペースを登録できます。

例 - Databricks で新しいジョブ クラスターの使用

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

例 - Databricks で対話型の既存クラスターの使用

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Azure SQL Database のリンクされたサービス

Azure SQL リンク サービスを作成し、それをストアド プロシージャ アクティビティで使用して、パイプラインからストアド プロシージャを起動します。 このリンクされたサービスの詳細については、 Azure SQL コネクタ に関する記事を参照してください。

Azure Synapse Analytics のリンクされたサービス

Azure Synapse Analytics リンク サービスを作成し、それをストアド プロシージャ アクティビティで使用して、パイプラインからストアド プロシージャを起動します。 このリンクされたサービスの詳細については、Azure Synapse Analytics コネクタに関する記事を参照してください。

SQL Server のリンクされたサービス

SQL Server リンク サービスを作成し、それをストアド プロシージャ アクティビティで使用して、パイプラインからストアド プロシージャを起動します。 このリンクされたサービスの詳細については、 SQL Server コネクタ に関する記事をご覧ください。

Azure Synapse Analytics (Artifacts) のリンク サービス

Azure Synapse Analytics (Artifacts) のリンク サービスを作成し、それを Synapse Notebook アクティビティおよび Synapse Spark ジョブ定義のアクティビティで使用します。

例

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntergrationRuntimeReference"
        }
    }
}

Properties

Azure 関数のリンクされたサービス

Azure 関数のリンク サービスを作成し、それを Azure 関数アクティビティで使用して、パイプラインで Azure Functions を実行します。 Azure 関数の戻り値の型は、有効な JObject である必要があります。 (JArray は JObject では "ない" ことに留意してください。)JObject以外の戻り値の型が失敗し、ユーザー エラー応答コンテンツは有効な JObject ではないが発生します。

関連するコンテンツ

サポートされている変換アクティビティの一覧については、データの変換に関する記事を参照してください。