Действие Web в Фабрике данных Azure и Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Веб-действие можно использовать для вызова пользовательской конечной точки REST из конвейера Фабрики данных Azure или Synapse. Вы можете передать наборы данных и связанные службы, которые будет использовать это действие и к которым оно будет обращаться.

Создание действия Web с помощью пользовательского интерфейса

Чтобы использовать действие Web в конвейере, выполните следующие действия:

1. Выполните поиск Web в области "Действия" конвейера и перетащите действие Web на холст конвейера.

2. Выберите новое действие Web на холсте, если оно еще не выбрано, и перейдите на вкладку Параметры, чтобы изменить сведения о нем.

   

3. Укажите URL-адрес, который может быть литеральной строкой URL-адреса или любым сочетанием динамических выражений, функций, системных переменных или выходных данных других действий. Укажите другие сведения для отправки в запрос.

4. Используйте выходные данные действия в качестве входных данных для любого другого действия. Укажите ссылку на выходные данные в любом месте целевого действия, где поддерживается динамическое содержимое.

Синтаксис

{
   "name":"MyWebActivity",
   "type":"WebActivity",
   "typeProperties":{
      "method":"Post",
      "url":"<URLEndpoint>",
      "httpRequestTimeout": "00:01:00"
      "connectVia": {
          "referenceName": "<integrationRuntimeName>",
          "type": "IntegrationRuntimeReference"
      }
      "headers":{
         "Content-Type":"application/json"
      },
      "authentication":{
         "type":"ClientCertificate",
         "pfx":"****",
         "password":"****"
      },
      "datasets":[
         {
            "referenceName":"<ConsumedDatasetName>",
            "type":"DatasetReference",
            "parameters":{
               ...
            }
         }
      ],
      "linkedServices":[
         {
            "referenceName":"<ConsumedLinkedServiceName>",
            "type":"LinkedServiceReference"
         }
      ]
   }
}

Свойства типа

Ниже приведены требования к содержимому JSON:

Проверка подлинности

Ниже приведены поддерживаемые типы проверки подлинности в веб-действии.

нет

Если проверка подлинности не требуется, не включайте свойство authentication.

Базовая

Укажите имя пользователя и пароль для использования с обычной проверкой подлинности.

"authentication":{
   "type":"Basic",
   "username":"****",
   "password":"****"
}

Сертификат клиента

Укажите содержимое в кодировке base64 PFX-файла и пароль.

"authentication":{
   "type":"ClientCertificate",
   "pfx":"****",
   "password":"****"
}

Это должен быть сертификат x509. Для преобразования в PFX-файл можно использовать свою предпочтительную служебную программу. Для кодировки base-64 можно использовать следующий фрагмент кода PowerShell.

$fileContentBytes = get-content 'enr.dev.webactivity.pfx' -AsByteStream

[System.Convert]::ToBase64String($fileContentBytes) | Out-File ‘pfx-encoded-bytes.txt’

Управляемое удостоверение

Укажите URI ресурса, для которого маркер доступа будет запрошен с помощью управляемого удостоверения для фабрики данных или экземпляра рабочей области Synapse. Для вызова API управления ресурсами Azure используйте https://management.azure.com/. Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Что такое управляемые удостоверения для ресурсов Azure?

"authentication": {
	"type": "MSI",
	"resource": "https://management.azure.com/"
}

Субъект-служба

Укажите идентификатор клиента, идентификатор субъекта-службы и ключ субъекта-службы, используя безопасную строку для секрета клиента.

"authentication": {
            "type": "ServicePrincipal",
            "tenant": "your_tenant_id",
            "servicePrincipalId": "your_client_id",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "your_client_secret"
            },
            "resource": "https://management.azure.com/"
}

Схема полезных данных запроса

При использовании метода POST или PUT свойство body представляет полезные данные, отправляемые конечной точке. Связанные службы и наборы данных можно передать в качестве части полезных данных. Ниже приведена схема полезных данных.

{
    "body": {
        "myMessage": "Sample",
        "datasets": [{
            "name": "MyDataset1",
            "properties": {
                ...
            }
        }],
        "linkedServices": [{
            "name": "MyStorageLinkedService1",
            "properties": {
                ...
            }
        }]
    }
}

Пример

В этом примере веб-действие в конвейере вызывает конечную точку REST. Оно передает связанную службу SQL Azure и набор данных SQL Azure в конечную точку. Конечная точка REST использует строку подключения SQL Azure для подключения к логическому серверу SQL и возвращает имя экземпляра сервера SQL Server.

Определение конвейера

{
    "name": "<MyWebActivityPipeline>",
    "properties": {
        "activities": [
            {
                "name": "<MyWebActivity>",
                "type": "WebActivity",
                "typeProperties": {
                    "method": "Post",
                    "url": "@pipeline().parameters.url",
                    "headers": {
                        "Content-Type": "application/json"
                    },
                    "authentication": {
                        "type": "ClientCertificate",
                        "pfx": "*****",
                        "password": "*****"
                    },
                    "datasets": [
                        {
                            "referenceName": "MySQLDataset",
                            "type": "DatasetReference",
                            "parameters": {
                                "SqlTableName": "@pipeline().parameters.sqlTableName"
                            }
                        }
                    ],
                    "linkedServices": [
                        {
                            "referenceName": "SqlLinkedService",
                            "type": "LinkedServiceReference"
                        }
                    ]
                }
            }
        ],
        "parameters": {
            "sqlTableName": {
                "type": "String"
            },
            "url": {
                "type": "String"
            }
        }
    }
}

Значения параметров конвейера

{
    "sqlTableName": "department",
    "url": "https://adftes.azurewebsites.net/api/execute/running"
}

Код конечной точки веб-службы

[HttpPost]
public HttpResponseMessage Execute(JObject payload)
{
    Trace.TraceInformation("Start Execute");

    JObject result = new JObject();
    result.Add("status", "complete");

    JArray datasets = payload.GetValue("datasets") as JArray;
    result.Add("sinktable", datasets[0]["properties"]["typeProperties"]["tableName"].ToString());

    JArray linkedServices = payload.GetValue("linkedServices") as JArray;
    string connString = linkedServices[0]["properties"]["typeProperties"]["connectionString"].ToString();

    System.Data.SqlClient.SqlConnection sqlConn = new System.Data.SqlClient.SqlConnection(connString);

    result.Add("sinkServer", sqlConn.DataSource);

    Trace.TraceInformation("Stop Execute");

    return this.Request.CreateResponse(HttpStatusCode.OK, result);
}

Связанный контент

Ознакомьтесь с другими поддерживаемыми действиями потока управления:

• Действие выполнения конвейера
• Действие ForEach
• Действие получения метаданных
• Действие поиска