Копирование из Microsoft 365 (Office 365) в Azure с помощью Фабрика данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Конвейеры Фабрики данных Azure и Azure Synapse Analytics объединяются с подключением к данным Microsoft Graph, что позволяет использовать расширенные организационные данные в вашем клиенте Microsoft 365 (Office 365) в Azure, создавать аналитические приложения и извлекать аналитические данные на основе этих полезных ресурсов данных. Интеграция с Privileged Access Management обеспечивает безопасный контроль доступа к ценным курированным данным в Microsoft 365 (Office 365). См. эту ссылку для обзора Подключение к данным Microsoft Graph.

В этой статье описывается использование действия копирования для копирования данных и Поток данных для преобразования данных из Microsoft 365 (Office 365). Общие сведения о копировании данных см. в обзоре действия копирования. Общие сведения о преобразовании данных см . в обзоре потока данных сопоставления.

Поддерживаемые возможности

Этот соединитель Microsoft 365 (Office 365) поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Соединитель ADF Microsoft 365 (Office 365) и Подключение к данным Microsoft Graph позволяет масштабировать прием различных типов наборов данных из почтовых ящиков с поддержкой электронной почты Exchange, включая контакты адресной книги, события календаря, сообщения электронной почты, сведения о пользователях, параметры почтового ящика и т. д. Ознакомьтесь с полным списком доступных наборов данных.

Сейчас в рамках одного действия копирования и потока данных можно получать только данные из Microsoft 365 (Office 365) в Хранилище BLOB-объектов Azure, Azure Data Lake Storage 1-го поколения и Azure Data Lake Storage 2-го поколения в формате JSON (тип setOfObjects). При копировании в Хранилище BLOB-объектов Azure выходные данные — это большой двоичный объект, содержащий текст JSON. Если вы хотите загрузить Microsoft 365 (Office 365) в другие типы хранилищ данных или в других форматах, можно объединить первое действие копирования или поток данных с последующим действием для дальнейшей загрузки данных в любое из поддерживаемых целевых хранилищ ADF (см. столбец "поддерживаемый в качестве приемника" в таблице "Поддерживаемые хранилища данных и форматы").

Необходимые компоненты

Чтобы скопировать и преобразовать данные из Microsoft 365 (Office 365) в Azure, необходимо выполнить следующие предварительные действия:

• Администратор вашего арендатора Microsoft 365 (Office 365) должен выполнить действия по подключению, как описано здесь.
• Создайте и настройте веб-приложение Microsoft Entra в идентификаторе Microsoft Entra. Инструкции см. в разделе "Создание приложения Microsoft Entra".
• Запишите следующие значения, которые используются для определения связанной службы для Microsoft 365 (Office 365):
  • Идентификатор клиента. Инструкции см. в статье о получении идентификатора клиента.
  • Идентификатор приложения и ключ приложения. Инструкции см. в статье о получении идентификатора приложения и ключа проверки подлинности.
• Добавьте удостоверение пользователя, которое делает запрос на доступ к данным в качестве владельца веб-приложения Microsoft Entra (от владельца > параметров > веб-приложения > Microsoft Entra).
  • Удостоверение пользователя должно находиться в организации Microsoft 365 (Office 365), из которую вы получаете данные и не должны быть гостевым пользователем.

Утверждение новых запросов на доступ к данным

Если вы впервые запрашиваете данные для определенного контекста (который определяется комбинацией таблицы данных, к которой осуществляется доступ, целевой учетной записи, в которую загружаются данные, и идентификатора пользователя, используемого для запроса доступа к данным), для действия копирования будет отображаться состояние Выполняется и, только когда вы щелкнете ссылку "Подробности" в разделе "Действия", вы увидите состояние "RequesetingConsent". Участник группы лиц, утверждающих доступ к данным, должен утвердить запрос в Privileged Access Management, прежде чем можно будет продолжить извлечение данных.

Дополнительные сведения о том, как утверждающий может утвердить запрос доступа к данным.

Начало работы

Конвейер можно создать с действием копирования и потоком данных с помощью одного из следующих средств или пакетов SDK. Щелкните ссылку, чтобы перейти к учебнику, содержащему пошаговые инструкции по созданию конвейера с использованием действия копирования.

• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• REST API
• Шаблон Azure Resource Manager

Создайте связанную службу с Microsoft 365 (Office 365) с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу с Microsoft 365 (Office 365) в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Microsoft 365 (Office 365) и выберите соединитель Microsoft 365 (Office 365).

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах JSON, которые используются для определения сущностей Фабрики данных, относящихся к соединителю Microsoft 365 (Office 365).

Свойства связанной службы

Для связанной службы Microsoft 365 (Office 365) поддерживаются следующие свойства:

Пример:

{
    "name": "Office365LinkedService",
    "properties": {
        "type": "Office365",
        "typeProperties": {
            "office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
            "servicePrincipalTenantId": "<AAD app service principal tenant id>",
            "servicePrincipalId": "<AAD app service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<AAD app service principal key>"
            }
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе представлен список свойств, поддерживаемых набором данных Microsoft 365 (Office 365).

Для копирования данных из Microsoft 365 (Office 365) поддерживаются следующие свойства:

Если вы ранее настраивали dateFilterColumn, startTime, endTime и userScopeFilterUri в наборе данных, он пока поддерживается "как есть", но мы рекомендуем использовать новую модель в качестве источника действия.

Пример

{
    "name": "DS_May2019_O365_Message",
    "properties": {
        "type": "Office365Table",
        "linkedServiceName": {
            "referenceName": "<Microsoft 365 (Office 365) linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "tableName": "BasicDataSet_v0.Event_v1"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе представлен список свойств, поддерживаемых источником Microsoft 365 (Office 365).

Microsoft 365 (Office 365) в качестве источника

Для копирования данных из Microsoft 365 (Office 365) в разделе source для действия копирования поддерживаются следующие свойства:

Пример:

"activities": [
    {
        "name": "CopyFromO365ToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft 365 (Office 365) input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Office365Source",
                "dateFilterColumn": "CreatedDateTime",
                "startTime": "2019-04-28T16:00:00.000Z",
                "endTime": "2019-05-05T16:00:00.000Z",
                "userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
                "outputColumns": [
                    {
                        "name": "Id"
                    },
                    {
                        "name": "CreatedDateTime"
                    },
                    {
                        "name": "LastModifiedDateTime"
                    },
                    {
                        "name": "ChangeKey"
                    },
                    {
                        "name": "Categories"
                    },
                    {
                        "name": "OriginalStartTimeZone"
                    },
                    {
                        "name": "OriginalEndTimeZone"
                    },
                    {
                        "name": "ResponseStatus"
                    },
                    {
                        "name": "iCalUId"
                    },
                    {
                        "name": "ReminderMinutesBeforeStart"
                    },
                    {
                        "name": "IsReminderOn"
                    },
                    {
                        "name": "HasAttachments"
                    },
                    {
                        "name": "Subject"
                    },
                    {
                        "name": "Body"
                    },
                    {
                        "name": "Importance"
                    },
                    {
                        "name": "Sensitivity"
                    },
                    {
                        "name": "Start"
                    },
                    {
                        "name": "End"
                    },
                    {
                        "name": "Location"
                    },
                    {
                        "name": "IsAllDay"
                    },
                    {
                        "name": "IsCancelled"
                    },
                    {
                        "name": "IsOrganizer"
                    },
                    {
                        "name": "Recurrence"
                    },
                    {
                        "name": "ResponseRequested"
                    },
                    {
                        "name": "ShowAs"
                    },
                    {
                        "name": "Type"
                    },
                    {
                        "name": "Attendees"
                    },
                    {
                        "name": "Organizer"
                    },
                    {
                        "name": "WebLink"
                    },
                    {
                        "name": "Attachments"
                    },
                    {
                        "name": "BodyPreview"
                    },
                    {
                        "name": "Locations"
                    },
                    {
                        "name": "OnlineMeetingUrl"
                    },
                    {
                        "name": "OriginalStart"
                    },
                    {
                        "name": "SeriesMasterId"
                    }
                ]
            },
            "sink": {
                "type": "BlobSink"
            }
        }
    }
]

Связанный контент

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.