Загрузка данных из Microsoft 365 (Office 365) с помощью Фабрики данных Azure

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье показано, как использовать Фабрику данных для загрузки данных из Microsoft 365 (Office 365) в хранилище BLOB-объектов Azure. Эти шаги применяются и для копирования данных в Azure Data Lake 1-го и 2-го поколения. Общие сведения о копировании данных из Microsoft 365 (Office 365) см. в статье о соединителе Microsoft 365 (Office 365).

Создание фабрики данных

  1. Если вы еще не создали фабрику данных, выполните действия, описанные в кратком руководстве по созданию фабрики данных с помощью портала Azure и студии Фабрики данных Azure. После создания перейдите к фабрике данных на портале Azure.

    Домашняя страница Фабрики данных Azure с элементом Open Azure Data Factory Studio.

  2. Выберите Открыть на плитке Открыть Azure Data Factory Studio, чтобы запустить приложение интеграции данных в отдельной вкладке.

Создание конвейера

  1. На домашней странице выберите Orchestrate (Оркестрация).

    Снимок экрана: домашняя страница ADF

  2. На вкладке Общие для конвейера введите "CopyPipeline" в качестве имени конвейера.

  3. В поле > "Действия" перемещение и преобразование категории > перетаскивание действие Copy из поля инструментов в область конструктора конвейеров. В качестве имени действия укажите CopyFromOffice365ToBlob.

Примечание.

Используйте среду выполнения интеграции Azure в связанных службах источника и приемника. Локальная среда выполнения интеграции и среда выполнения интеграции управляемой виртуальной сети не поддерживаются.

Настройка источника

  1. Перейдите в конвейере на вкладку >Источник и щелкните + Создать, чтобы создать исходный набор данных.

  2. В окне "Новый набор данных" выберите Microsoft 365 (Office 365) и нажмите кнопку Продолжить.

  3. Теперь вы находитесь на вкладке "Копирование конфигурации действия". Щелкните Изменить рядом с набором данных Microsoft 365 (Office 365), чтобы продолжить настройку данных.

    Общая настройка набора данных Microsoft 365 (Office 365).

  4. Откроется новая вкладка для набора данных Microsoft 365 (Office 365). На вкладке Общие в нижней части окна "Свойства" в поле "Имя" введите SourceOffice365Dataset.

  5. Перейдите на вкладку Подключение в окне "Свойства". Рядом с текстовым полем "Связанная служба" нажмите кнопку + Создать.

  6. В окне "Новая связанная служба" введите Office365LinkedService в качестве имени, введите идентификатор и ключ субъекта-службы, затем проверьте соединение и нажмите кнопку Создать, чтобы развернуть связанную службу.

    Новая связанная служба Microsoft 365 (Office 365).

  7. После создания связанной службы снова откроются параметры набора данных. Рядом с полем Таблица щелкните стрелку вниз, чтобы открыть раскрывающийся список доступных наборов данных Microsoft 365 (Office 365), и выберите BasicDataSet_v0.Message_v0 из списка:

    Настройка таблицы набора данных Microsoft 365 (Office 365).

  8. Теперь вернитесь на вкладку конвейер>Источник, чтобы продолжить настройку дополнительных свойств для извлечения данных Microsoft 365 (Office 365). Область пользователя и фильтр области пользователя — это необязательные предикаты, которые можно определить, чтобы ограничить данные, которые необходимо извлечь из Microsoft 365 (Office 365). Сведения о настройке этих параметров см. в разделе Свойства набора данных Microsoft 365 (Office 365).

  9. Вам необходимо выбрать один из фильтров даты и указать время начала и время окончания.

  10. Перейдите на вкладку Импорт схемы, чтобы импортировать схему для набора данных сообщения.

    Настройка схемы набора данных Microsoft 365 (Office 365).

Настройка приемника

  1. Перейдите на вкладку конвейера >Приемник и выберите + Создать, чтобы создать целевой набор данных.

  2. В окне "Новый набор данных" обратите внимание, что при копировании из Microsoft 365 (Office 365) выбираются только поддерживаемые места назначения. Выберите Хранилище BLOB-объектов Azure, выберите двоичный формат и нажмите кнопку Продолжить. В этом руководстве вы скопируете данные Microsoft 365 (Office 365) в хранилище BLOB-объектов Azure.

  3. Щелкните Изменить рядом с набором данных Хранилища BLOB-объектов Azure, чтобы продолжить настройку данных.

  4. Перейдите на вкладку Общие в окне свойств и введите OutputBlobDataset в поле "Имя".

  5. Перейдите на вкладку Подключение в окне "Свойства". Рядом с текстовым полем "Связанная служба" нажмите кнопку + Создать.

  6. В окне новой связанной службы введите AzureStorageLinkedService в качестве имени, выберите "Субъект-служба" из раскрывающегося списка методов проверки подлинности, укажите конечную точку службы, идентификатор субъекта-службы клиента и ключ субъекта-службы, а затем нажмите кнопку "Сохранить", чтобы развернуть связанную службу. Дополнительные сведения о настройке проверки подлинности субъекта-службы для хранилища BLOB-объектов Azure см. здесь.

    Новая связанная служба больших двоичных объектов

Проверка конвейера

Чтобы проверить параметры конвейера, на панели инструментов выберите Проверить.

Чтобы отобразить код JSON, соответствующий конвейеру, щелкните "Код" в правом верхнем углу.

Публикация конвейера

В верхней части панели инструментов щелкните Опубликовать все. Это действие опубликует созданные сущности (наборы данных и конвейеры) в фабрике данных.

Публикация изменений

Aктивация конвейера вручную

Выберите Добавить триггер на панели инструментов, а затем Trigger Now (Запустить сейчас). На странице Pipeline Run (Запуск конвейера) нажмите кнопку Готово.

Мониторинг конвейера

Перейдите на вкладку Мониторинг слева. Вы увидите выполнение конвейера, которое вы только что активировали вручную. Ссылки в столбце Действия позволят вам просмотреть подробные сведения о действиях и (или) повторно выполнить конвейер.

Отслеживание конвейера

Чтобы просмотреть запуски действий, связанные с этим запуском конвейера, щелкните ссылку View Activity Runs (Просмотр запусков действий) в столбце "Действия". В нашем примере определено только одно действие, поэтому в списке вы увидите только одну запись. Чтобы увидеть сведения об операции копирования, щелкните ссылку Сведения (значок очков) в столбце "Действия".

Мониторинг действий

Если вы впервые запрашиваете данные для этого контекста (комбинация из таблицы данных, к которой осуществляется доступ, целевой учетной записи, в которую загружаются данные, и идентификатора пользователя, используемого для запроса доступа к данным), для действия копирования будет отображаться состояние Выполняется и, только когда вы щелкнете ссылку "Сведения" в разделе "Действия", вы увидите состояние RequesetingConsent. Участник группы лиц, утверждающих доступ к данным, должен утвердить запрос в Privileged Access Management, прежде чем можно будет продолжить извлечение данных.

Состояние как запрашивающее согласие:Сведения о выполнении действия — согласие запроса

Состояние ExtractingData (Извлечение данных):

Сведения о выполнении действия — извлечение данных

Как только согласие будет предоставлено, извлечение данных продолжится, и через некоторое выполнение конвейера завершится.

Отслеживание конвейера — успешно

Теперь перейдите в целевое хранилище BLOB-объектов Azure и убедитесь, что данные Microsoft 365 (Office 365) были извлечены в двоичном формате.

Связанный контент

Перейдите к следующей статье, чтобы узнать о поддержке Azure Synapse Analytics:

Соединитель Microsoft 365 (Office 365)