Перенос хранилища данных в выделенный пул SQL службы Azure Synapse Analytics

  • Статья

В следующих разделах представлен обзор того, что связано с переносом существующего решения хранилища данных в выделенный пул SQL Azure Synapse Analytics (ранее — хранилище данных SQL).

Обзор

Прежде чем начать миграцию, убедитесь, что Azure Synapse Analytics будет оптимальным решением для вашей рабочей нагрузки. Azure Synapse Analytics — это распределенная система для аналитических вычислений по большим объемам данных. Для перехода на Azure Synapse Analytics требуются некоторые изменения структуры, которые не представляют сложностей в понимании, но требуют довольно длительного времени для реализации. Если вашей организации требуется хранилище данных корпоративного уровня, то получаемые преимущества окупят затраченные усилия. Но если огромные возможности Azure Synapse Analytics вам не нужны, будет намного экономичнее использовать SQL Server или Базу данных SQL Azure.

Azure Synapse Analytics целесообразно использовать в следующих случаях:

  • у вас больше терабайта данных;
  • вам нужны аналитические вычисления по огромным объемам данных;
  • нужна возможность масштабирования вычислений и хранилища;
  • хотите снизить расходы, приостанавливая вычислительные ресурсы, когда они не нужны.

Вместо Azure Synapse Analytics вам могут подойти другие варианты выполнения рабочих нагрузок OLTP со следующими характеристиками:

  • высокая частота операций чтения и записи;
  • большое число операций одноэлементной выборки;
  • большие объемы операций вставки одной строки;
  • необходимость построчной обработки;
  • несовместимые форматы данных (например, JSON и XML).

Подготовка к миграции

Если вы решили перенести существующее решение в Azure Synapse Analytics, перед началом работы необходимо тщательно спланировать миграцию. Основная цель этого планирования — обеспечить совместимость данных, схем таблиц и кода с Azure Synapse Analytics. Существует ряд различий между вашей текущей системой и Azure Synapse Analytics, которые необходимо обойти. Кроме того, перенос больших объемов данных в Azure занимает длительное время. Тщательное планирование поможет ускорить процесс переноса данных в Azure.

Еще одна ключевая цель планирования — изменение текущей структуры проекта для полного использования преимуществ, которые предоставляет высокая производительность запросов в Azure Synapse Analytics. Проектирование хранилищ данных с учетом масштабирования требует уникальных шаблонов проектирования, поэтому традиционные подходы не всегда хорошо для этого подходят. Некоторые корректировки возможно внести и после миграции, но чем раньше вы начнете необходимые изменения, тем меньше времени и усилий на них потребуется.

Миграция

Для выполнения успешной миграции необходимо перенести все схемы данных, код и сами данные. Дополнительные рекомендации по этим направлениям вы найдете в следующих статьях:

Дополнительные ресурсы

Чтобы подробнее изучить миграцию из Netezza или Teradata в Azure Synapse Analytics, начните с первого шага серии из семи статей о миграции:

Материалы по миграции на основе реальных примеров

Дополнительную помощь по этому сценарию миграции можно получить в приведенных ниже ресурсах. Они разработаны как вспомогательные материалы по реализации реальных проектов миграции.

Название со ссылкой Описание
Модель и средство оценки рабочей нагрузки данных Это средство предоставляет предлагаемые "оптимальные" целевые платформы, готовность к переходу в облако и уровень исправления приложения или базы данных для конкретной рабочей нагрузки. Оно обеспечивает простое и быстрое вычисление и создание отчетов, которое помогает ускорить оценку больших объемов, предоставляя, автоматизируя и унифицируя процесс принятия решения относительно целевой платформы.
Обработка проблем кодирования данных при загрузке данных в Azure Synapse Analytics В этой записи блога содержатся сведения о некоторых проблемах с кодировкой данных, которые могут возникнуть при использовании PolyBase для загрузки данных в выделенные пулы SQL (ранее — хранилище данных SQL). В этой статье также перечислены некоторые возможности, которые позволят преодолеть такие проблемы и успешно загрузить данные.
Getting table sizes in Azure Synapse Analytics dedicated SQL pool (Получение размеров таблиц в выделенном пуле SQL Azure Synapse Analytics) Одной из важнейших задач, которые нужно выполнять архитекторам данных, является получение метрик из новой среды после миграции. Например, сбор данных о времени загрузки из локальной среды в облако и данных о времени загрузки в PolyBase. Одной из наиболее важных задач является определение размера хранилища в пулах SQL (ранее — хранилище данных SQL) по сравнению с текущей платформой клиента.

Эти ресурсы разработали специалисты по разработке данных SQL. Основная задача этой команды — включить и ускорить комплексную модернизацию проектов миграции платформы данных на платформу данных Microsoft Azure.

Видео

Посмотрите, как компания Walgreens перенесла систему инвентаризации для розничной торговли с данными объемом 100 ТБ из Netezza в Azure Synapse Analytics за рекордно короткое время.

Совет

Дополнительные сведения о миграциях Synapse см. в руководствах по миграции Azure Synapse Analytics.