Зеркальное отображение Azure Cosmos DB (предварительная версия)

Зеркальное отображение в Microsoft Fabric позволяет легко интегрировать существующие данные Azure Cosmos DB с остальными данными в Microsoft Fabric . Вы можете непрерывно реплицировать данные Azure Cosmos DB непосредственно в Fabric OneLake практически в реальном времени, не влияя на производительность рабочих нагрузок транзакций.

Данные в OneLake хранятся в разностном формате с открытым исходным кодом и автоматически предоставляются всем аналитическим модулям в Fabric.

С помощью T-SQL можно выполнять сложные агрегатные запросы и Spark для изучения данных. Вы можете легко получить доступ к данным в записных книжках, использовать обработку и анализ данных для создания моделей машинного обучения и создания отчетов бизнес-аналитики с помощью Direct Lake на основе Copilot интеграции.

Зачем использовать зеркальное отображение в Fabric?

При зеркальном отображении в Fabric вам не нужно объединять разные службы от нескольких поставщиков. Вместо этого вы можете наслаждаться высоко интегрированным, комплексным и простым продуктом, который предназначен для упрощения потребностей аналитики и построен для открытости.

Если вы ищете аналитику операционных данных в Azure Cosmos DB, зеркальное отображение предоставляет:

• Без учета ETL, экономичной аналитики практически в реальном времени в данных Azure Cosmos DB без влияния на потребление единиц запросов
• Простота переноса данных в различные источники в Fabric OneLake
• Оптимизация разностной таблицы с виртуальным порядком для быстрого чтения
• Интеграция с Power BI с Direct Lake и одно щелчком мыши Copilot
• Многофункциональная бизнес-аналитика путем объединения данных между различными источниками
• Расширенная интеграция приложений для доступа к запросам и представлениям

Данные OneLake хранятся в формате Delta Lake с открытым исходным кодом, что позволяет использовать его с различными решениями в пределах корпорации Майкрософт и за ее пределами. Этот формат данных упрощает создание единого пространства данных для аналитических потребностей.

Какие возможности аналитики встроены?

Зеркальные базы данных — это элемент в Хранилище данных Fabric Synapse, отличный от конечной точки хранилища и аналитики SQL.

Каждая зеркальная база данных Azure Cosmos DB содержит три элемента, с которыми можно взаимодействовать в рабочей области Fabric:

• Элемент зеркальной базы данных. Зеркальное отображение управляет репликацией данных в OneLake и преобразованием в Parquet в формате, готовом к аналитике. Это позволяет нижестоящим сценариям, таким как проектирование данных, обработка и т. д.
• Конечная точка аналитики SQL, которая автоматически создается
• Семантическая модель по умолчанию, которая автоматически создается

Зеркальная база данных

Зеркальная база данных показывает состояние репликации и элементы управления для остановки или запуска репликации в Fabric OneLake. Вы также можете просмотреть исходную базу данных в режиме только для чтения с помощью обозревателя данных Azure Cosmos DB. С помощью обозревателя данных можно просматривать контейнеры в исходной базе данных Azure Cosmos DB и запрашивать их. Эти операции используют единицы запросов (ЕЗ) из учетной записи Azure Cosmos DB. Любые изменения в исходной базе данных отражаются сразу же в представлении исходной базы данных Fabric. Запись в исходную базу данных не разрешена из Fabric, так как можно просматривать только данные.

Конечная точка аналитики SQL

Каждая зеркальная база данных имеет автоматически созданную конечную точку аналитики SQL, которая обеспечивает широкий аналитический интерфейс на основе таблиц Delta OneLake, созданных процессом зеркального отображения. У вас есть доступ к знакомым командам T-SQL, которые могут определять и запрашивать объекты данных, но не управлять данными из конечной точки аналитики SQL, так как это копия только для чтения.

В конечной точке аналитики SQL можно выполнить следующие действия:

• Изучите таблицы Delta Lake с помощью T-SQL. Каждая таблица сопоставляется с контейнером из базы данных Azure Cosmos DB.
• Создание запросов и представлений без кода и их визуальное изучение без написания строки кода.
• Присоединение и запрос данных в других зеркальных базах данных, хранилищах и Lakehouse в той же рабочей области.

Помимо Редактор запросов Microsoft Fabric SQL существует широкая экосистема инструментов. К этим средствам относятся Visual Studio Code, Azure Data Studio, SQL Server Management Studio и даже GitHubCopilot. Вы можете загрузить анализ и создание аналитических сведений на основе выбранного средства.

Семантическая модель

Семантическая модель по умолчанию — это автоматически подготовленная семантическая модель Power BI. Эта функция позволяет создавать, совместно использовать и повторно использовать бизнес-метрики. Дополнительные сведения см. в семантических моделях.

Как работает репликация практически в режиме реального времени?

При включении зеркального отображения в базе данных Azure Cosmos DB, вставке, обновлении и удалении операций с данными обработки транзакций в Сети (OLTP) непрерывно реплицируется в Fabric OneLake для потребления аналитики.

Функция непрерывного резервного копирования является обязательным условием для зеркального отображения . Вы можете включить 7-дневную или 30-дневную непрерывную резервную копию в учетной записи Azure Cosmos DB.

Для репликации данных Azure Cosmos DB в Fabric OneLake может потребоваться несколько минут. В зависимости от начального моментального снимка данных или частоты обновлений или удалений репликация также может занять больше времени в некоторых случаях. Репликация не влияет на единицы запросов (ЕЗ), выделенные для транзакционных рабочих нагрузок.

Что ожидать от зеркального отображения

Перед зеркальным отображением следует рассмотреть несколько вопросов и поддерживаемых сценариев.

Рекомендации по настройке

Для зеркального отображения базы данных она уже должна быть подготовлена в Azure. Необходимо включить непрерывное резервное копирование в учетной записи в качестве необходимых компонентов.

• По отдельности можно зеркально отображать каждую базу данных. Вы можете выбрать базу данных для зеркального отображения.
• Вы можете зеркально зеркально отображать одну базу данных несколько раз в одной рабочей области. Рекомендуется повторно использовать одну копию базы данных в озерах, хранилищах или других зеркальных базах данных. Вам не нужно настраивать несколько зеркал в одной базе данных.
• Вы также можете зеркально зеркально отображать одну базу данных в разных рабочих областях Или клиентах Fabric.
• Изменения контейнеров Azure Cosmos DB, например добавление новых контейнеров и удаление существующих, легко реплицируются в Fabric. Вы можете начать зеркальное отображение пустой базы данных без контейнеров, например, и зеркальное отображение легко выбирает контейнеры, добавленные в последующий момент времени.

Поддержка вложенных данных

Вложенные данные отображаются как строка JSON в таблицах конечных точек аналитики SQL. Вы можете использовать OPENJSONзапросы CROSS APPLYOUTER APPLY и представления T-SQL для выборочного расширения этих данных. Если вы используете Power Query, вы также можете применить функцию ToJson для расширения этих данных.

Обработка изменений схемы

Зеркальное отображение автоматически реплицирует свойства в элементах Azure Cosmos DB с изменениями схемы. Все новые свойства, обнаруженные в элементе, отображаются как новые столбцы и отсутствующие свойства, если таковые имеются, представлены как null в Fabric.

При переименовании свойства в элементе таблицы Fabric сохраняют старые и новые столбцы. Старый столбец будет отображать значение NULL, а новый будет отображать последнее значение для всех элементов, которые реплицируются после операции переименования.

При изменении типа данных свойства в элементах Azure Cosmos DB изменения поддерживаются для совместимых типов данных, которые можно преобразовать. Если типы данных несовместимы для преобразования в Delta, они представлены в виде значений NULL.

Таблицы конечных точек аналитики SQL преобразуют типы данных Delta в типы данных T-SQL.

Повторяющиеся имена столбцов

Azure Cosmos DB поддерживает имена столбцов без учета регистра на основе стандарта JSON. Зеркальное отображение поддерживает эти повторяющиеся имена столбцов путем добавления _n в имя столбца, где n будет числовое значение.

Например, если элемент Azure Cosmos DB имеет и AddressName как addressName уникальные свойства, таблицы Fabric имеют соответствующие addressName столбцы и AddressName_1 столбцы. Дополнительные сведения см. в разделе об ограничениях репликации.

Безопасность

Подключения к базе данных-источнику основаны на ключах учетных записей для учетных записей Azure Cosmos DB. При смене или повторном создании ключей необходимо обновить подключения, чтобы обеспечить работу репликации. Дополнительные сведения см. в разделе "Подключения".

Ключи учетной записи не отображаются напрямую другим пользователям Fabric после настройки подключения. Вы можете ограничить доступ к подключениям, созданным в Fabric. Запись не разрешена в базу данных Azure Cosmos DB из обозревателя данных или конечной точки аналитики в зеркальной базе данных.

Зеркальное отображение в настоящее время не поддерживает проверку подлинности с помощью ключей учетных записей только для чтения, единого входа (SSO) с идентификаторами Microsoft Entra и управления доступом на основе ролей или управляемых удостоверений.

После репликации данных в Fabric OneLake необходимо защитить доступ к этим данным.

Функции защиты данных

Детализированную безопасность можно настроить в зеркальной базе данных в Microsoft Fabric. Дополнительные сведения см . в подробных разрешениях в Microsoft Fabric.

Фильтры столбцов и фильтры строк на основе предиката можно защитить для таблиц для ролей и пользователей в Microsoft Fabric:

• Безопасность на уровне строк в хранилище данных Fabric
• Безопасность на уровне столбцов в хранилище данных Fabric

Вы также можете маскирование конфиденциальных данных от пользователей, не являющихся администраторами, с помощью динамического маскирования данных:

• Динамическое маскирование данных в хранилище данных Fabric

Безопасность сети

В настоящее время зеркальное отображение не поддерживает частные конечные точки или управляемые клиентом ключи (CMK) в OneLake. Зеркальное отображение не поддерживается для учетных записей Azure Cosmos DB с конфигурациями безопасности сети, менее миссивными, чем все сети, использование конечных точек служб, использование частных конечных точек, использование IP-адресов или использование других параметров, которые могут ограничить доступ к учетной записи общедоступной сети. Учетные записи Azure Cosmos DB должны быть открыты для всех сетей для работы с зеркальным отображением.

Задержка аварийного восстановления и репликации

В Fabric можно развернуть содержимое в центрах обработки данных в регионах, отличных от домашнего региона клиента Fabric. Дополнительные сведения см . в разделе поддержки с несколькими регионами.

Для учетной записи Azure Cosmos DB с основным регионом записи и несколькими регионами чтения зеркальное отображение выбирает регион чтения Azure Cosmos DB, ближайший к региону, в котором настроена емкость Fabric. Этот выбор помогает обеспечить репликацию с низкой задержкой для зеркального отображения.

При переключении учетной записи Azure Cosmos DB в регион восстановления зеркальное отображение автоматически выбирает ближайший регион Azure Cosmos DB еще раз.

Данные Cosmos DB, реплицированные в OneLake, необходимо настроить для обработки сбоев на уровне региона. Дополнительные сведения см. в статье об аварийном восстановлении в OneLake.

Изучение данных с зеркальным отображением

Вы можете напрямую просматривать и получать доступ к зеркальным данным в OneLake. Вы также можете легко получить доступ к зеркальным данным без дальнейшего перемещения данных.

Узнайте больше о том, как получить доступ к OneLake с помощью API-интерфейсов ADLS 2-го поколения или пакета SDK, проводника OneLake и обозревателя служба хранилища Azure.

Вы можете подключиться к конечной точке аналитики SQL из таких средств, как SQL Server Management Studio (SSMS) или с помощью драйверов, таких как Microsoft Open Database Connectivity (ODBC) и Java Database Connectivity (JDBC). Дополнительные сведения см. в статье о подключении к конечной точке аналитики SQL.

Вы также можете получить доступ к зеркальным данным с такими службами, как:

• Службы Azure, такие как Azure Databricks, Azure HDInsight или Azure Synapse Analytics
• Fabric Lakehouse с помощью сочетаний клавиш для проектирования данных и сценариев обработки и анализа данных
• Другие зеркальные базы данных или хранилища в рабочей области Fabric

Вы также можете создавать решения по архитектуре медальона, очищать и преобразовывать данные, которые создаются в зеркальной базе данных в виде бронзового слоя. Дополнительные сведения см. в статье о поддержке архитектуры медальонов в Fabric.

Цены

В настоящее время нет затрат на функцию зеркального отображения или хранение зеркальных данных в Fabric во время общедоступной предварительной версии. Использование вычислений для запроса данных через SQL, Power BI или Spark по-прежнему взимается на основе емкости Fabric. Дополнительные сведения см. в разделе часто задаваемые вопросы: цены.

Если вы используете обозреватель данных в зеркальном отображении Fabric, вы начисляете типичные затраты на основе использования единицы запросов (ЕЗ) для изучения контейнеров и запроса элементов в исходной базе данных Azure Cosmos DB. Функция непрерывного резервного копирования Azure Cosmos DB является обязательным условием для зеркального отображения: стандартные расходы на непрерывную резервную копию применяются. При непрерывном выставлении счетов за резервное копирование не взимается дополнительная плата. Дополнительные сведения см. в разделе о ценах на Azure Cosmos DB.

Следующий шаг

Связанный контент

• Ограничения в зеркальных базах данных Microsoft Fabric из Azure Cosmos DB (предварительная версия)
• Часто задаваемые вопросы: зеркальные базы данных Microsoft Fabric из Azure Cosmos DB