Что такое зеркальное отображение в Fabric?
Как решение для репликации данных зеркальное отображение в Fabric — это решение с низкой стоимостью и низкой задержкой для объединения данных из различных систем в одну платформу аналитики. Вы можете непрерывно реплицировать существующий объект данных непосредственно в OneLake Fabric, включая данные из База данных SQL Azure, Azure Cosmos DB, Azure Databricks и Snowflake.
Используя самые актуальные данные в запрашиваемом формате в OneLake, теперь можно использовать все различные службы в Fabric, такие как выполнение аналитики с помощью Spark, выполнение записных книжек, проектирование данных, визуализация с помощью отчетов Power BI и многое другое.
Зеркальное отображение в Fabric позволяет пользователям использовать высоко интегрированный, комплексный и простой продукт, предназначенный для упрощения потребностей аналитики. Создано для открытости и совместной работы между корпорацией Майкрософт и технологическими решениями, которые могут читать формат таблицы Delta Lake с открытым исходным кодом, зеркальное отображение — это решение с низкой и низкой задержкой, которое позволяет создавать реплику данных в OneLake, которая может использоваться для всех аналитических потребностей.
Затем таблицы Delta можно использовать во всем мире Fabric, позволяя пользователям ускорить их переход в Fabric.
Зачем использовать зеркальное отображение в Fabric?
Сегодня многие организации имеют критически важные операционные или аналитические данные, сидящие в силосах.
Для доступа и работы с данными сегодня требуются сложные конвейеры ETL (Извлечение нагрузки преобразования), бизнес-процессы и силосы принятия решений, создание:
- Ограниченный и ограниченный доступ к важным, постоянно изменяющимся данным
- Трение между людьми, процессами и технологиями
- Длительное время ожидания для создания конвейеров данных и процессов для критически важных данных
- Нет свободы использовать инструменты, необходимые для анализа и совместного использования аналитических сведений.
- Отсутствие надлежащей основы для людей для совместного использования и совместной работы с данными
- Нет общих форматов открытых данных для всех аналитических сценариев : BI, AI, Integration, Engineering и даже Apps
Зеркальное отображение в Fabric обеспечивает простой опыт для ускорения времени и ценности для аналитических сведений и решений, а также для разбиения данных между технологическими решениями:
Репликация данных практически в режиме реального времени в озеро данных SaaS с встроенной аналитикой для бизнес-аналитики и искусственного интеллекта
Платформа Microsoft Fabric основана на программном обеспечении как услуга (SaaS), которая занимает простоту и интеграцию с совершенно новым уровнем. Дополнительные сведения о Microsoft Fabric см. в статье "Что такое Microsoft Fabric?"
Зеркальное отображение создает три элемента в рабочей области Fabric:
- Зеркальное отображение управляет репликацией данных в OneLake и преобразованием в Parquet в формате, готовом к аналитике. Это позволяет нижестоящим сценариям, таким как проектирование данных, обработка и т. д.
- Конечная точка аналитики SQL
- Семантическая модель по умолчанию
Помимо Редактор запросов Microsoft Fabric SQL существует широкая экосистема инструментов, включая SQL Server Management Studio, Azure Data Studio и даже GitHubCopilot.
Общий доступ позволяет упростить управление доступом и управление ими, чтобы убедиться, что вы можете управлять доступом к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.
В настоящее время доступны следующие внешние базы данных:
Как работает репликация зеркального отображения практически в реальном времени?
Зеркальное отображение включается путем создания безопасного подключения к рабочему источнику данных. Вы выбираете, следует ли реплицировать всю базу данных или отдельные таблицы, а зеркальное отображение автоматически сохраняет данные в синхронизации. После настройки данные будут непрерывно реплицироваться в OneLake для потребления аналитики.
Ниже приведены основные основы зеркального отображения.
Включение зеркального отображения в Fabric является простым и интуитивно понятным без необходимости создавать сложные конвейеры ETL, выделять другие вычислительные ресурсы и управлять перемещением данных.
Зеркальное отображение в Fabric — это полностью управляемая служба, поэтому вам не нужно беспокоиться о размещении, обслуживании или управлении репликацией зеркального подключения.
Совместное использование
Общий доступ позволяет упростить управление доступом и управление ими, в то время как элементы управления безопасностью на уровне строк (RLS) и безопасностью уровня объектов (OLS), а также обеспечивают контроль доступа к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.
Предоставляя общий доступ, пользователи предоставляют другим пользователям или группе пользователей доступ к зеркальной базе данных без предоставления доступа к рабочей области и остальным его элементам. Если кто-то использует зеркальную базу данных, они также предоставляют доступ к конечной точке аналитики SQL и связанной семантической модели по умолчанию.
Откройте диалоговое окно "Общий доступ" с помощью кнопки "Общий доступ" рядом с именем зеркальной базы данных в представлении рабочей области. Общие зеркальные базы данных можно найти в Центре данных OneLake или разделе "Общий доступ ко мне " в Microsoft Fabric.
Дополнительные сведения см. в статье "Общий доступ к хранилищу" и управление разрешениями.
Межбазовые запросы
С помощью данных из зеркальной базы данных, хранящихся в OneLake, можно создавать запросы между базами данных, присоединять данные из зеркальных баз данных, хранилищ и конечных точек аналитики SQL в одном запросе T-SQL. Дополнительные сведения см. в статье "Запись запроса между базами данных".
Например, можно ссылаться на таблицу из зеркальных баз данных и хранилищ с помощью трехкомпонентного именования. В следующем примере используйте трехкомпонентное имя для ссылки ContosoSalesTable на хранилище ContosoWarehouse. Из других баз данных или хранилищ первая часть стандартного соглашения об именовании sql с тремя компонентами — это имя зеркальной базы данных.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Инжиниринг данных с зеркальными данными базы данных
Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы обеспечить доступность данных, хорошо организованную и высококачественную. Из Инжиниринг данных Fabric можно:
- Создание и управление данными в качестве Spark с помощью lakehouse
- Проектирование конвейеров для копирования данных в lakehouse
- Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark
- Использование записных книжек для записи кода для приема данных, подготовки и преобразования
Обработка и анализ данных с зеркальными данными базы данных
Microsoft Fabric предлагает Synapse Обработка и анализ данных, чтобы пользователи могли выполнять комплексные рабочие процессы обработки и анализа данных в целях обогащения данных и бизнес-аналитики. Вы можете выполнить широкий спектр действий в рамках всего процесса обработки и анализа данных, вплоть до изучения, подготовки и очистки данных до экспериментирования, моделирования, оценки моделей и обслуживания прогнозных аналитических сведений до отчетов бизнес-аналитики.
Пользователи Microsoft Fabric могут получать доступ к рабочим нагрузкам Обработка и анализ данных. Оттуда они могут обнаруживать и получать доступ к различным соответствующим ресурсам. Например, они могут создавать эксперименты машинного обучения, модели и записные книжки. Они также могут импортировать существующие записные книжки на домашней странице Обработка и анализ данных.