Что такое проектирование данных в Microsoft Fabric?
Проектирование данных в Microsoft Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.
Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы обеспечить доступность данных, хорошо организованную и высококачественную. На домашней странице проектирования данных можно:
Создание данных и управление ими с помощью lakehouse
Проектирование конвейеров для копирования данных в lakehouse
Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark
Использование записных книжек для записи кода для приема данных, подготовки и преобразования
Lakehouse — это архитектуры данных, которые позволяют организациям хранить структурированные и неструктурированные данные в одном расположении, используя различные инструменты и платформы для обработки и анализа данных. Эти средства и платформы могут включать запросы и аналитику на основе SQL, а также машинное обучение и другие методы расширенной аналитики.
Определения заданий Spark представляют собой набор инструкций, определяющих выполнение задания в кластере Spark. Она содержит такие сведения, как источники входных и выходных данных, преобразования и параметры конфигурации для приложения Spark. Определение задания Spark позволяет отправлять пакетное или потоковое задание в кластер Spark, применять другую логику преобразования к данным, размещенным в lakehouse, вместе со многими другими вещами.
Записные книжки — это интерактивная среда вычислений, которая позволяет пользователям создавать и совместно использовать документы, содержащие динамический код, уравнения, визуализации и текст повествования. Они позволяют пользователям писать и выполнять код на различных языках программирования, включая Python, R и Scala. Записные книжки можно использовать для приема данных, подготовки, анализа и других задач, связанных с данными.
Конвейеры данных — это ряд шагов, которые могут собирать, обрабатывать и преобразовывать данные из необработанной формы в формат, который можно использовать для анализа и принятия решений. Они являются критически важным компонентом проектирования данных, так как они предоставляют способ перемещения данных из источника в его назначение в надежный, масштабируемый и эффективный способ.
Вы можете использовать Инжиниринг данных в Microsoft Fabric бесплатно при регистрации пробной версии Fabric. Вы также можете приобрести емкость Microsoft Fabric или зарезервированную емкость Fabric.
Начало работы с Инжиниринг данных:
- Дополнительные сведения о озерах см. в статье "Что такое lakehouse в Microsoft Fabric?
- Чтобы приступить к работе с lakehouse, см. статью "Создание озера" в Microsoft Fabric.
- Дополнительные сведения об определениях заданий Apache Spark см. в статье "Что такое определение задания Apache Spark?"
- Сведения о начале работы с определением задания Apache Spark см. в статье "Создание определения задания Apache Spark в Fabric".
- Дополнительные сведения о записных книжках см. в статье "Создание и выполнение записной книжки".
- Сведения о начале работы с действием копирования конвейера см. в статье "Копирование данных с помощью действия копирования".