Аналитика и бизнес-аналитика (BI) в данных Azure Cosmos DB

  • Статья

Azure Cosmos DB предлагает различные варианты для включения крупномасштабной аналитики и отчетов бизнес-аналитики по операционным данным.

Чтобы получить полезные аналитические сведения о данных Azure Cosmos DB, может потребоваться выполнить запрос между несколькими секциями, коллекциями или базами данных. В некоторых случаях эти данные можно объединить с другими источниками данных в организации, например База данных SQL Azure, Azure Data Lake Storage 2-го поколения и т. д. Вы также можете запрашивать агрегатные функции, такие как сумма, подсчет и т. д. Такие запросы нуждаются в высокой вычислительной мощности, которая, скорее всего, потребляет больше единиц запросов (ЕЗ), и в результате эти запросы могут повлиять на производительность критически важных рабочих нагрузок.

Чтобы изолировать транзакционные рабочие нагрузки от влияния на производительность сложных аналитических запросов, данные базы данных извлекаются ночью в центральное расположение с помощью сложных конвейеров Extract-Transform-Load (ETL). Такая аналитика на основе ETL является сложной, дорогостоящей с задержкой аналитических сведений о бизнес-данных.

Azure Cosmos DB решает эти проблемы, предоставляя ноль ETL, экономичные предложения аналитики.

Нулевая аналитика ETL в режиме реального времени в Azure Cosmos DB

Azure Cosmos DB предлагает нулю ETL, практически в режиме реального времени аналитику данных, не влияя на производительность транзакционных рабочих нагрузок или единиц запросов (ЕЗ). Эти предложения устраняют необходимость сложных конвейеров ETL, что делает данные Azure Cosmos DB легко доступными для подсистем аналитики. С уменьшением задержки в аналитике вы можете обеспечить расширенный опыт клиентов и быстрее реагировать на изменения в рыночных условиях или бизнес-среде. Ниже приведены некоторые примеры сценариев, которые можно реализовать с помощью кратких аналитических сведений о данных.

Вы можете включить аналитику нулевого ETL и отчеты бизнес-аналитики в Azure Cosmos DB с помощью следующих параметров:

  • Зеркальное отображение данных в Microsoft Fabric
  • Включение Azure Synapse Link для доступа к данным из Azure Synapse Analytics

Вариант 1. Зеркальное отображение данных Azure Cosmos DB в Microsoft Fabric

Зеркальное отображение позволяет легко перенести данные базы данных Azure Cosmos DB в Microsoft Fabric. Благодаря нулю ETL вы можете быстро и полнофункциональные бизнес-аналитические сведения о данных Azure Cosmos DB с помощью встроенных аналитических возможностей Fabric, бизнес-аналитики и искусственного интеллекта.

Рабочие данные Cosmos DB постепенно реплицируются в Fabric OneLake практически в режиме реального времени. Данные в OneLake хранятся в формате Delta Parquet с открытым исходным кодом и предоставляются всем аналитическим модулям в Fabric. С открытым доступом его можно использовать с различными службами Azure, такими как Azure Databricks, Azure HDInsight и многое другое. OneLake также помогает объединить ресурсы данных для аналитических потребностей. Зеркальные данные можно объединить с любыми другими данными в OneLake, например Lakehouses, Warehouses или сочетания клавиш. Вы также можете присоединить данные Azure Cosmos DB к другим источникам зеркальной базы данных, таким как База данных SQL Azure, Snowflake. Вы можете запрашивать коллекции или базы данных Azure Cosmos DB, зеркальные в OneLake.

При зеркальном отображении в Fabric вам не нужно объединять разные службы от нескольких поставщиков. Вместо этого вы можете наслаждаться высоко интегрированным, комплексным и простым продуктом, который предназначен для упрощения потребностей аналитики. С помощью T-SQL можно выполнять сложные агрегатные запросы и Spark для изучения данных. Вы можете легко получить доступ к данным в записных книжках, использовать обработку и анализ данных для создания моделей машинного обучения и создания отчетов Power BI с помощью Direct Lake на основе полной интеграции Copilot.

Схема зеркального отображения Azure Cosmos DB в Microsoft Fabric.

Если вы ищете аналитику операционных данных в Azure Cosmos DB, зеркальное отображение предоставляет:

  • Ноль ETL, экономичная аналитика практически в реальном времени в данных Azure Cosmos DB, не влияя на потребление единицы запросов (ЕЗ)
  • Простота переноса данных в различные источники в Fabric OneLake.
  • Улучшена производительность запросов подсистемы SQL, обрабатывающей разностные таблицы, с оптимизацией V-order
  • Улучшено время холодного запуска для подсистемы Spark с глубокой интеграцией с машинным обучением и записными книжками
  • Интеграция с Power BI с Direct Lake и Copilot
  • Расширенная интеграция приложений для доступа к запросам и представлениям с помощью GraphQL
  • Открытие доступа к другим службам, таким как Azure Databricks и из нее

Чтобы приступить к работе с зеркальным отображением, ознакомьтесь с руководством по началу работы с зеркальным отображением.

Azure Synapse Link для Azure Cosmos DB создает тесную простую интеграцию между Azure Cosmos DB и Azure Synapse Analytics, что позволяет нулю ETL практически в реальном времени анализировать операционные данные. Данные транзакций легко синхронизируются с аналитическим хранилищем, в котором данные хранятся в формате columnar, оптимизированном для аналитики.

Azure Synapse Analytics может получить доступ к этим данным в аналитическом хранилище без дальнейшего перемещения с помощью Azure Synapse Link. Бизнес-аналитики, инженеры по данным и специалисты по обработке и анализу данных теперь могут взаимозаменяемым образом использовать Synapse Spark или Synapse SQL для выполнения конвейеров бизнес-аналитики, аналитики и машинного обучения практически в реальном времени.

На следующем рисунке показана интеграция Azure Synapse Link с Azure Cosmos DB и Azure Synapse Analytics:

Схема Azure Cosmos DB Synapse Link.

Внимание

Зеркальное отображение в Microsoft Fabric теперь доступно в предварительной версии для API NoSql. Эта функция предоставляет все возможности Azure Synapse Link с более высокой аналитической производительностью, возможность объединить ресурсы данных с Fabric OneLake и открыть доступ к данным в OneLake с форматом Delta Parquet. Если вы рассматриваете Azure Synapse Link, рекомендуется попробовать зеркальное отображение для оценки общего соответствия вашей организации. Чтобы приступить к работе с зеркальным отображением, щелкните здесь.

Чтобы приступить к работе с Azure Synapse Link, посетите раздел "Начало работы с Azure Synapse Link".

Аналитика в режиме реального времени и бизнес-аналитика в Azure Cosmos DB: другие варианты

Существует несколько других вариантов для включения аналитики в режиме реального времени в данных Azure Cosmos DB:

Хотя эти параметры включены для полноты и хорошо работают с запросами отдельных секций в режиме реального времени, эти методы имеют следующие проблемы для аналитических запросов:

  • Влияние производительности на рабочую нагрузку:

    Аналитические запросы, как правило, являются сложными и потребляют значительный объем вычислительных ресурсов. Если эти запросы выполняются непосредственно с данными Azure Cosmos DB, вы можете столкнуться с снижением производительности транзакционных запросов.

  • Влияние на затраты:

    Если аналитические запросы выполняются непосредственно в базе данных или коллекциях, они увеличивают потребность в единицах запросов, выделенных, так как аналитические запросы, как правило, будут сложными и нуждаются в большей вычислительной мощности. Увеличение использования единиц запросов, скорее всего, приведет к значительному влиянию на затраты с течением времени, если вы запускаете агрегатные запросы.

Вместо этих параметров рекомендуется использовать зеркальное отображение в Microsoft Fabric или Azure Synapse Link, что обеспечивает нулевую аналитику ETL, не влияя на производительность транзакционной рабочей нагрузки или единицы запросов.

Связанный контент