Использование аналитики больших данных с Azure Data Explorer

Azure Data Explorer
Центры событий Azure
Центр Интернета вещей Azure
Хранилище Azure
Azure Synapse Analytics

Идеи решения

В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.

Эта идея решения демонстрирует аналитику больших данных по большим объемам высокоскоростных данных из различных источников.

Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема, показывающая аналитику больших данных с помощью Azure Data Explorer.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Необработанные структурированные, полуструктурированные и неструктурированные (свободные текстовые) данные, такие как любой тип журналов, бизнес-событий и действий пользователей, можно использовать в Azure Data Explorer из различных источников.
  2. Прием данных в Azure Data Explorer с низкой задержкой и высокой пропускной способностью с помощью соединителей для Фабрика данных Azure, Центры событий Azure, Центр Интернета вещей Azure, Kafka и т. д. Кроме того, прием данных через служба хранилища Azure (BLOB-объект или ADLS 2-го поколения), который использует Сетка событий Azure и активирует конвейер приема в Azure Data Explorer. Вы также можете непрерывно экспортировать данные в служба хранилища Azure в сжатом формате секционированного parquet и легко запрашивать эти данные, как описано в обзоре экспорта непрерывных данных.
  3. Экспорт предварительно агрегированных данных из Azure Data Explorer в служба хранилища Azure, а затем прием данных в Synapse Analytics для создания моделей данных и отчетов.
  4. Используйте собственные возможности Azure Data Explorer для обработки, агрегирования и анализа данных. Чтобы получить аналитические сведения на молнии, создайте панели мониторинга аналитики в режиме реального времени с помощью панелей мониторинга Azure Data Explorer, Power BI, Grafana или других средств. Используйте Azure Synapse Analytics для создания современного хранилища данных и объединения их с данными Azure Data Explorer для создания отчетов бизнес-аналитики для курированных и агрегированных моделей данных.
  5. Azure Data Explorer предоставляет собственные возможности расширенной аналитики для анализа временных рядов, распознавания шаблонов, обнаружения аномалий и прогнозирования и машинного обучения. Azure Data Explorer также хорошо интегрирован с службами машинного обучения, такими как Databricks и Машинное обучение Azure. Такая интеграция позволяет создавать модели с помощью других средств и служб, а также экспортировать модели машинного обучения в Azure Data Explorer для оценки данных.

Компоненты

  • Центры событий Azure: полностью управляемая служба приема данных в режиме реального времени, которая является простой, доверенной и масштабируемой.
  • Центр Интернета вещей Azure: управляемая служба для включения двунаправленного взаимодействия между устройствами Интернета вещей и Azure.
  • Kafka в HDInsight: простая, эффективная, корпоративная служба для аналитики открытый код с помощью Apache Kafka.
  • Azure Data Explorer: быстрая, полностью управляемая и высокомасштабируемая служба аналитики данных для анализа больших объемов потоковой передачи данных из приложений, веб-сайтов, устройств Интернета вещей и т. д.
  • Панели мониторинга Azure Data Explorer: собственный экспорт запросов Kusto, которые были изучены в пользовательском веб-интерфейсе, в оптимизированные панели мониторинга.
  • Azure Synapse Analytics: служба аналитики, которая объединяет хранилище корпоративных данных и аналитику больших данных.

Подробности сценария

Потенциальные варианты использования

Это решение иллюстрирует, как Azure Data Explorer и Azure Synapse Analytics дополняют друг друга для аналитики практически в реальном времени и современных вариантов использования хранилища данных.

Это решение уже используется клиентами Майкрософт. Например, сингапурская компания ездить на граде, Grab, реализовала аналитику в режиме реального времени за огромный объем данных, собранных из своих услуг по доставке такси и продуктов питания, а также партнерских приложений торговцев. Команда из Grab представила свое решение в MS Ignite в этом видео (20:30 вперед). Используя этот шаблон, Захват обрабатывал более триллиона событий в день.

Это решение оптимизировано для розничной отрасли.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Автор субъекта:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги