Выходные данные Azure Data Обозреватель из Azure Stream Analytics
Вы можете использовать azure Data Обозреватель в качестве выходных данных для анализа больших объемов различных данных из любого источника данных, таких как веб-сайты, приложения и устройства Интернета вещей (IoT). Azure Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии. Это помогает обрабатывать множество потоков данных, которые выдает современное программное обеспечение, чтобы можно было собирать, хранить и анализировать данные. Эти данные используются для диагностики, мониторинга, формирования отчетов, машинного обучения и дополнительного анализа.
Azure Data Обозреватель поддерживает несколько методов приема, включая соединители для общих служб, таких как Центры событий Azure, программное прием через пакеты SDK, такие как .NET и Python, и прямой доступ к обработчику для целей изучения. Обозреватель данных Azure интегрируется со службами аналитики и моделирования для дополнительного анализа и визуализации данных.
Дополнительные сведения о Обозреватель данных Azure см. в статье "Что такое azure Data Обозреватель?".
Дополнительные сведения о создании кластера azure Data Обозреватель с помощью портал Azure см. в кратком руководстве по созданию кластера и базы данных azure Data Обозреватель.
Примечание.
Обозреватель данных Azure из Azure Stream Analytics поддерживает выходные данные в Azure Synapse Data Обозреватель. Чтобы записать в кластеры в Azure Synapse Data Обозреватель, укажите URL-адрес кластера в области конфигурации для выходных данных Azure Обозреватель в задании Azure Stream Analytics.
Конфигурация выходных данных
В следующей таблице перечислены имена свойств и их описания для создания выходных данных Azure Data Обозреватель.
| Имя свойства | Description |
|---|---|
| Псевдоним выходных данных | Понятное имя, используемое в запросах для направления выходных данных запроса в эту базу данных. |
| Подписка | Подписка Azure, которую вы хотите использовать для кластера. |
| Кластер | Уникальное имя, определяющее кластер. Доменное имя <region.kusto.windows.net> добавляется к указанному имени кластера. Имя должно содержать только строчные буквы и цифры. Он должен содержать от 4 до 22 символов. |
| База данных | Имя базы данных, в которой вы отправляете выходные данные. Имя базы данных должно быть уникальным в пределах кластера. |
| Проверка подлинности | Управляемое удостоверение из идентификатора Microsoft Entra, которое позволяет кластеру легко получить доступ к другим защищенным ресурсам Microsoft Entra, таким как Azure Key Vault. Удостоверения управляются платформой Azure, и для них не нужно подготавливать или изменять секреты. Конфигурация управляемого удостоверения в настоящее время поддерживается только для включения ключей, управляемых клиентом, для вашего кластера. |
| Таблицу | Имя таблицы, в которую записываются выходные данные. В имени таблицы учитывается регистр. Схема этой таблицы должна точно соответствовать количеству полей и их типов, формируемых выходными данными задания. |
Секционирование
Секционирование должно быть включено и основано на предложении PARTITION BY в запросе. Если включен параметр Inherit Partitioning (Наследование секционирования), используются параметры секционирования входных данных, настроенные для полностью параллелизуемых запросов.
Когда следует использовать Azure Stream Analytics и Azure Data Обозреватель
Характеристики Azure Stream Analytics:
- Подсистема потоковой обработки: непрерывная потоковая потоковая аналитика в режиме реального времени
- на основе заданий;
- Окно обратного просмотра от 1 миллисекунда до 7 дней для темпоральной аналитики в памяти и потоковой обработки
- Прием из Центры событий Azure и Центр Интернета вещей Azure с задержкой подсекунда
Характеристики Обозреватель данных Azure:
- Аналитический механизм: по запросу, интерактивная аналитика в режиме реального времени
- Потоковая передача данных в постоянное хранилище данных, а также возможности запроса
- Прием данных из Центров событий, Центр Интернета вещей, Хранилище BLOB-объектов Azure, Azure Data Lake служба хранилища, Kafka, Logstash, Spark и Фабрика данных Azure
- Задержка от 10 секунд до 5 минут для рабочих нагрузок с высокой пропускной способностью
- Простое преобразование данных с помощью политики обновления во время приема
Вы можете значительно увеличить область аналитики в режиме реального времени с помощью Azure Stream Analytics и Azure Data Обозреватель вместе. Ниже приведены некоторые сценарии.
- Stream Analytics определяет аномалии в режиме реального времени, а Обозреватель данных Azure помогает определить, как и почему они произошли с помощью интерактивного изучения.
- Stream Analytics десериализирует входящие потоки данных для использования в Azure Data Обозреватель (например, формат приема Protobuf с помощью пользовательского десериализатора или пользовательских двоичных форматов).
- Stream Analytics может агрегировать, фильтровать, дополнять и преобразовывать входящие потоки данных для использования в Azure Data Обозреватель.
Другие сценарии и ограничения
- Имя столбцов и типов данных должно соответствовать запросу SQL Azure Stream Analytics и таблице Обозреватель данных Azure. Сравнение учитывает регистр.
- Столбцы, которые существуют в кластерах Обозреватель данных Azure, но отсутствуют в Azure Stream Analytics, игнорируются. Столбцы, отсутствующие в Azure Stream Analytics, вызывают ошибку.
- Порядок столбцов в запросе Azure Stream Analytics не имеет значения. Схема таблицы Обозреватель данных Azure определяет порядок.
- Azure Data Обозреватель имеет политику агрегирования (пакетной обработки) для приема данных, которая предназначена для оптимизации процесса приема данных. Политика настроена на 5 минут, 1000 элементов или 1 ГБ данных по умолчанию, поэтому может возникнуть задержка. Чтобы уменьшить задержку, включите прием потоковой передачи в кластере, а затем таблицу или базу данных, выполнив действия, описанные в разделе "Настройка приема потоковой передачи в кластере данных Azure Обозреватель". Сведения о параметрах агрегирования см. в политике IngestionBatching.