Что такое Azure Data Explorer?
Azure Data Explorer — это полностью управляемая высокопроизводительная платформа для анализа больших данных, которая позволяет легко анализировать большие объемы данных почти в реальном времени. Набор средств Azure Data Explorer предоставляет собой комплексное решение для приема данных, отправки запросов, визуализации и управления.
Анализируя структурированные, частично структурированные и неструктурированные данные во временных рядах и используя машинное обучение, Azure Data Explorer упрощает извлечение ключевых аналитических сведений, выявление закономерностей и тенденций, а также создание моделей прогнозирования. Azure Data Explorer использует традиционную реляционную модель, упорядочивая данные в таблицы со строго типизированными схемами. Таблицы хранятся в базах данных, и кластер может управлять несколькими базами данных. Azure Data Explorer — это масштабируемая защищенная надежная служба, готовая к использованию на предприятиях. Она подходит для анализа журналов, временных рядов, Интернета вещей и исследовательской аналитики общего назначения.
Возможности Azure Data Explorer расширяются другими службами, основанными на языке запросов: язык запросов Kusto (KQL). К этим службам относятся журналы Azure Monitor, Application Insights, Аналитика временных рядов и Microsoft Defender для конечной точки.
Когда следует использовать Azure Data Explorer?
Чтобы понять, подходит ли Azure Data Explorer для вашего варианта использования, используйте следующие вопросы:
- Интерактивная аналитика. Входят ли в состав решения возможности интерактивного анализа, например агрегирование, корреляция или обнаружение аномалий?
- Разнообразие, скорость, объем. Насколько разнообразна ваша схема? Требуется ли прием больших объемов данных почти в реальном времени?
- Упорядочение данных. Нужно ли анализировать необработанные данные? Это может быть, например, не полностью курированная схема типа "звезда".
- Параллелизм запросов. Будут ли использовать Azure Data Explorer несколько пользователей или процессов?
- Сборка и покупка. Планируете ли вы настраивать платформу данных?
Azure Data Explorer идеально подходит для обеспечения интерактивной аналитики за счет возможности работать с различными необработанными данными с высокой скоростью. Чтобы понять, подходит ли вам Azure Data Explorer, используйте следующее дерево принятия решений:
В чем уникальность обозревателя данных Azure?
Скорость получения данных, их разнообразие и объем
С помощью Azure Data Explorer вы можете принимать терабайты данных за несколько минут с помощью приема в очереди или потоковой передачи. Вы можете запрашивать петабайты данных, получая результаты в течение кратчайшего времени — от миллисекунды до секунды. Azure Data Explorer обеспечивает высокую скорость (миллионы событий в секунду), низкую задержку (несколько секунд) и линейный прием необработанных данных. Прием данных в различных форматах и структурах из различных конвейеров и источников.
Понятный язык запросов
Вы можете запрашивать данные в Azure Data Explorer с помощью языка запросов Kusto (KQL) с открытым кодом, изначально созданного нашими разработчиками. Этот язык прост в понимании и освоении, а также является высокопродуктивным. Можно использовать простые операторы и расширенную аналитику. Azure Data Explorer также поддерживает T-SQL.
Расширенная аналитика
Используйте Azure Data Explorer для анализа временных рядов с большим набором функций, включая: сложение и вычитание временных рядов, фильтрацию, регрессию, определение сезонности, геопространственный анализ, обнаружение аномалий, сканирование и прогнозирование. Функции временных рядов оптимизированы для обработки тысяч временных рядов за считаные секунды. Обнаружение шаблонов упрощено за счет подключаемых модулей кластера, которые позволяют диагностировать аномалии и выполнять анализ первопричин. Вы также можете расширить возможности Azure Data Explorer, внедрив код Python в запросы KQL.
Простой в использовании мастер
Мастер приема данных упрощает этот процесс, делая его быстрым и интуитивно понятным. Интуитивно понятный интерактивный пользовательский веб-интерфейс Azure Data Explorer помогает быстро начать прием данных, создание таблиц баз данных и сопоставление структур. Он обеспечивает однократный или непрерывный прием данных из различных источников и в различных форматах. Сопоставления таблиц и схемы предлагаются автоматически, и их легко изменить.
Универсальная визуализация данных
Визуализация данных позволяет получить важные аналитические сведения. Azure Data Explorer предлагает встроенную визуализацию и панели мониторинга с поддержкой различных диаграмм и визуализаций. В этой службе есть встроенная интеграция с Power BI, встроенные соединители для Grafana, Kibana и Databricks, поддержка ODBC для Tableau, Sisense, Qlik и другие возможности.
Автоматические прием, обработка и экспорт данных
Azure Data Explorer поддерживает функции, хранимые на стороне сервера, непрерывный прием и непрерывный экспорт в хранилище Azure Data Lake. Служба также поддерживает преобразования сопоставления времени приема данных на стороне сервера, политики обновления и предварительно вычисленные запланированные статистические выражения с материализованными представлениями.
Схема работы с обозревателем данных Azure
На схеме ниже показаны различные аспекты работы с обозревателем данных Azure.
В целом взаимодействие с Azure Data Explorer представляет собой следующий рабочий процесс:
Примечание
Доступ к ресурсам Azure Data Explorer можно получить в пользовательском веб-интерфейсе Azure Data Explorer или с помощью пакетов SDK.
Создание базы данных. Создайте кластер, а затем создайте в нем одну или несколько баз данных. Каждый кластер Azure Data Explorer может содержать до 10 000 баз данных, а каждая база данных — до 10 000 таблиц. Данные в каждой таблице хранятся в сегментах данных, также называемых "экстентами". Все данные автоматически индексируются и секционируются на основе времени приема. Это означает, что вы можете хранить множество разнообразных данных и ввиду способа их хранения получаете быстрый доступ к запросам. Краткое руководство. Создание кластера и базы данных обозревателя данных Azure
Прием данных. Загрузите данные в таблицы базы данных, чтобы к ним можно было выполнять запросы. Azure Data Explorer поддерживает несколько методов приема, каждый из которых имеет собственные целевые сценарии. К таким методам относятся средства приема, соединители и подключаемые модули для различных служб, управляемые конвейеры, программный прием с помощью пакетов SDK и прямой доступ к приему. Начните работу с мастером приема данных.
База данных запросов. В Azure Data Explorer используется язык запросов Kusto — выразительный, интуитивно понятный и высокопроизводительный язык запросов. Он обеспечивает плавный переход от простых однострочных скриптов к сложным сценариям обработки данных, а также поддерживает выполнение запросов к структурированным, частично структурированным и неструктурированным (текстовым) данным. В этом языке запросов есть множество операторов и функций (агрегирование, фильтрация, функции временных рядов, геопространственные функции, соединения, объединения и т. д.). KQL поддерживает запросы между кластерами и между базами данных, а также обладает широкими возможностями с точки зрения синтаксического анализа (JSON, XML и т. д.). Кроме того, этот язык изначально поддерживает расширенную аналитику.
Используйте веб-приложение для запуска, просмотра и совместного использования запросов и результатов. Вы также можете отправлять запросы программным способом (с помощью пакета SDK) или отправлять их в конечную точку REST API. Если вы знакомы с SQL, начните работу при помощи памятки по преобразованию из SQL в Kusto. Краткое руководство. Запрос данных в пользовательском веб-интерфейсе Azure Data Explorer
Визуализация результатов. Используйте различные варианты визуального отображения данных на собственных панелях мониторинга Azure Data Explorer. Результаты также можно отображать с помощью соединителей для некоторых наиболее популярных служб визуализации, таких как Power BI и Grafana. Azure Data Explorer также поддерживает соединители ODBC и JDBC для таких средств, как Tableau и Sisense.
Отправка отзыва
Мы будем рады получить ваши отзывы об Azure Data Explorer и языке запросов Kusto на следующих сайтах:
- Получение справки
- Внести предложения по продукту на сайте User Voice