Что такое HDInsight в AKS? (Предварительная версия)

HDInsight в AKS — это современная, надежная, безопасная и полностью управляемая платформа как услуга (PaaS), которая работает на Служба Azure Kubernetes (AKS). HDInsight в AKS позволяет развертывать популярные рабочие нагрузки Open-Source Analytics, такие как Apache Spark™, Apache Flink®️ и Trino без затрат на управление контейнерами и мониторинг.

Вы можете создавать комплексные приложения больших данных петабайтов, охватывающие потоковую передачу через Apache Flink, инженерию данных и машинное обучение с помощью Apache Spark и мощного обработчика запросов Trino.

Все эти возможности в сочетании с HDInsight на сильном фокусе разработчика AKS позволяют предприятиям и цифровым языкам с глубоким техническим опытом создавать и управлять приложениями, подходящими для своих потребностей. HDInsight в AKS позволяет разработчикам получать доступ ко всем богатым конфигурациям, предоставляемым программным обеспечением с открытым исходным кодом, и расширяемостью, чтобы легко включить другие предложения экосистемы. Это предложение позволяет разработчикам тестировать и настраивать свои приложения, чтобы извлечь оптимальную производительность при оптимальной стоимости.

HDInsight в AKS интегрируется со всей экосистемой Azure, сокращая циклы реализации и повышая время для реализации ценности.

Техническая архитектура

HDInsight в AKS представляет концепцию пулов кластеров и кластеров, что позволяет реализовать полное значение озера данных. Пулы кластеров позволяют использовать несколько вычислительных рабочих нагрузок в одном озере данных, тем самым удаляя затраты на управление сетями и планирование ресурсов.

• Пулы кластеров — это логическая группировка кластеров, которые помогают создавать надежную совместимость между несколькими типами кластеров и позволяют предприятиям иметь кластеры в одной виртуальной сети. Пулы кластеров обеспечивают быстрый и экономичный доступ ко всем типам кластеров, созданным по требованию и в масштабе. Один пул кластеров соответствует одному кластеру в инфраструктуре AKS.
• Кластеры — это отдельные вычислительные рабочие нагрузки , такие как Apache Spark, Apache Flink и Trino, которые можно быстро создавать в течение нескольких минут с предварительно настроенными конфигурациями.

Пул можно создать с одним кластером или сочетанием типов кластеров, которые основаны на необходимости и могут настроить следующие параметры:

• Хранилище
• Network
• Ведение журнала
• Наблюдение

На следующей схеме показана логическая техническая архитектура компонентов, установленных в пуле кластеров по умолчанию. Кластеры изолированы с помощью пространств имен в кластерах AKS.

Модернизация облачной вычислительной платформы

Последняя версия HDInsight управляется с помощью AKS, что позволяет платформе быть более надежным и эффективно обрабатывать кластеры. Подготовка кластеров в HDInsight в AKS выполняется быстро и надежно, что упрощает управление кластерами и выполняет обновление на месте. Благодаря широкому выбору SKU и гибким моделям подписок, модернизации озера данных с помощью открытого кода, облачной и масштабируемой инфраструктуры в HDInsight в AKS можно удовлетворить все ваши потребности в аналитике.

К ключевым функциям относятся:

• Быстрое создание и масштабирование кластера.
• Простота обслуживания и периодических обновлений системы безопасности.
• Устойчивость кластера на основе современных облачных AKS.
• Встроенная поддержка современной проверки подлинности с помощью OAuth и идентификатора Microsoft Entra.
• Глубокая интеграция со службами Azure — Фабрика данных Azure (ADF), Power BI, Azure Monitor.

Подключение к HDInsight

HDInsight в AKS может легко подключаться к HDInsight. Преимущества использования необходимых типов кластеров в гибридной модели можно получить. Взаимодействие с типами кластеров HDInsight с использованием одного хранилища и хранилища метаданных в обоих предложениях.

HDInsight предоставляет форм-фактор Apache Kafka®, Apache HBase® и другие аналитические рабочие нагрузки в форм-факторе Platform as a Service (PaaS).

Поддерживаются следующие сценарии:

• Подключение Apache Flink к Apache HBase
• Подключение Apache Flink к Apache Kafka
• Подключение Apache Spark к Apache HBase
• Подключение Apache Spark к Apache Kafka

Архитектура безопасности

HDInsight в AKS по умолчанию является безопасным. Это позволяет предприятиям защищать корпоративные ресурсы данных с помощью Azure виртуальная сеть, шифрования и интеграции с идентификатором Microsoft Entra. Он также соответствует самым популярным отраслевым и государственным стандартам соответствия, поддерживающим стандарты Azure. С более чем 30 сертификациями, которые помогают защитить данные вместе с периодическими обновлениями, уведомлениями помощника по работоспособности служб, аналитикой работоспособности служб, а также лучшими стандартами безопасности Azure в классе. HDInsight в AKS предлагает несколько методов для решения потребностей корпоративной безопасности по умолчанию. Дополнительные сведения см. в статье HDInsight по безопасности AKS.

Доступность региона (общедоступная предварительная версия)

Азиатско-Тихоокеанский регион

• Восточная Австралия
• Центральная Индия
• Восточная Азия
• Восточная Япония
• Республика Корея, центральный регион
• Юго-Восточная Азия

Европа

• Центральная Франция
• Северная Европа
• Восточная Норвегия;
• Северная Швейцария
• южная часть Соединенного Королевства
• Западная Европа

Северная и Южная Америки

• Южная Бразилия
• Центральная Канада
• Центральная часть США
• Восточная часть США
• восточная часть США 2
• Восточная часть США 2 (EUAP)
• Центрально-южная часть США
• Западная часть США
• западная часть США 2
• Западная часть США — 3