Новые возможности HDInsight в AKS? (Предварительная версия)
Примечание.
Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.
До даты выхода на пенсию будет доступна только базовая поддержка.
Внимание
Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.
В HDInsight в AKS все операции управления кластерами имеют встроенную поддержку управления службами в портал Azure для отдельных кластеров.
В HDInsight в AKS появились две новые концепции:
- Пулы кластеров используются для группировки кластеров и управления ими.
- Кластеры используются для открытый код вычислений, размещенных в пуле кластеров.
Пулы кластеров
HDInsight в AKS выполняется в Служба Azure Kubernetes (AKS). Ресурс верхнего уровня — это пул кластеров и управляет всеми кластерами, работающими в одном кластере AKS. При создании пула кластеров базовый кластер AKS создается одновременно для размещения всех кластеров в пуле. Пулы кластеров — это логическая группа кластеров, которая помогает создавать надежную совместимость между несколькими типами кластеров и позволяет предприятиям иметь кластеры в одной виртуальной сети. Пулы кластеров обеспечивают быстрый и экономичный доступ ко всем типам кластеров, созданным по требованию и в масштабе. Один пул кластеров соответствует одному кластеру в инфраструктуре AKS.
Кластеры
Кластеры являются отдельными открытый код вычислительными рабочими нагрузками, такими как Apache Spark, Apache Flink и Trino, которые можно быстро создавать в течение нескольких минут с предварительно настроенными конфигурациями и несколькими щелчками. Хотя он работает в одном пуле кластеров, каждый кластер может иметь собственные конфигурации, такие как тип кластера, версия, размер виртуальной машины узла, количество узлов. Кластеры выполняются на отдельных вычислительных ресурсах с собственными DNS и конечными точками.
Функции в предварительной версии
В следующей таблице показаны функции HDInsight в AKS, которые в настоящее время находятся в предварительной версии. Предварительные версии функций отсортированы в алфавитном порядке.
| Площадь | Функции |
|---|---|
| Основы | Создание пулов и кластеров с помощью портала, поддержки веб-безопасной оболочки (ssh), возможность выбора количества рабочих узлов во время создания кластера |
| Хранилище | Поддержка хранилища ADLS 2-го поколения |
| Хранилище мета-данных | Поддержка внешнего хранилища метаданных для Trino, Spark и Flink, интеграция с HDInsight |
| Безопасность | Поддержка ARM RBAC, поддержка проверки подлинности на основе MSI, возможность предоставления доступа к кластеру другим пользователям |
| Ведение журналов и мониторинг | Агрегирование журналов в Log Analytics Azure для журналов серверов, кластеров и служб с помощью управляемых prometheus и Grafana, метрики сервера поддержки в Azure Monitor, страница "Состояние службы" для мониторинга Работоспособность служб |
| Автоматическое масштабирование | Автомасштабирование на основе загрузки и автоматическое масштабирование на основе расписания |
| Настройка и настройка кластеров | Поддержка действий скриптов во время создания кластера, поддержка управления библиотеками, параметры конфигурации службы после создания кластера |
| Трино | Поддержка каталогов Trino, поддержка Trino CLI, поддержка DBeaver для отправки запросов, добавление или удаление подключаемых модулей и соединителей, поддержка событий запросов ведения журнала, поддержка статистики запросов сканирования для любого соединителя на панели мониторинга Trino, поддержка панели мониторинга Trino для мониторинга запросов, кэширования запросов, интеграции с Power BI, интеграция с Apache Superset, Redash, Поддержка нескольких соединителей |
| Flink | Поддержка собственного веб-интерфейса Flink, поддержка Flink с HMS для DStream, отправка заданий в кластер с помощью REST API и портал Azure, запуск программ, упакованных в виде JAR-файлов через Flink CLI, поддержка постоянных точек сохранения, поддержка обновлений параметров конфигурации при выполнении задания, подключение к нескольким службам Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Центры событий Azure, Центр Интернета вещей Azure, Azure Pipelines, Фабрика данных Azure Workflow Orchestration Manager, HDInsight Kafka, Отправка заданий в кластер с помощью Flink CLI и CDC с Flink |
| Spark | Jupyter Notebook, поддержка Delta lake 2.0, поддержка Zeppelin, поддержка ATS, поддержка интерфейса сервера журнала Yarn, отправка заданий с помощью SSH, отправка заданий с помощью пакета SDK и Машинное обучение Notebook |
Стратегия возможностей
| Функция | Предполагаемая временная шкала выпуска | Состояние |
|---|---|---|
| Автомасштабирование — на основе нагрузки — Trino | Q1 2024 | Завершено |
| Автоматическое масштабирование на основе автоматического масштабирования на основе балансировки нагрузки для Spark | Q2 2024 | Выполняется |
| Обновление на месте | Q2 2024 | Завершено |
| Поддержка зарезервированного экземпляра | Q2 2024 | Выполняется |
| Проверка подлинности на основе MSI для хранилища метаданных (SQL) | Q1 2024 | Выполняется |
| Spark 3.4 | Q2 2024 | Выполняется |
| Трино 426 | Q1 2024 | Завершено |
| Ranger для RBAC | Q2 2024 | Выполняется |
| Поддержка режима приложения для Flink | Q1 2024 | Завершено |
| Flink 1.17 | Q1 2024 | Завершено |
| Поддержка Spark ACID | Q1 2024 | Выполняется |
| Настраиваемые номера SKU для Headnode, SSH | Q2 2024 | Выполняется |
| Поддержка шлюза Flink SQL | Q1 2024 | Завершено |
| Частные кластеры для HDInsight в AKS | Q1 2024 | Завершено |
| Поддержка Ranger для Spark SQL | Q4 2024 | Выполняется |
| Списки управления доступом ranger на уровне хранилища | Q4 2024 | Выполняется |
| Поддержка One Lake в качестве основного контейнера | Q2 2024 | Выполняется |