Заметки о выпуске Azure HDInsight в AKS

  • Статья

В этой статье содержатся сведения о последних обновлениях выпуска AZURE HDInsight в AKS. Дополнительные сведения о более ранних выпусках см . в заметках о выпуске AZURE HDInsight в архивных заметках о выпуске AKS. Если вы хотите подписаться на заметки о выпуске, перейдите в этот репозиторий GitHub.

Итоги

HDInsight в AKS — это современная, надежная, безопасная и полностью управляемая платформа как услуга (PaaS), которая работает на Служба Azure Kubernetes (AKS). HDInsight в AKS позволяет развертывать популярные рабочие нагрузки Open-Source Analytics, такие как Apache Spark™, Apache Flink®️ и Trino без затрат на управление контейнерами и мониторинг.

Вы можете создавать комплексные приложения больших данных, масштабируемые петабайты, охватывающие потоковую передачу через Apache Flink, проектирование данных и машинное обучение с помощью Apache Spark и мощного обработчика запросов Trino.

Все эти возможности в сочетании с HDInsight на сильном фокусе разработчика AKS позволяют предприятиям и цифровым языкам иметь глубокий технический опыт для создания и эксплуатации приложений, которые подходят для своих потребностей. HDInsight в AKS позволяет разработчикам получать доступ ко всем богатым конфигурациям, предоставляемым программным обеспечением с открытым исходным кодом, и расширяемостью, чтобы легко включить другие предложения экосистемы. Это предложение позволяет разработчикам тестировать и настраивать свои приложения, чтобы извлечь оптимальную производительность при оптимальной стоимости.

Примечание.

Сведения о hdInsight для управления версиями и поддержке AKS см. в схеме управления версиями.

Вы можете ознакомиться с новой страницей всех сведений о функциях, которые в настоящее время находятся в общедоступной предварительной версии для этого выпуска.

Внимание

HDInsight в AKS использует безопасные методики развертывания, которые включают постепенное развертывание региона. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.

Сведения о выпуске

Дата выпуска: 05 августа 2024 г.

Этот выпуск применяется к следующему

  • Версия пула кластеров: 1.2
  • Версия кластера: 1.2.1
  • ВЕРСИЯ AKS: 1.27

Новые возможности

Пользователи проверки подлинности SQL на основе MSI теперь могут пройти проверку подлинности внешнего хранилища метаданных БАЗЫ данных SQL Azure с помощью MSI вместо проверки подлинности пароля пользователя. Эта функция помогает защитить подключение кластера к хранилищу метаданных.

Настраиваемые номера SKU виртуальных машин для головного узла, узел SSH Эта функция позволяет пользователям выбирать определенные номера SKU для головных узлов, рабочих узлов и узлов SSH, предлагая гибкость выбора в соответствии с вариантом использования и потенциалом снижения общей стоимости владения (TCO).

Несколько MSI в кластере пользователи могут настроить несколько MSI для операций администраторов кластера и для доступа к ресурсам, связанным с заданием. Эта функция позволяет пользователям демаршировать и управлять доступом к кластеру и данным, которые хранятся в учетной записи хранения. Например, один MSI для доступа к данным в учетной записи хранения и выделенный MSI для операций кластера.

Обновлено

Действие скрипта скрипта теперь можно добавить с разрешением пользователя Sudo. Теперь пользователи могут установить несколько зависимостей, включая пользовательские JAR-модули, чтобы настроить кластеры по мере необходимости.

Функция ярлыка репозитория "Управление библиотеками Maven", добавленная в управление библиотеками в этом выпуске. Теперь пользователь может установить зависимости Maven непосредственно из репозиториев с открытым кодом.

Обновление Spark 3.4 Spark 3.4 содержит ряд новых функций.

  • Улучшения API
  • Усовершенствования структурированной потоковой передачи
  • Улучшенная удобство использования и возможности разработчика

Внимание

Чтобы воспользоваться всеми этими новейшими функциями, необходимо создать новый пул кластеров с версией 1.2 и кластером версии 1.2.1.

Известные проблемы

  • Ограничение удостоверения рабочей нагрузки:
    • При переходе на удостоверение рабочей нагрузки существует известное ограничение . Это ограничение обусловлено характером операций FIC с учетом разрешений. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершается ошибкой.
    • Поддержка управляемых удостоверений пользователей (UAMI) — существует ограничение в 20 FICs на UAMI. В удостоверении можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, необходимо предоставить различные MSIs для преодоления ограничения.
    • Создание учетных данных федеративного удостоверения в настоящее время не поддерживается для управляемых удостоверений, назначенных пользователем, созданных в этих регионах.

Версия операционной системы

  • Mariner OS 2.0

Версии рабочей нагрузки

Рабочая нагрузка Версия
Трино 440
Flink 1.17.0
Apache Spark 3.4

Поддерживаемые версии Java и Scala

Рабочая нагрузка Java Scala
Трино Открытие JDK 21.0.2 - 
Flink Открытие JDK 11.0.21 2.12.7
Spark Открытие JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продукте, напишите нам на aka.ms/askhdinsight.

Следующие шаги