Управление кластерами Apache Hadoop в HDInsight с помощью портала Azure

  • Статья

Портал Azure позволяет управлять кластерами Apache Hadoop в Azure HDInsight. Используйте другие вкладки, чтобы перейти к статьям об управлении кластерами Hadoop в HDInsight с помощью других инструментов.

Необходимые компоненты

Существующий кластер Apache Hadoop в HDInsight. См. статью Создание кластеров под управлением Linux в HDInsight с помощью портала Azure.

Начало работы

Выполните вход в https://portal.azure.com.

Отображение кластеров

На странице кластеров HDInsight перечислены существующие кластеры . На портале

  1. В меню слева выберите Все службы.
  2. В разделе Аналитика выберите Кластеры HDInsight.

Домашняя страница кластера

Выберите имя кластера на странице Кластеры HDInsight. Откроется представление "Обзор" , похожее на следующее изображение:

портал Azure основные компоненты кластера HDInsight.

Строка меню сверху

Позиция Description
Передвинуть Перемещает кластер в другую группу ресурсов или подписку.
Удаление Удаляет кластер.
Refresh Обновляет представление.

Меню слева:

  • Меню сверху слева

    Позиция Description
    Обзор Содержит общие сведения для кластера.
    Журнал действий Отображение и запрашивание журналов действий.
    Управление доступом (IAM) Использование назначения ролей. См. статью Назначение ролей Azure для управления доступом к ресурсам подписки Azure.
    Теги Позволяют задавать пары "ключ — значение" для определения пользовательской классификации облачных служб. Например, можно создать ключ с именем project, а затем использовать общее значение для всех служб, связанных с определенным проектом.
    Диагностика и решение проблем Отображение сведений об устранении неполадок.
    Быстрое начало Отображение сведений, помогающих начать работу с HDInsight.
    Инструменты Справочные сведения об инструментах, связанных с HDInsight.

  • Меню параметров

    Позиция Description
    Размер кластера Проверка, увеличение и уменьшение количества рабочих узлов кластера. См. раздел о масштабировании кластеров.
    Квоты Отображение сведений об используемых и доступных ядрах для подписки.
    SSH и имя для входа в кластер Отображение сведений о подключении к кластеру по протоколу SSH. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
    Data Lake Storage 2-го поколения Настройка Data Lake Storage 2-го поколения доступа. Дополнительные сведения см. в статье Краткое руководство по установке кластеров в HDInsight.
    Учетные записи хранения Просмотр учетных записей хранения и ключей. Учетные записи хранения настраиваются во время создания кластера.
    Приложения Добавление и удаление приложений HDInsight. Ознакомьтесь со статьей Установка пользовательских приложений HDInsight.
    Действия скрипта Выполнение bash-скриптов в кластере. См. статью Настройка кластеров HDInsight под управлением Linux с помощью действия сценария.
    Внешние метахранилища просмотр метахранилищ Apache Hive и Apache Oozie. Метахранилища можно настроить только во время создания кластера.
    Партнер HDInsight Добавление или удаление текущего партнера HDInsight.
    Свойства Просмотр свойств кластера.
    Блокировки Добавление блокировки во избежание изменения или удаления кластера.
    Экспорт шаблона Отображение и экспорт шаблона Azure Resource Manager для кластера. В настоящее время можно экспортировать только зависимую учетную запись хранения Azure. См. статью Создание кластеров Apache Hadoop в HDInsight с помощью шаблонов Resource Manager.

  • Меню "Мониторинг"

    Позиция Description
    видны узлы Управление оповещениями и действиями.
    Метрики Мониторинг метрик кластера в журналах Azure Monitor.
    Параметры диагностики Настройки места хранения для метрик диагностики.
    Azure Monitor Мониторинг кластера в Azure Monitor.

  • Меню "Поддержка и устранение неполадок"

    Позиция Description
    Работоспособность ресурса См. Обзор службы "Работоспособность ресурсов Azure".
    Новый запрос на поддержку Позволяет создать запрос в службу поддержки Майкрософт.

Свойства кластера

На домашней странице кластера в разделе Параметры выберите Свойства.

Позиция Description
ИМЯ УЗЛА Имя кластера
URL-адрес кластера URL-адрес веб-интерфейса Ambari.
Частная конечная точка Частная конечная точка кластера.
Secure shell (SSH) Имя пользователя и имя узла используются при доступе к кластеру по протоколу SSH.
СОСТОЯНИЕ Одно из: прервано, принято, clusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operations, Running, Error, Deleted, Timeout, DeleteQueued, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued или ClusterCustomization.
REGION Расположение Azure. Поддерживаемые расположения Azure перечислены в раскрывающемся списке Регион на странице Цены — HDInsight.
ДАТА СОЗДАНИЯ Дата развертывания кластера.
ОПЕРАЦИОННАЯ СИСТЕМА Windows или Linux.
ТИП Hadoop, HBase, Spark.
Версия См. статью о поддерживаемых версиях HDInsight.
Минимальная версия TLS Версия TLS.
ПОДПИСКА Имя подписки.
Источник данных по умолчанию Файловая система кластера по умолчанию.
Размеры рабочих узлов Выбранный размер виртуальной машины для рабочих узлов.
Размер головного узла Выбранный размер виртуальной машины для головных узлов.
Виртуальная сеть Имя виртуальной сети, в которой развернут кластер, если она была выбрана во время развертывания.

Перемещение кластеров

Кластер HDInsight можно переместить в другую группу ресурсов Azure или в другую подписку.

На домашней странице кластера.

  1. Выберите команду Переместить в верхнем меню.
  2. Выберите команду Переместить в другую группу ресурсов или Переместить в другую подписку.
  3. Следуйте инструкциям на новой странице.

Удаление кластеров

Удаление кластера не приведет к удалению учетной записи хранения, используемой по умолчанию, или других учетных записей, связанных с кластером. Вы всегда сможете заново создать кластер, указав те же учетные записи хранения и те же метахранилища. При повторном создании кластера рекомендуем использовать новый контейнер больших двоичных объектов по умолчанию.

На домашней странице кластера.

  1. В верхнем меню выберите Удалить.
  2. Следуйте инструкциям на новой странице.

См. также раздел Приостановка и завершение работы кластеров.

Добавление дополнительных учетных записей хранения

После создания кластера можно добавить дополнительные учетные записи службы хранилища Azure и учетные записи Azure Data Lake Storage. Дополнительные сведения см. в статье Добавление дополнительных учетных записей хранения в HDInsight.

Масштабирование кластеров

Масштабирование кластера позволяет изменить количество рабочих узлов в кластере Azure HDInsight. При этом не требуется повторно создавать кластер.

Полные сведения см. в статье Масштабирование кластеров HDInsight.

Приостановка и завершение работы кластеров

Большинство заданий Hadoop представляют собой пакетные задания, выполняемые от случая к случаю. Большинство кластеров Hadoop не используются для обработки данных довольно длительное время. В случае с HDInsight ваши данные хранятся в службе хранилища Azure, что позволяет безопасно удалить неиспользуемый кластер. Плата за кластеры HDInsight взимается, даже когда они не используются. Так как затраты на кластер во много раз превышают затраты на хранилище, экономически целесообразно удалять неиспользуемые кластеры.

Этот процесс можно выполнять автоматически несколькими способами:

Сведения о ценах см. на странице цен на HDInsight. Удаление кластера на портале описано в разделе Удаление кластеров.

Установка новых версий кластеров

Ознакомьтесь с разделом Обновление кластера HDInsight до более новой версии.

Открытие веб-интерфейса Apache Ambari

Ambari предоставляет интуитивно понятный и простой веб-интерфейс управления Hadoop, который поддерживают API-интерфейсы RESTful. Ambari дает системным администраторам возможность управлять кластерами Hadoop и наблюдать за ними.

На домашней странице кластера.

  1. Выберите Панели мониторинга кластера.

    Меню кластера HdInsight Apache Hadoop.

  2. Выберите домашнюю страницу Ambari на новой странице.

  3. Введите имя пользователя для входа в кластер и пароль. Имя пользователя кластера по умолчанию — admin.

Дополнительные сведения см. в статье Управление кластерами HDInsight с помощью веб-интерфейса Ambari.

Изменение паролей

Кластер HDInsight может иметь две учетные записи пользователя. Учетная запись пользователя кластера HDInsight (учетная запись пользователя HTTP) и учетная запись пользователя SSH создаются во время создания кластера. С помощью портала можно изменить имя и пароль учетной записи, а также действия сценария для изменения учетной записи SSH.

Изменение пароля пользователя кластера

Примечание.

Если изменить пароль пользователя (администратора) кластера, это может привести к сбою при выполнении действий сценария для этого кластера. Если у вас есть сохраненные действия сценария для рабочих узлов, эти сценарии могут завершиться ошибкой при добавлении узлов в кластер при изменении размера. Дополнительные сведения о действиях сценариев см. в статье Настройка кластеров HDInsight под управлением Linux с помощью действия сценария.

На домашней странице кластера.

  1. Выберите SSH + Вход в кластер в разделе Параметры.
  2. Выберите команду Сбросить учетные данные.
  3. Введите и подтвердите новый пароль в текстовых полях.
  4. Нажмите ОК.

Система изменит пароль на всех узлах в кластере.

Изменение пароля пользователя или открытого ключа SSH

  1. С помощью текстового редактора сохраните указанный ниже текст в файл с именем changecredentials.sh.

    Внимание

    Необходимо использовать редактор, который использует LF в качестве конца строки. Если редактор использует CRLF, сценарий не будет работать.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Передайте файл в расположение хранилища, которое будет использоваться из HDInsight с помощью адреса HTTP или HTTPS. Например, в такое общедоступное хранилище файлов, как OneDrive или хранилище BLOB-объектов Azure. Сохраните универсальный код ресурса (URI) для файла (адрес HTTP или HTTPS), так как он понадобится на следующем шаге.

  3. На домашней странице кластера в разделе Параметры выберите Действия скрипта.

  4. В верхней части страницы Действия скрипта выберите Отправить новое.

  5. На странице Отправить действие скрипта введите следующие сведения:

Примечание.

Пароли SSH не могут содержать следующие символы:

" ' ` / \ < % ~ | $ & ! #

Поле значение
Тип скрипта Выберите — Настраиваемый из раскрывающегося списка.
Имя. "Change ssh credentials"
URI bash-скрипта Универсальный код ресурса (URI) для файла changecredentials.sh
Типы узлов (Head (головной), Worker (рабочий), Nimbus, Supervisor (супервизор) или Zookeeper) ✓ для всех перечисленных типов узлов.
Параметры Введите имя пользователя SSH и новый пароль. Между именем пользователя и паролем должен быть один пробел.
Сохранить этот скрипт… Оставьте это поле без изменений.
  1. Выберите Создать, чтобы применить сценарий. После выполнения сценария вы сможете подключиться к кластеру с помощью SSH, используя новые данные для входа.

Поиск идентификатора подписки

Каждый кластер привязывается к подписке Azure. Идентификатор подписки есть на домашней странице кластера.

Поиск группы ресурсов

В режиме Azure Resource Manager каждый кластер HDInsight создается с группой Azure Resource Manager. Группа Resource Manager есть на домашней странице кластера.

Поиск учетных записей хранения

Для хранения данных кластеров HDInsight используется учетная запись хранения Azure или Azure Data Lake Storage. Каждый кластер HDInsight может иметь одну учетную запись хранения по умолчанию и несколько связанных учетных записей хранения. Чтобы получить список учетных записей хранения, на домашней странице кластера в разделе Параметры выберите Учетные записи хранения.

Мониторинг заданий

См. статью Управление кластерами HDInsight с помощью веб-интерфейса Ambari.

Размер кластера

Элемент Размер кластера на домашней странице кластера отображает число ядер, выделенных для этого кластера, и способ их распределения для узлов в этом кластере.

Внимание

Для мониторинга служб, предоставляемых кластером HDInsight, необходимо использовать интерфейс Ambari Web или API REST Ambari. См. дополнительные сведения об управлении кластерами HDInsight с помощью Apache Ambari.

Подключение к кластеру

Следующие шаги

Из этой статьи вы узнали о некоторых основных функциях администрирования. Дополнительные сведения см. в следующих разделах: