Добавление целевых объектов хранилища

Целевые расположения хранилища — это серверное хранилище для файлов, доступ к которым осуществляется через службу кэша Azure HPC Cache. Вы можете добавить хранилище NFS (например, локальную аппаратную систему) или хранить данные в большом двоичном объекте Azure.

Кэш представляет все целевые расположения хранилища в агрегированном пространстве имен. Пути к пространству имен настраиваются отдельно после добавления целевых расположений.

Учтите, что экспортированные данные хранилища должны быть доступны из виртуальной сети кэша. Для локального аппаратного хранилища может потребоваться настроить DNS-сервер, который может разрешать имена узлов для доступа к хранилищу NFS. Дополнительные сведения см. в статье о доступе к DNS.

Целевые расположения хранилища добавляются после создания кэша. Для этого воспользуйтесь приведенной ниже процедурой.

  1. Создание кэша
  2. Определение целевого расположения хранилища (сведения в этой статье)
  3. Создание путей взаимодействия с клиентом (для агрегированного пространства имен)

Процедура добавления целевого расположения хранилища зависит от используемого типа хранилища. Подробности для каждого типа приведены ниже.

Выберите правильный тип целевого расположения хранилища

На выбор доступны три типа целевых расположений хранилища: NFS, BLOB-объект и ADLS-NFS. Выберите тип, соответствующий типу системы хранения, которую вы будете использовать для хранения файлов во время этого проекта HPC Cache.

Добавление нового целевого расположения хранилища BLOB-объектов Azure

Для нового целевого расположения хранилища BLOB-объектов требуется пустой контейнер больших двоичных объектов или контейнер, заполненный данными в формате облачной файловой системы Azure HPC Cache. Дополнительные сведения о предварительной загрузке контейнера больших двоичных объектов см. в статье Перенос данных в хранилище BLOB-объектов Azure.

На странице портала Azure Добавление целевого расположения хранилища можно создать новый контейнер больших двоичных объектов непосредственно перед добавлением.

Примечание.

На портале Azure откройте экземпляр кэша и щелкните Целевые расположения хранилища на левой боковой панели.

Снимок экрана: страница целевого объекта хранилища параметров > с двумя существующими целевыми объектами хранения в таблице и выделением вокруг кнопки

На странице Целевые расположения хранилища перечислены все существующие целевые расположения и приведена ссылка для добавления нового.

Нажмите кнопку Добавить целевое расположение хранилища.

Снимок экрана: страница

Чтобы настроить контейнер больших двоичных объектов Azure, введите указанные ниже данные.

  • Имя целевого расположения хранилища — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

  • Тип целевого расположения — выберите BLOB-объект.

  • Учетная запись хранения: выберите учетную запись, которую хотите использовать.

    Необходимо авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе "Добавление ролей доступа".

    Сведения о типе учетной записи хранения, которую можно использовать, см. в требованиях к хранилищу BLOB-объектов.

  • Контейнер хранилища: выберите контейнер больших двоичных объектов для этого целевого расположения или нажмите кнопку Создать.

    Снимок экрана: диалоговое окно для ввода имени и уровня доступа (частный) нового контейнера

По завершении нажмите кнопку ОК, чтобы добавить целевое расположение хранилища.

Примечание.

Если брандмауэр учетной записи хранения разрешает доступ только для выбранных сетей, используйте обходное решение, описанное в статье Обход параметров брандмауэра для учетной записи хранения больших двоичных объектов.

Добавление ролей управления доступом в учетную запись

Служба Azure HPC Cache использует управление доступом на основе ролей Azure (Azure RBAC) для авторизации службы кэша на доступ к целевых расположениям хранилища BLOB-объектов Azure в учетной записи хранения.

Владелец учетной записи хранения должен явным образом добавить роли участника учетной записи хранения и участника данных BLOB-объектов хранилища для пользователя "Поставщик ресурсов HPC Cache".

Это можно сделать заранее или по ссылке на странице портала, где вы добавляется целевое расположение хранилища BLOB-объектов. Помните, что для распространения параметров роли через среду Azure может потребоваться до пяти минут. Подождите несколько минут после добавления ролей перед созданием целевого объекта хранилища.

  1. Откройте Управление доступом (IAM) для своей учетной записи хранения.

  2. Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу "Добавление назначения ролей".

  3. Назначьте указанные ниже роли по одной. Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

    Параметр Значение
    Роли Участник учетной записи хранения
    Участник данных хранилища BLOB-объектов
    Назначить доступ для "Поставщик ресурсов HPC Cache" или "Поставщик ресурсов StorageCache"

    Страница

Добавление нового целевого расположения хранилища NFS

Параметры целевого расположения хранилища NFS отличаются от параметров целевого расположения хранилища BLOB-объектов, включая параметр модели использования, который сообщает кэшу, как хранить данные из данной системы хранения.

Снимок экрана: страница добавления целевого расположения хранилища, где определено целевое расположение NFS

Примечание.

Прежде чем создавать целевое расположение хранилища NFS, убедитесь, что ваша система хранения доступна из службы Azure HPC Cache и обладает всеми необходимыми разрешениями. Попытка создать целевое расположение хранилища завершится ошибкой, если кэш не сможет получить доступ к системе хранения. Дополнительные сведения см. в статьях Требования к хранилищу NFS и Устранение неполадок конфигурации NAS и целевого расположения хранилища NFS.

Выбор модели использования

При создании целевого расположения хранилища, использующего NFS для доступа к системе хранения, необходимо выбрать для этого расположения модель использования. Эта модель определяет, как именно кэшируются данные.

Дополнительные сведения обо всех этих параметрах см. в статье Общие сведения о моделях использования.

Встроенные модели использования HPC Cache позволяют уравновесить скорость реагирования и риск получения устаревших данных. Чтобы оптимизировать скорость чтения файлов, можно отказаться от сверки файлов в кэше и файлов на сервере. Кроме того, если вы хотите убедиться, что файлы всегда актуальны в удаленном хранилище, выберите модель, которая часто проверяет.

Примечание.

Кэши с высокой пропускной способностью поддерживают кэширование только считываемых данных.

Перечисленные ниже три варианта охватывают большинство ситуаций.

  • Высокая скорость чтения, редкие операции записи. Эта модель ускоряет доступ на чтение к файлам, которые являются статическими или редко изменяются.

    В этом режиме файлы кэшируются из операций чтения клиента, но операции записи сразу передаются в серверное хранилище. Файлы, хранящиеся в кэше, не сравниваются автоматически с файлами на томе хранилища NFS.

    Не используйте этот параметр, если существует риск того, что файл может быть изменен непосредственно в системе хранения, не записывая его в кэш. В таком случае кэшированная версия файла не будет синхронизирована с файлом на сервере.

  • Более 15 % операций записи. Эта модель позволяет увеличить скорость чтения и записи.

    Кэшируются и операции чтения, и операции записи клиента. Файлы в кэше считаются более новыми, чем файлы в серверной системе хранения. Кэшированные файлы автоматически сверяются с файлами во внутреннем хранилище каждые восемь часов. Измененные файлы в кэше записываются в систему хранилища внутренней части после того, как они находились в кэше в течение часа без других изменений.

    Не используйте этот параметр, если какой-либо клиент подключает серверный том хранилища напрямую, так как в нем могут находиться устаревшие файлы.

  • Клиенты производят запись в целевой объект NFS, минуя кэш. Выберите эту модель, если клиенты в рабочем процессе записывают данные непосредственно в систему хранения без предварительной записи в кэш или если требуется оптимизировать согласованность данных.

    Файлы, запрашиваемые клиентами, кэшируются, но любые изменения этих файлов с клиента сразу же передаются в серверную систему хранения. Файлы в кэше часто сверяются с серверными версиями на предмет изменений. Такая проверка обеспечивает согласованность данных при изменении файлов непосредственно в системе хранения, а не в кэше.

Подробную информацию о других параметрах см. в статье Общие сведения о моделях использования.

В таблице ниже приведены различия между всеми моделями использования.

Модель использования Режим кэширования Таймер проверки Таймер обратной записи
Кэширование только для чтения Читать 30 секунд нет
Кэширование чтения и записи Чтение/запись 8 часов 1 ч

Примечание.

Параметр проверки на сервере определяет частоту автоматического сравнения файлов в кэше с исходными файлами в удаленном хранилище. Однако сравнение можно запустить, отправив в серверную систему хранения клиентский запрос с операцией readdirplus. Readdirplus — это стандартный API NFS (он также называется расширенным чтением), который возвращает метаданные каталога, что приводит к сравнению и обновлению файлов в кэше.

Создание целевого объекта хранилища NFS

На портале Azure откройте экземпляр кэша и щелкните Целевые расположения хранилища на левой боковой панели.

Снимок экрана: страница целевого объекта хранилища параметров > с двумя существующими целевыми объектами хранения в таблице и выделением вокруг кнопки

На странице Целевые расположения хранилища перечислены все существующие целевые расположения и приведена ссылка для добавления нового.

Нажмите кнопку Добавить целевое расположение хранилища.

Снимок экрана: страница добавления целевого расположения хранилища, где определено целевое расположение NFS

Укажите для целевого расположения хранилища на базе NFS эти данные:

  • Имя целевого расположения хранилища — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

  • Тип целевого расположения — выберите NFS.

  • Имя узла — введите IP-адрес или полное доменное имя для системы хранения NFS. (Используйте доменное имя, только если кэш имеет доступ к DNS-серверу, который может разрешить это имя.) Можно ввести несколько IP-адресов, если на систему хранения ссылается несколько IP-адресов.

  • Модель использования — выберите один из профилей кэширования данных, описанный в разделе Выбор модели использования выше, с учетом своего рабочего процесса.

По завершении нажмите кнопку ОК, чтобы добавить целевое расположение хранилища.

Добавление целевого расположения хранилища ADLS-NFS

Целевые расположения хранилища ADLS-NFS используют контейнеры больших двоичных объектов Azure, которые поддерживают протокол NFS 3.0.

Дополнительные сведения об этой функции см. в статье Поддержка протокола NFS 3.0.

Целевые расположения хранилища ADLS-NFS имеют некоторые сходства с целевыми расположениями хранилища BLOB-объектов, а также с целевыми расположениями NFS. Например:

  • Как и в случае с целевым расположением хранилище BLOB-объектов, необходимо предоставить службе Azure HPC Cache доступ к учетной записи хранения.

  • Как и в случае с целевым расположением хранилище NFS, необходимо выбрать модель использования кэша.

  • Так как контейнеры BLOB-объектов с поддержкой NFS имеют иерархическую структуру, совместимую с NFS, вам не нужно использовать кэш для приема данных, а контейнеры доступны для чтения другими системами NFS.

    Вы можете предварительно загрузить данные в контейнер ADLS-NFS, затем добавить их в HPC Cache в качестве целевого расположения хранилища, а затем получить доступ к этим данным из-за пределов HPC Cache. При использовании стандартного контейнера больших двоичных объектов в качестве целевого расположения хранилища для HPC Cache данные записываются в собственном формате и доступны только из других продуктов, совместимых со службой Azure HPC Cache.

Прежде чем можно будет создать целевое расположение хранилища ADLS-NFS, вам потребуется создать учетную запись хранения с поддержкой NFS. Для этого следуйте инструкциям в статьях Необходимые условия для Azure HPC Cache и Подключение хранилища BLOB-объектов с использованием NFS. Если для кэша и учетной записи хранения используются разные виртуальные сети, виртуальная сеть кэша должна иметь доступ к виртуальной сети учетной записи хранения.

После настройки учетной записи хранения вы можете создать новый контейнер при создании целевого расположения хранилища.

Дополнительные сведения об этой конфигурации см. в статье Использование хранилища BLOB-объектов, подключенного к NFS, с Azure HPC Cache.

Чтобы создать целевое расположение хранилище ADLS-NFS, откройте страницу Добавление целевого расположения хранилища на портале Azure. (Другие методы находятся в разработке.)

Снимок экрана: страница добавления целевого расположения хранилища, где определено целевое расположение ADLS-NFS

Введите указанные ниже сведения.

  • Имя целевого расположения хранилища — укажите имя, идентифицирующее это целевое расположение хранилища в службе Azure HPC Cache.

  • Тип целевого расположения  — выберите ADLS-NFS.

  • Учетная запись хранения: выберите учетную запись, которую хотите использовать. Если учетная запись хранения с поддержкой NFS не отображается в списке, убедитесь, что она соответствует предварительным требованиям и что кэш может получить к нему доступ.

    Необходимо авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе "Добавление ролей доступа".

  • Контейнер хранилища: выберите контейнер больших двоичных объектов с поддержкой NFS для этого целевого расположения или нажмите кнопку Создать.

  • Модель использования — выберите один из профилей кэширования данных, описанный в разделе Выбор модели использования выше, с учетом своего рабочего процесса.

По завершении нажмите кнопку ОК, чтобы добавить целевое расположение хранилища.

Просмотр целевых расположений хранилища

Для просмотра целевых расположений хранилища, уже заданных для службы кэша, можно использовать портал Azure или Azure CLI.

На портале Azure откройте свой экземпляр кэша и щелкните Целевые расположения хранилища под заголовком "Параметры" на левой боковой панели. На странице целевых расположений хранилища перечислены все существующие целевые расположения и элементы управления для их добавления и удаления.

Щелкните имя целевого расположения хранилища, чтобы открыть страницу со сведениями о нем.

Чтение целевых объектов хранения и управление ими и изменение целевых объектов хранения для получения дополнительных сведений.

Следующие шаги

После создания целевых расположений хранилища выполните эти задачи, чтобы подготовить кэш к использованию:

Если вам потребуется скорректировать какие-либо параметры, вы можете изменить целевое расположение хранилища.