Предварительные требования к управляемой файловой системе Lustre Azure
В этой статье описываются предварительные требования, которые необходимо настроить перед созданием управляемой файловой системы Lustre Azure.
- Предварительные требования к сети
- Предварительные требования для интеграции BLOB-объектов (необязательно)
Предварительные требования к сети
Управляемые файловые системы Lustre Azure существуют в подсети виртуальной сети. Подсеть содержит службу управления Lustre (MGS) и обрабатывает все взаимодействия клиента с виртуальным кластером Lustre.
После создания файловой системы нельзя переместить из одной сети или подсети в другую.
Управляемый Lustre Azure принимает только IPv4-адреса. IPv6 не поддерживается.
Требования к размеру сети
Размер нужной подсети зависит от размера создаваемой файловой системы. В следующей таблице приведена приблизительная оценка минимального размера подсети для управляемых файловых систем Lustre Azure с различными размерами.
| Ресурсы хранилища | Рекомендуемое значение префикса CIDR |
|---|---|
| 4 ТиБ до 16 ТиБ | /27 или больше |
| 20 ТиБ до 40 ТиБ | /26 или больше |
| 44 ТиБ до 92 ТиБ | /25 или больше |
| 96 ТиБ до 196 ТиБ | /24 или больше |
| 200 ТиБ до 400 ТиБ | /23 или больше |
Другие рекомендации по размеру сети
При планировании виртуальной сети и подсети учитывайте требования к любым другим службам, которые вы хотите найти в подсети Или виртуальной сети Azure Managed Lustre.
Если вы используете кластер Служба Azure Kubernetes (AKS) с файловой системой Azure Managed Lustre, вы можете найти кластер AKS в той же подсети, что и файловая система. В этом случае необходимо предоставить достаточно IP-адресов для узлов и модулей pod AKS в дополнение к адресной области файловой системы Lustre. Если в виртуальной сети используется несколько кластеров AKS, убедитесь, что виртуальная сеть имеет достаточную емкость для всех ресурсов во всех кластерах. Дополнительные сведения о сетевых стратегиях для управляемого Lustre и AKS Azure см. в статье "Доступ к подсети AKS".
Если вы планируете использовать другой ресурс для размещения вычислительных виртуальных машин в той же виртуальной сети, проверьте требования для этого процесса перед созданием виртуальной сети и подсети для системы Azure Managed Lustre. При планировании нескольких кластеров в одной подсети необходимо использовать адресное пространство достаточно большого размера, чтобы соответствовать общим требованиям для всех кластеров.
Доступ и разрешения подсети
По умолчанию для включения Управляемого Lustre Azure не требуется вносить определенные изменения. Если в вашей среде включены политики ограниченной сети или безопасности, следует рассмотреть следующее руководство.
| Тип доступа | Обязательные параметры сети |
|---|---|
| Доступ к DNS | Используйте DNS-сервер на основе Azure по умолчанию. |
| Доступ между узлами | Разрешить входящий и исходящий доступ между узлами в подсети Azure Managed Lustre. Например, для развертывания кластера необходим доступ к TCP-порту 22 (SSH). |
| Доступ к облачной службе Azure | Настройте группу безопасности сети, чтобы разрешить управляемой файловой системе Lustre Azure доступ к облачным службам Azure из подсети файловой системы. Добавьте правило безопасности исходящего трафика со следующими свойствами: - Порт: любой - Протокол: любой - Источник: виртуальная сеть - Назначение: тег службы AzureCloud - Действие: Разрешить Примечание. Настройка облачной службы Azure также обеспечивает необходимую конфигурацию службы очередей Azure. Дополнительные сведения см. в разделе тегов службы виртуальной сети. |
| Доступ к сетевому порту Lustre | Группа безопасности сети должна разрешить входящий и исходящий доступ через порт 988 и порты 1019-1023. Другие службы не могут зарезервировать или использовать эти порты на клиентах Lustre. Правила 65000 AllowVnetInBound по умолчанию и 65000 AllowVnetOutBound соответствуют этому требованию. |
Подробные инструкции по настройке группы безопасности сети для управляемых файловых систем Azure Lustre см. в статье "Создание и настройка группы безопасности сети".
Известные ограничения
Следующие известные ограничения применяются к параметрам виртуальной сети для управляемых файловых систем Azure Lustre:
- Ресурсы Azure Managed Lustre и Azure NetApp Files не могут совместно использовать подсеть. Если вы используете службу Azure NetApp Files, необходимо создать управляемую файловую систему Lustre Azure в отдельной подсети. Развертывание завершается ошибкой, если вы пытаетесь создать управляемую файловую систему Azure Lustre в подсети, которая содержится в настоящее время или ранее содержала ресурсы Azure NetApp Files.
- Если вы используете
ypbindуправляющую программу для клиентов для поддержания сведений о привязке сетевых служб (NIS), необходимо убедиться, чтоypbindпорт 988 не резервируется. Вы можете вручную настроить порты, которыеypbindрезервируются, или убедиться, что инфраструктура запуска системы запускает подключение клиента Lustre перед запускомypbind.
Примечание.
После создания файловой системы Azure Managed Lustre в группе ресурсов файловой системы появятся несколько новых сетевых интерфейсов. Их имена начинаются с amlfs- и заканчиваются -snic. Не изменяйте параметры этих интерфейсов. В частности, оставьте значение по умолчанию включено для параметра ускорения сети. Отключение ускоренной сети в этих сетевых интерфейсах снижает производительность файловой системы.
Предварительные требования для интеграции BLOB-объектов (необязательно)
Если вы планируете интегрировать файловую систему Azure Managed Lustre с Хранилище BLOB-объектов Azure, выполните следующие предварительные требования перед созданием файловой системы.
Дополнительные сведения об интеграции BLOB-объектов см. в статье "Использование хранилища BLOB-объектов Azure" с файловой системой Azure Managed Lustre.
Управляемый Azure Lustre работает с учетными записями хранения с включенным иерархическим пространством имен и учетными записями хранения с не иерархическим пространством имен или неструктурированным пространством имен. Применяются следующие незначительные различия:
- Для учетной записи хранения с включенным иерархическим пространством имен Управляемый Lustre считывает атрибуты POSIX из заголовка BLOB-объекта.
- Для учетной записи хранения, которая не включает иерархическое пространство имен, Управляемый Lustre считывает атрибуты POSIX из метаданных BLOB-объектов. Отдельный пустой файл с тем же именем, что и содержимое контейнера BLOB-объектов, создается для хранения метаданных. Этот файл является братом фактического каталога данных в управляемой файловой системе Lustre Azure.
Чтобы интегрировать Хранилище BLOB-объектов Azure с управляемой файловой системой Lustre Azure, перед созданием файловой системы необходимо создать или настроить следующие ресурсы:
Storage account
Необходимо создать учетную запись хранения или использовать существующую. Учетная запись хранения должна иметь следующие параметры:
- Тип учетной записи — совместимый тип учетной записи хранения. Дополнительные сведения см. в разделе "Поддерживаемые типы учетных записей хранения".
- Доступ к ролям — назначения ролей , которые позволяют системе Azure Managed Lustre изменять данные. Дополнительные сведения см. в статье "Обязательные роли доступа".
- Ключи доступа. Учетная запись хранения должна иметь параметр доступа к ключу учетной записи хранения, для которых задано значение "Включено".
Поддерживаемые типы учетных записей хранения
Следующие типы учетных записей хранения можно использовать с управляемыми файловыми системами Lustre Azure:
| Storage account type | Избыточность |
|---|---|
| Стандартные | Локально избыточное хранилище (LRS), геоизбыточное хранилище (GRS) Хранилище, избыточное между зонами (ZRS), геоизбыточное хранилище (RAGRS), геоизбыточное хранилище (GZRS), хранилище с избыточностью между зонами чтения (RA-GZRS) |
| Премиум — блочные BLOB-объекты | LRS, ZRS |
Дополнительные сведения о типах учетных записей хранения см. в разделе "Типы учетных записей хранения".
Доступ к ролям для интеграции BLOB-объектов
Для доступа к учетной записи хранения требуется авторизация Управляемого Lustre Azure. Используйте управление доступом на основе ролей Azure (Azure RBAC), чтобы предоставить файловой системе доступ к хранилищу BLOB-объектов.
Владелец учетной записи хранения должен добавить эти роли перед созданием файловой системы:
Внимание
Перед созданием управляемой файловой системы Lustre Azure необходимо добавить эти роли. Если файловая система не может получить доступ к контейнеру BLOB-объектов, создание файловой системы завершается ошибкой. Проверка, выполненная до создания файловой системы, не может обнаруживать проблемы с разрешением доступа к контейнерам. Для распространения параметров роли через среду Azure может потребоваться до пяти минут.
Чтобы добавить роли для поставщика ресурсов HPC Cache субъекта-службы, выполните следующие действия.
- Перейдите к учетной записи хранения и выберите элемент управления доступом (IAM) в области навигации слева.
- Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу Добавление назначения ролей.
- Назначьте роль.
- Добавьте поставщика ресурсов HPC Cache в ту роль.
Совет
Если поставщик ресурсов HPC Cache не удается найти, выполните поиск хранилища . Поставщик ресурсов storagecache был именем субъекта-службы до общедоступной доступности продукта.
- Повторите шаги 3 и 4, чтобы добавить каждую роль.
Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.
контейнеров BLOB-объектов;
В одной учетной записи хранения должны быть два отдельных контейнера БОЛЬШИХ двоичных объектов, которые используются в следующих целях:
- Контейнер данных: контейнер BLOB-объектов в учетной записи хранения, содержащий файлы, которые вы хотите использовать в файловой системе Azure Managed Lustre.
- Контейнер ведения журнала: второй контейнер для журналов импорта и экспорта в учетной записи хранения. Журналы должны храниться в другом контейнере из контейнера данных.
Примечание.
Файлы можно добавить в файловую систему позже из клиентов. Однако файлы, добавленные в исходный контейнер BLOB-объектов после создания файловой системы, не будут импортированы в файловую систему Azure Managed Lustre, если только не создадите задание импорта.
Частные конечные точки (необязательно)
Если вы используете частную конечную точку с настройкой большого двоичного объекта, чтобы убедиться, что Управляемый Lustre Azure может разрешить имя SA, необходимо включить параметр частной конечной точки Интеграции с частной зоной DNS во время создания новой конечной точки.
- Интеграция с зоной Частная зона DNS: необходимо задать значение "Да".
