Развертывание sas Grid 9.4 в Azure NetApp Files

Azure NetApp Files

Виртуальные машины Azure

Программное обеспечение аналитики SAS предоставляет набор служб и инструментов для получения аналитических сведений о данных и принятия интеллектуальных решений. Решения SAS предоставляют аналитику, искусственный интеллект, бизнес-аналитику, аналитику клиентов, управление данными и аналитику мошенничества и безопасности.

Если вы развертываете сетку SAS в Azure, Azure NetApp Files является жизнеспособным вариантом основного хранилища. При использовании масштабируемых служб Azure NetApp Files можно масштабировать выделение хранилища вверх или вниз в любое время без прерывания работы со службами. Вы также можете настроить уровень обслуживания хранилища в соответствии с требованиями к производительности динамически.

SAS предлагает следующие основные платформы, которые корпорация Майкрософт проверила:

Сетка SAS 9.4
SAS Viya

В Linux проверена сетка SAS 9.4.

В этой статье содержатся общие сведения о запуске sas Grid 9.4 в Azure с помощью Azure NetApp Files для хранилища SASDATA. Он также содержит рекомендации по вариантам хранения ДЛЯ SASWORK. Эти рекомендации основаны на предположении, что вы размещаете собственное решение SAS в Azure в собственном клиенте. SAS не предоставляет размещение для службы "Сетка SAS" в Azure.

Архитектура

Скачайте файл PowerPoint всех схем в этой статье.

Поток данных

На уровне вычислений используются тома SASDATA (и при необходимости SASWORK) для совместного использования данных в сетке. SASDATA — это том, подключенный к NFS, в Azure NetApp Files.

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Следующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.

Потенциальные варианты использования

Масштабируемое развертывание сетки SAS, использующее Azure NetApp Files, применимо к этим вариантам использования:

Финансовая аналитика
Обнаружение мошенничества
Отслеживание и защита видов, находящихся под угрозой исчезновения
Наука и медицина
Аналитика и ИИ

Требования к производительности хранилища

Для развертываний SAS 9.4 (Сетка SAS или SAS Analytics Pro) в Azure Azure NetApp Files является жизнеспособным вариантом основного хранилища для кластеров сетки SAS ограниченного размера. SAS рекомендует пропускную способность 100 МиБ/с на физическое ядро. Учитывая рекомендацию, кластеры сетки SAS, использующие том Azure NetApp Files для SASDATA (постоянные файлы данных SAS), масштабируются до 32 до 48 физических ядер на двух или более виртуальных машинах Azure. Размеры кластера SAS основаны на ограничении архитектуры одного пространства имен SASDATA для каждого кластера SAS и доступной пропускной способности тома Azure NetApp Files. Рекомендации по количеству основных компонентов будут изменены, так как инфраструктура Azure (вычислительные ресурсы, сеть и пропускная способность хранилища файловой системы) увеличивается со временем.

Типы томов Azure NetApp Files

Azure NetApp Files предлагает два различных типа томов для рабочих нагрузок, подключенных к сети (NAS).

Обычные тома предоставляют:

До 4500 МиБ/с чтения.
До 1500 МиБ/с записей.
460 000 операций ввода-вывода в секунду (IOPS).
До 100 ТиБ общей емкости.
Минимальный размер 100 ГиБ.

Большие тома, которые достигли общедоступной доступности в мае 2024 г., предоставляют:

До 10 000 ГиБ/с пропускной способности.
До 800 000 операций ввода-вывода в секунду.
1000 ТиБ общей емкости.
Минимальная емкость 50 ТиБ.

Дополнительные сведения см. в разделе "Требования и рекомендации по большим объемам".

Ожидания производительности регулярных томов в Azure NetApp Files

Один обычный том Azure NetApp Files может обрабатывать до примерно 4500 МиБ/с операций чтения и 1500 МиБ/с записей. Учитывая тип экземпляра Azure с достаточной пропускной способностью исходящего трафика, одна виртуальная машина может использовать всю пропускную способность записи одного регулярного тома Azure NetApp Files. Однако только самая большая одна виртуальная машина, доступная в Azure, может использовать всю пропускную способность чтения одного тома. Если требуется больше пропускной способности для рабочей нагрузки, рассмотрите возможность использования большого тома Azure NetApp Files.

SASDATA, основная общая рабочая нагрузка SAS 9.4, имеет коэффициент чтения и записи 80:20. Важные числа для каждой тома рабочей нагрузки 80:20 с 64 КИБ чтения и записи:

2400 МиБ/с пропускной способности чтения и 600 МиБ/с пропускной способности записи, которая выполняется одновременно. Объединенная пропускная способность составляет около 3000 МиБ/с.

Дополнительные сведения см. в статье о тестах производительности Azure NetApp Files для Linux.

Производительность большого тома для сетки SAS

Один большой том Azure NetApp Files может обрабатывать до 10 ГиБ/с общей пропускной способности, что означает, что производительность сетки SAS может быть гораздо больше при работе с большими масштабами.

В следующей таблице показаны результаты производительности рабочих нагрузок, использующих сетку SAS в большом томе Azure NetApp Files с различными примерами размеров виртуальных машин. Список примеров содержит количество экземпляров, потоки на экземпляр и nconnect значения, использующие Red Hat Enterprise Linux (RHEL) 8.4.

Экземпляр виртуальной машины	Число экземпляров	Потоки на экземпляр	Значение `nconnect`	Чтение MiB/s для каждого потока	Запись в потоке MiB/s	Общее число операций чтения MiB/s	Общее число операций записи MiB/s
E32s_v5	1	16	8	465	113	7440	1,808
E32s_v5	2	16	8	411	113	13,152	3,616
E32s_v5	3	16	8	223	113	10 704	5,424
E32s_v5	6	16	8	117	107	11,232	10,272
E104id_v5	1	52	8	161	47	8,372	2,444
E104id_v5	1	52	16	192	50	9,984	2,600

Примечание.

Если требуется больше производительности для томов SASDATA или SASWORK, используйте большие тома Azure NetApp Files. Дополнительные сведения см. в разделе "Требования и рекомендации по большим объемам".

Защита данных

Azure NetApp Files использует моментальные снимки для защиты данных. Моментальные снимки обеспечивают отказоустойчивые и практически мгновенные образы томов Azure NetApp Files. Моментальные снимки можно создавать вручную в любое время или планировать их с помощью политики моментальных снимков на томе.

Используйте политику моментальных снимков для добавления автоматической защиты данных в тома. Вы можете быстро восстановить моментальные снимки с помощью восстановления моментального снимка. Кроме того, можно восстановить моментальный снимок в новом томе для быстрого восстановления данных. Вы также можете использовать восстановление в новых функциональных возможностях тома для предоставления сред тестирования и разработки с текущими данными.

Для дополнительных уровней защиты данных можно использовать решения для защиты данных, использующие резервное копирование Azure NetApp Files или программное обеспечение резервного копирования партнеров.

Компоненты

Azure Виртуальные машины. Для сетки SAS требуется высокая пропускная способность памяти, хранилища и ввода-вывода в соответствующем соотношении с количеством ядер. Azure предлагает предопределенные размеры виртуальных машин с меньшим количеством виртуальных ЦП, которые могут помочь сбалансировать количество ядер, необходимых для объема памяти, хранилища и пропускной способности ввода-вывода.

Дополнительные сведения см. в статье о размерах виртуальных ЦП с ограниченными возможностями виртуальной машины. Важно тщательно понять, какие вычислительные ресурсы доступны каждому экземпляру. Чтобы запустить службу "Сетка SAS" в Azure с помощью Azure NetApp Files, мы рекомендуем использовать следующие типы экземпляров:
- Standard_E64-16ds_v4 или Standard_E64-16ds_v5
- Standard_E64-32ds_v4 или Standard_E64-32ds_v5
Ознакомьтесь с рекомендациями по использованию SAS в Azure, включая обновления в комментариях.
Azure NetApp Files. Вы можете хранить SASDATA в томе Azure NetApp Files, совместно используемом в вычислительном кластере.

Кроме того, можно использовать тома NFS Azure NetApp Files для SASWORK.

Azure NetApp Files доступна на трех уровнях обслуживания производительности:
- Standard
- Premium
- Ультра
Производительность тома в основном определяется уровнем обслуживания. Размер тома также является фактором, так как доступная пропускная способность определяется уровнем обслуживания и размером тома.

Параметры хранения для SASDATA

Так как Azure NetApp Files может обеспечить высокую пропускную способность и доступ к хранилищу с низкой задержкой, это жизнеспособный и более быстрый вариант для диска Класса Premium. Подключенное к сети хранилище не регулируется на уровне виртуальной машины, так как оно используется с управляемыми дисками, поэтому вы получаете более высокую пропускную способность к хранилищу.

Чтобы оценить необходимый уровень емкости SASDATA, используйте калькулятор производительности Azure NetApp Files. (Не забудьте выбрать дополнительно.)

Так как тома NFS Azure NetApp Files являются общими, они являются хорошим кандидатом для размещения SASDATA, если они используются с правильными типами экземпляров виртуальных машин и распределением RHEL, рассмотренными далее в этой статье.

Параметры хранения для SASWORK

В следующей таблице показаны наиболее распространенные варианты хранения для развертывания SASWORK в Azure. В зависимости от размера (емкости) и скорости (пропускной способности) у вас есть три варианта: временное хранилище, управляемый диск и Azure NetApp Files.

	Временное хранилище	Управляемый диск	Azure NetApp Files
Размер	Небольшой	Большой	Очень крупная
Скорость	Очень крупная	Небольшой	Средняя

При выборе варианта следует учитывать следующие рекомендации.

Временное хранилище (или эфемерное хранилище) обеспечивает максимальную пропускную способность, но она доступна только в меньших размерах. (Размер зависит от номера SKU виртуальной машины.) В зависимости от доступных и необходимых емкостей этот вариант может быть лучшим.
Если необходимая емкость SASWORK превышает размер временного хранилища выбранного номера SKU виртуальной машины, рассмотрите возможность использования управляемого диска Azure для размещения SASWORK. Однако помните, что пропускная способность управляемого диска ограничена архитектурой виртуальной машины по проектированию и зависит от номера SKU виртуальной машины. Поэтому этот вариант хранения подходит только для сред с более низкими требованиями к производительности SASWORK.
Для самых высоких требований к емкости SASWORK и средней производительности за пределами того, что могут предоставить управляемые диски Azure, рассмотрим Azure NetApp Files для SASWORK. Он обеспечивает большой размер вместе с быстрой пропускной способностью.

Внимание

В любом сценарии следует помнить, что SASWORK нельзя совместно использовать между вычислительными узлами виртуальной машины, поэтому необходимо создать отдельные тома SASWORK для каждого вычислительного узла. Томам необходимо подключиться к NFS только на одном вычислительном узле.

При использовании предыдущей таблицы необходимо решить, являются ли ваши потребности небольшими, средними или дополнительными, учитывать масштаб развертывания, количество виртуальных машин и ядер, а также соответствующие требования к емкости и производительности. Эти оценки необходимо сделать для каждого развертывания.

Параметры в таблице соответствуют развертываниям, описанным в следующих архитектурах. Во всех сценариях SASDATA размещается в томе NFS Azure NetApp Files и предоставляет общий доступ к вычислительным узлам. Для некоторых дистрибутивов RHEL рекомендуется использовать параметр nconnect NFS для создания нескольких сетевых потоков в том. Дополнительные сведения см. в разделе параметров подключения NFS этой статьи.

Архитектура временного хранилища

Для небольших требований к емкости SASWORK временный хранилище виртуальной машины Azure — это быстрое и экономичное решение. В этой архитектуре каждая виртуальная машина на уровне вычислений оснащена временным хранилищем. Сведения о временных размерах хранилища для используемых виртуальных машин см. в документации по виртуальной машине Azure.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Следующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится во временном хранилище на каждом вычислительном узле.

Архитектура управляемого диска

Если требования к емкости SASWORK превышают емкость, доступную во временном хранилище, управляемые диски Azure являются хорошим вариантом. Управляемые диски доступны в различных размерах и уровнях производительности. Дополнительные сведения см. в разделе "Целевые показатели масштабируемости и производительности" для дисков виртуальных машин.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Следующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится на управляемых дисках, подключенных к каждому вычислительному узлу.

Архитектура Azure NetApp Files

Для повышения емкости SASWORK или среднего уровня производительности рекомендуется использовать Azure NetApp Files. Azure NetApp Files предоставляет емкости томов до 100 ТиБ с обычным томом и 1 PiB с большим объемом. Каждый узел на уровне вычислений должен иметь собственный том SASWORK. Томам не следует предоставлять общий доступ.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Следующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится в отдельных томах Azure NetApp Files, подключенных к каждому вычислительному узлу.

Дистрибутивы RHEL и параметры NFS

Дистрибутивы RHEL

RHEL — это рекомендуемый дистрибутив для запуска SAS 9 в Linux. Каждое ядро, поддерживаемого Red Hat, имеет собственные ограничения пропускной способности NFS.

Сведения о запуске SAS в Azure см. в рекомендациях по использованию SAS в Azure.

Для SAS рекомендуется использовать Standard_E64-16ds_v4 Standard_E64 и Standard_E64 виртуальные машины 32ds_v4 или их эквиваленты версии 5. Учитывая эти рекомендации, в этом разделе приведены некоторые рекомендации по использованию SAS с Azure NetApp Files.

Если вы используете RHEL 7, Standard_E64-16ds_v4 или Standard_E64-16ds_v5 является лучшим выбором на основе 100-MiB/s на физический целевой объект для SASDATA.
- Standard_E64-16ds_v4: 90–100 МиБ/с на ядро
- Standard_E64-32ds_v4: 45-50 МиБ/с на ядро
Если вы используете RHEL 8.2, Standard_E64-16ds_v4 или Standard_E64-32ds_v4 или их эквиваленты версии 5, возможны. Standard_E64-16ds_v4 предпочтительнее, учитывая 100-МиБ/с на основной целевой объект SASDATA.
- Standard_E64-16ds_v4: 150-160 МиБ/с на ядро
- Standard_E64-32ds_v4: 75-80 МиБ/с на ядро
Если вы используете RHEL 8.3, то оба Standard_E64-16ds_v4 и Standard_E64-32ds_v4 или их эквиваленты версии 5 полностью допустимы, учитывая целевой целевой пропускной способности для каждого ядра:
- Проверка указывает на 3200 МиБ/с операций чтения.
- Эти результаты достигаются с помощью параметра подключения NFS nconnect .

Тестирование показывает, что один экземпляр RHEL 7 достигает не более 750-800 МиБ/с пропускной способности чтения для одной конечной точки хранилища Azure NetApp Files (т. е. для сетевого сокета). 1500 МиБ/с записей доступны для одной конечной точки, если вы используете параметры подключения 64-KiB rsize и wsize NFS. Некоторые доказательства свидетельствуют о том, что ранее отмеченный потолок пропускной способности чтения является артефактом ядра 3.10. Дополнительные сведения см. в статье RHEL CVE-2019-11477.

Тестирование показывает, что один экземпляр RHEL 8.2 с ядром 4.18 без ограничений, отмеченных в ядре 3.10. Таким образом, 1200-1300 МиБ/с трафика чтения достижимо, если вы используете параметр подключения 64-KiB rsize и wsize NFS. Для больших последовательных операций записи можно ожидать ту же 1500 МиБ/с достижимой пропускной способности, которую вы получили бы на RHEL 7.

С одним экземпляром RHEL 8.3 с параметром подключения nconnect (который является новым в дистрибутиве RHEL 8.3), пропускная способность чтения около 3200 МиБ/с достижима из одного тома Azure NetApp Files. Не ожидайте более 1500 МиБ/с записи в один том Azure NetApp Files, даже если вы применяете nconnect.

Перенастройки ядра

Записи таблицы слотов

NFSv3 не имеет механизма согласования параллелизма между клиентом и сервером. Клиент и сервер определяют свои ограничения без осведомленности о другом. Для оптимальной производительности следует уровнять максимальное число записей в таблице слотов sunrpc на стороне клиента в соответствии с тем, что поддерживается на сервере без ответной реакции. Когда клиент перегружен способностью сетевого стека сервера обрабатывать рабочую нагрузку, сервер реагирует, уменьшая размер окна подключения, который не идеально подходит для производительности.

По умолчанию современные ядра Linux определяют размер sunrpc.max_tcp_slot_table_entries записи таблицы слотов для каждого подключения sunrpc для поддержки 65 536 невыполненных операций. Эти записи в таблице слотов определяют ограничения параллелизма. Значения этого максимума не нужны, так как Azure NetApp Files по умолчанию использует 128 невыполненных операций.

Рекомендуется настроить клиент на одно и то же число:

Tunables ядра (через /etc/sysctl.conf)
- sunrpc.tcp_max_slot_table_entries=128

Настройка кэша файловой системы

Кроме того, необходимо понять следующие факторы настройки кэша файловой системы:

Очистка грязного буфера оставляет данные в чистом состоянии, доступные для будущих операций чтения, пока давление памяти не приведет к вытеснениям.
Существует три триггера для асинхронной операции очистки:
- На основе времени: когда буфер достигает возраста, определенного vm.dirty_expire_centisecs или vm.dirty_writeback_centisecs , он должен быть помечен для очистки (то есть очистки или записи в хранилище).
- Давление памяти. Дополнительные сведения см. в разделе vm.dirty_ratio | vm.dirty_bytes.
- Закрытие: при закрытии дескриптора файла все "грязные" буферы асинхронно записываются в хранилище.

Эти факторы контролируются четырьмя настраиваемыми параметрами. Вы можете настроить каждый тонируемый динамически и постоянно с помощью tuned или sysctl в файле /etc/sysctl.conf . Настройка этих переменных повышает производительность для сетки SAS:

Настройка ядра (с помощью настраиваемого настроенного профиля)
- include = throughput-performance
- vm.dirty_bytes = 31457280
- vm.dirty_expire_centisecs = 100
- vm.dirty_writeback_centisecs = 300

Параметры подключения NFS

Мы рекомендуем использовать следующие параметры подключения NFS для общих файловых систем NFS, которые используются для постоянных файлов SASDATA :

RHEL 7 и 8.2

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev

RHEL 8.3

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nconnect=8

Рекомендуется использовать следующие варианты подключения томов SASWORK, в которых соответствующие тома используются исключительно для SASWORK и не используются между узлами:

RHEL 7 и 8.2

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nocto

RHEL 8.3

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nocto,nconnect=8

Дополнительные сведения о преимуществах и стоимости nocto параметра подключения см. в разделе "Близко к открытому" согласованности и таймерам атрибутов кэша.

Также следует просмотреть Azure NetApp Files: общая файловая система, используемая с сеткой SAS в MS Azure, включая все обновления в комментариях.

Параметры NFS для чтения

Рекомендуется настроить NFS для чтения для всех дистрибутивов RHEL значение 15 360 КИБ. Дополнительные сведения см. в статье о том, как постоянно устанавливать операции чтения для подключений NFS.

Альтернативные варианты

Решение хранилища в предыдущих архитектурах имеет высокий уровень доступности, как указано в соглашении об уровне обслуживания Azure NetApp Files. Для дополнительной защиты и доступности можно реплицировать тома хранилища в другой регион Azure с помощью репликации Между регионами Azure NetApp Files.

Существует два основных преимущества репликации томов с помощью решения хранилища:

Дополнительная нагрузка на виртуальные машины приложения отсутствует.
Это решение устраняет необходимость запуска виртуальных машин в целевом регионе во время нормальной работы.

Содержимое хранилища реплицируется без использования ресурсов вычислительной инфраструктуры, а целевой регион не должен запускать программное обеспечение SAS. Для поддержки этого сценария не требуется запускать конечные виртуальные машины.

В следующей архитектуре показано, как содержимое хранилища в Azure NetApp Files реплицируется во второй регион, где хранилище заполняется репликой рабочих данных. Если есть отработка отказа, дополнительный регион подключен к сети, и виртуальные машины запускаются, чтобы рабочие машины могли возобновить работу во втором регионе. Необходимо перенаправить трафик во второй регион, перенастроив подсистемы балансировки нагрузки, которые не отображаются на схеме.

Обычное RPO для этого решения составляет менее 20 минут, если интервал обновления репликации между регионами имеет значение 10 минут.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Следующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится в отдельных томах Azure NetApp Files, подключенных к каждому вычислительному узлу.
Репликация Azure NetApp Files между регионами асинхронно реплицирует том SASDATA, включая все моментальные снимки, в регион аварийного восстановления, чтобы упростить отработку отказа при возникновении региональной аварии.

Развертывание этого сценария

Рекомендуется развернуть рабочие нагрузки с помощью процесса инфраструктуры в виде кода (IaC). Рабочие нагрузки SAS могут быть чувствительны к неправильной настройке, которые часто происходят в ручном развертывании и снижают производительность.

Чтобы начать разработку сетки SAS в решении Azure, просмотрите SAS в архитектуре Azure и автоматизацию развертывания SAS в Azure с помощью GitHub Actions.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Основные авторы:

Geert van Teylingen | Диспетчер продуктов группы
Arnt de Gier | Инженер технического маркетинга

Другие участники:

Мик Альбертс | Технический писатель

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Поделиться через

Развертывание sas Grid 9.4 в Azure NetApp Files

Архитектура

Поток данных

Потенциальные варианты использования

Требования к производительности хранилища

Типы томов Azure NetApp Files

Ожидания производительности регулярных томов в Azure NetApp Files

Производительность большого тома для сетки SAS

Рекомендации по емкости

Защита данных

Компоненты

Параметры хранения для SASDATA

Параметры хранения для SASWORK

Архитектура временного хранилища

Поток данных

Архитектура управляемого диска

Поток данных

Архитектура Azure NetApp Files

Поток данных

Рекомендации по масштабированию и настройке

Дистрибутивы RHEL и параметры NFS

Дистрибутивы RHEL

Перенастройки ядра

Записи таблицы слотов

Настройка кэша файловой системы

Параметры подключения NFS

Параметры NFS для чтения

Альтернативные варианты

Поток данных

Рекомендации

Надежность

Безопасность

Оптимизация производительности

Производительность

Масштабируемость

Оптимизация затрат

Модель затрат

Цены

Эффективность работы

Развертывание этого сценария

Соавторы

Следующие шаги

Связанные ресурсы

Обратная связь

Дополнительные ресурсы