Развертывание моделей как бессерверных API

Статья
10/16/2024

В этой статье вы узнаете, как развернуть модель из каталога моделей в качестве бессерверного API с выставлением счетов по мере использования маркеров.

Внимание

Модели, которые находятся в предварительной версии, помечены как предварительный просмотр на своих карточках моделей в каталоге моделей.

Некоторые модели в каталоге моделей можно развернуть как бессерверный API с выставлением счетов по мере использования. Такой тип развертывания позволяет использовать модели в качестве API без размещения их в подписке, сохраняя корпоративную безопасность и соответствие требованиям, необходимым организациям. Этот параметр развертывания не требует квоты из подписки.

В этой статье используется развертывание модели Meta Llama для иллюстрации. Однако для развертывания любой модели в каталоге моделей, доступных для развертывания бессерверного API, можно использовать те же действия.

Необходимые компоненты

Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.
Центр Azure AI Studio.
Проект Azure AI Studio.
Управление доступом на основе ролей Azure (Azure RBAC) используется для предоставления доступа к операциям в Azure AI Studio. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена роли разработчика ИИ Azure в группе ресурсов. Дополнительные сведения о разрешениях см. в статье "Управление доступом на основе ролей" в Azure AI Studio.
Для работы с Azure AI Studio необходимо установить следующее программное обеспечение:
Вы можете использовать любой совместимый веб-браузер для навигации по Azure AI Studio.
Azure CLI и расширение ml для Машинное обучение Azure.
```
az extension add -n ml
```
Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.
```
az extension update -n ml
```
После установки расширения настройте его:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Установите пакет SDK Машинное обучение Azure для Python.
```
pip install -U azure-ai-ml
```
После установки импортируйте необходимые пространства имен и создайте клиент, подключенный к проекту:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Установите Azure CLI, как описано в Azure CLI.

Настройте следующие переменные среды в соответствии с параметрами:
```
RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2" 
```
Вы можете использовать любой совместимый веб-браузер для развертывания шаблонов ARM в Microsoft портал Azure или любого из средств развертывания. В этом руководстве используется Azure CLI.

Поиск модели и идентификатора модели в каталоге моделей

Войдите в Azure AI Studio.
Для моделей, предлагаемых через Azure Marketplace, убедитесь, что у вашей учетной записи есть разрешения на роль разработчика ИИ Azure в группе ресурсов или вы соответствуете разрешениям, необходимым для подписки на предложения моделей.

Счета за модели, предоставляемые поставщиками, не являющихся майкрософт (например, модели Llama и Mistral) выставляются через Azure Marketplace. Для таких моделей необходимо подписать проект на конкретное предложение модели. Модели, предлагаемые корпорацией Майкрософт (например, модели Phi-3), не имеют этого требования, так как выставление счетов выполняется по-разному. Дополнительные сведения о выставлении счетов за бессерверное развертывание моделей в каталоге моделей см. в разделе "Выставление счетов для бессерверных API".
Выберите каталог моделей на левой боковой панели и найдите карточку модели, которую вы хотите развернуть. В этой статье вы выбираете модель Meta-Llama-3-8B-Instruct .
1. Если вы развертываете модель с помощью Azure CLI, Python или ARM, скопируйте идентификатор модели.
  
  Внимание
  
  Не включайте версию при копировании идентификатора модели. Конечные точки API без сервера всегда развертывают последнюю версию модели. Например, для идентификатора azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3модели скопируйте azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

В следующем разделе рассматриваются действия по подписке проекта на предложение модели. Этот раздел можно пропустить и перейти к развертыванию модели в конечной точке бессерверного API, если вы развертываете модель Майкрософт.

Конечные точки API без сервера могут развертывать как предлагаемые корпорацией Майкрософт, так и не майкрософт модели. Для моделей Майкрософт (таких как модели Phi-3) вам не нужно создавать подписку Azure Marketplace и развертывать их в бессерверных конечных точках API непосредственно для использования прогнозов. Для моделей, отличных от Майкрософт, сначала необходимо создать подписку. Если вы впервые развертываете модель в проекте, необходимо подписаться на проект для конкретного предложения модели из Azure Marketplace. Каждый проект имеет собственную подписку на конкретное предложение Azure Marketplace модели, что позволяет контролировать расходы и отслеживать расходы.

Совет

Пропустите этот шаг, если вы развертываете модели из семейства моделей Phi-3. Непосредственно разверните модель в конечной точке БЕССерверного API.

Примечание.

Модели, предлагаемые в Azure Marketplace, доступны для развертывания в конечных точках API без сервера в определенных регионах. Проверьте доступность модели и региона для развертываний бессерверных API, чтобы проверить, какие модели и регионы доступны. Если нужный объект не указан, можно развернуть в рабочей области в поддерживаемом регионе, а затем использовать конечные точки API без сервера из другой рабочей области.

Создайте подписку Marketplace модели. При создании подписки вы принимаете условия, связанные с предложением модели.
1. На странице сведений о модели выберите "Развернуть". Откроется окно параметров развертывания, предоставляющее выбор между бессерверным развертыванием API и развертыванием с помощью управляемых вычислений.
  
  Примечание.
  
  Для моделей, которые можно развернуть только с помощью бессерверного развертывания API, мастер развертывания бессерверных API открывается сразу после выбора " Развернуть " на странице сведений о модели.
2. Выберите бессерверный API с помощью azure AI Content Safety (предварительная версия), чтобы открыть мастер развертывания бессерверных API.
3. Выберите проект, в котором требуется развернуть модели. Чтобы использовать предложение развертывания модели API без сервера, проект должен принадлежать одному из регионов, которые поддерживаются для бессерверного развертывания для конкретной модели.
4. Если вы видите заметку , у вас уже есть подписка Azure Marketplace для этого проекта, вам не нужно создавать подписку, так как у вас уже есть подписка. Вы можете перейти к развертыванию модели в конечной точке бессерверного API.
5. В мастере развертывания выберите ссылку на условия использования Azure Marketplace, чтобы узнать больше об условиях использования. Вы также можете выбрать вкладку "Цены и условия ", чтобы узнать о ценах для выбранной модели.
6. Выберите "Подписаться" и " Развернуть".
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Используйте предыдущий файл для создания подписки:
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
Используйте следующую конфигурацию bicep для создания подписки модели:

model-subscription.bicep
```
param projectName string = 'my-project'
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
  modelId,
  'azureml://registries/azureml/'
)) {
  name: '${projectName}/${subscriptionName}'
  properties: {
    modelId: modelId
  }
}
```
Затем создайте ресурс следующим образом:
```
az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
```
Чтобы создать подписку модели, используйте следующий шаблон:

model-subscription.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
Используйте портал Azure или Azure CLI для создания развертывания.
```
az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.json
```
Подписавшись на проект для конкретного предложения Azure Marketplace, последующие развертывания одного и того же предложения в том же проекте не требуют повторной подписки.
В любой момент вы можете просмотреть предложения модели, на которые в настоящее время подписан ваш проект:
1. Переход на портал Azure.
2. Перейдите в группу ресурсов, в которой принадлежит проект.
3. В фильтре типов выберите SaaS.
4. Вы увидите все предложения, на которые вы подписаны в настоящее время.
5. Выберите любой ресурс, чтобы просмотреть сведения.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Развертывание модели в конечной точке бессерверного API

После создания подписки для модели, отличной от Майкрософт, можно развернуть связанную модель в конечной точке бессерверного API. Для моделей Майкрософт (например, моделей Phi-3) вам не нужно создавать подписку.

Конечная точка БЕССерверного API предоставляет способ использования моделей в качестве API без размещения их в подписке, при этом организации безопасности и соответствия требованиям предприятия требуются. Этот параметр развертывания не требует квоты из подписки.

В этом разделе описано, как создать конечную точку с именем meta-llama3-8b-qwerty.

Создание бессерверной конечной точки
1. Чтобы развернуть модель Майкрософт, которая не требует подписки на предложение модели:
  1. Выберите "Развернуть ", а затем выберите бессерверный API с помощью azure AI Content Safety (предварительная версия), чтобы открыть мастер развертывания.
  2. Выберите проект, в котором требуется развернуть модель. Обратите внимание, что не все регионы поддерживаются.
2. Кроме того, для модели, отличной от Майкрософт, требующей подписки на модель, если вы только что подписали проект на предложение модели в предыдущем разделе, перейдите к выбору "Развернуть". Кроме того, выберите "Продолжить развертывание " (если в мастере развертывания уже есть подписка Azure Marketplace для этого проекта).
3. Присвойте развертыванию имя. Это имя становится частью URL-адреса API развертывания. Этот URL-адрес должен быть уникальным в каждом регионе Azure.
  
  Совет
  
  Параметр фильтра содержимого (предварительная версия) включен по умолчанию. Оставьте параметр по умолчанию для службы, чтобы обнаружить вредное содержимое, например ненависть, самоповредение, сексуальное и насильственное содержимое. Дополнительные сведения о фильтрации содержимого (предварительная версия) см. в статье "Фильтрация содержимого" в Azure AI Studio.
4. Выберите Развернуть. Подождите, пока развертывание будет готово, и вы будете перенаправлены на страницу "Развертывания".
endpoint.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Используйте файл endpoint.yml для создания конечной точки:
```
az ml serverless-endpoint create -f endpoint.yml
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Чтобы создать конечную точку, используйте следующий шаблон:

serverless-endpoint.bicep
```
param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
```
Создайте развертывание следующим образом:
```
az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
```
Чтобы создать конечную точку, используйте следующий шаблон:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}
```
Затем создайте развертывание:
```
az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file template.json
```
Обработка шаблона развертывания Azure может занять несколько минут. По завершении появится сообщение, содержащее результат:
```
"provisioningState": "Succeeded",
```
В любой момент можно увидеть конечные точки, развернутые в проекте:
1. Перейдите к своему проекту.
2. Выберите раздел "Развертывания"
3. Отображаются конечные точки API без сервера.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.
Вы можете вернуться на страницу "Развертывания", выбрать развертывание и заметить целевой URI конечной точки и ключ. Используйте их для вызова развертывания и создания прогнозов.

Примечание.

При использовании портал Azure конечные точки API без сервера не отображаются по умолчанию в группе ресурсов. Используйте параметр "Показать скрытые типы", чтобы отобразить их в группе ресурсов.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Используйте REST API для запроса этих сведений.

Используйте REST API для запроса этих сведений.
На этом этапе ваша конечная точка готова к использованию.
Если вам нужно использовать это развертывание из другого проекта или концентратора, или вы планируете использовать поток запросов для создания интеллектуальных приложений, необходимо создать подключение к развертыванию бессерверного API. Сведения о настройке существующей конечной точки бессерверного API в новом проекте или концентраторе см. в статье "Использование развернутых конечных точек API без сервера" из другого проекта или потока запроса.

Совет

Если вы используете поток запроса в том же проекте или центре, где развернуто развертывание, необходимо создать подключение.

Использование конечной точки API без сервера

Модели, развернутые в Машинное обучение Azure и Azure AI Studio в конечных точках БЕССерверных API, поддерживают API вывода модели ИИ Azure, предоставляющий общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в единообразном и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Сетевая изоляция

Конечные точки для моделей, развернутых как бессерверные API, следуют параметру флага доступа к общедоступной сети (PNA) центра AI Studio, в котором находится проект, в котором существует развертывание. Чтобы защитить конечную точку MaaS, отключите флаг PNA в Центре AI Studio. Вы можете защитить входящий трафик от клиента к конечной точке с помощью частной конечной точки для концентратора.

Чтобы задать флаг PNA для центра Azure AI Studio, выполните следующие действия.

Переход на портал Azure.
Найдите группу ресурсов, к которой принадлежит концентратор, и выберите центр ИИ Azure из ресурсов, перечисленных для этой группы ресурсов.
На странице обзора концентратора в меню слева выберите "Параметры>сети".
На вкладке "Общедоступный доступ" можно настроить параметры для флага доступа к общедоступной сети.
Сохранение изменений. Для распространения изменений может потребоваться до пяти минут.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели делает любую связанную конечную точку неработоспособным и непригодным для использования.

Чтобы удалить конечную точку API без сервера, выполните следующие действия.

Перейдите в Azure AI Studio.
Перейдите к развертываниям> компонентов.
Откройте развертывание, которое нужно удалить.
Выберите команду Удалить.

Чтобы удалить связанную подписку модели, выполните следующие действия.

Перейдите на портал Azure.
Перейдите в группу ресурсов, в которой принадлежит проект.
В фильтре типов выберите SaaS.
Выберите подписку, которую нужно удалить.
Выберите команду Удалить.

Чтобы удалить конечную точку API без сервера, выполните следующие действия.

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Чтобы удалить связанную подписку модели, выполните следующие действия.

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Чтобы удалить конечную точку API без сервера, выполните следующие действия.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Чтобы удалить связанную подписку модели, выполните следующие действия.

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Средства управления ресурсами можно использовать для управления ресурсами. В следующем коде используется Azure CLI:

az resource delete --name <resource-name>

az resource delete --name <resource-name>

Поделиться через

Развертывание моделей как бессерверных API

Необходимые компоненты

Поиск модели и идентификатора модели в каталоге моделей

Развертывание модели в конечной точке бессерверного API

Использование конечной точки API без сервера

Сетевая изоляция

Удаление конечных точек и подписок

Рекомендации по затратам и квотам для моделей, развернутых в качестве конечных точек API без сервера

Стоимость моделей Майкрософт

Стоимость моделей, отличных от Майкрософт

Обратная связь

Дополнительные ресурсы

Поделиться через

Развертывание моделей как бессерверных API

Необходимые компоненты

Поиск модели и идентификатора модели в каталоге моделей

Подписка проекта на предложение модели

Развертывание модели в конечной точке бессерверного API

Использование конечной точки API без сервера

Сетевая изоляция

Удаление конечных точек и подписок

Рекомендации по затратам и квотам для моделей, развернутых в качестве конечных точек API без сервера

Стоимость моделей Майкрософт

Стоимость моделей, отличных от Майкрософт

Разрешения, необходимые для подписки на предложения моделей

Связанный контент

Обратная связь

Дополнительные ресурсы