Esquema YAML do repositório de recursos da CLI (v2)

  • Artigo

APLICA-SE A: Extensão de ML da CLI do Azurev2 (atual)

Observação

A sintaxe YAML detalhada neste documento baseia-se no esquema JSON da última versão da extensão de ML da CLI v2. Essa sintaxe só tem a garantia de funcionar com a última versão da extensão de ML da CLI v2. Encontre os esquemas para as versões mais antigas da extensão em https://azuremlschemasprod.azureedge.net/.

Sintaxe YAML

Chave Type Descrição Valores permitidos Valor padrão
$schema string O esquema YAML. Se você usar a extensão do Azure Machine Learning para VS Code para criar o arquivo YAML, a inclusão de $schema no início do arquivo permitirá que você ative os preenchimentos de esquema e recursos.
name string Obrigatórios. Nome da tabela de recursos.
compute_runtime objeto A configuração de runtime de computação usada para o trabalho de materialização.
compute_runtime.spark_runtime_version string A versão de runtime do Spark do Azure Machine Learning. 3.4 3.4
offline_store objeto
offline_store.type string Obrigatório se offline_store for fornecido. O tipo de repositório offline. Há suporte apenas para o tipo de armazenamento data lake gen2. azure_data_lake_gen2
offline_store.target string Obrigatório se offline_store for fornecido. O URI de armazenamento do datalake Gen2 no formato de /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Storage/storageAccounts/<account>/blobServices/default/containers/<container>.
online_store objeto
online_store. tipo string Obrigatório se online_store for fornecido. O tipo de loja online. Há suporte apenas para o cache redis. redis
online_store.alvo string Obrigatório se online_store for fornecido. O URI do Cache Redis no formato ./subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Cache/Redis/<redis-name>
materialization_identity objeto A identidade gerenciada atribuída pelo usuário usada para o trabalho de materialização. Essa identidade precisa receber as funções necessárias para acessar o serviço do Repositório de Recursos, a fonte de dados e o armazenamento offline.
materialization_identity.client_id string O ID do cliente de uma identidade gerenciada atribuída pelo usuário.
materialization_identity.resource_id string O ID do recurso de uma identidade gerenciada atribuída pelo usuário.
materialization_identity.principal_id string a ID da entidade de segurança para sua identidade gerenciada atribuída pelo usuário.
descrição string A descrição do recurso.
marcas objeto Dicionário das tags para a entidade do armazenamento de recursos.
display_name string Nome de exibição da loja de recursos na interface do usuário do Studio. Pode ser não exclusivo no grupo de recursos.
local string O local do repositório de recursos. Selecione o local do grupo de recursos.
resource_group string O grupo de recursos que contém o repositório de recursos. Se o grupo de recursos não existir, um novo será criado.

Você pode incluir outras propriedades do espaço de trabalho.

Comentários

O az ml feature-store comando pode ser usado para gerenciar espaços de trabalhos do Azure Machine Learning.

Exemplos

Os exemplos estão disponíveis no repositório de exemplos do GitHub. Alguns exemplos comuns são mostrados aqui:

YAML básico

$schema: http://azureml/sdk-2-0/FeatureStore.json
name: mktg-feature-store
location: eastus

YAML com configuração de repositório offline

$schema: http://azureml/sdk-2-0/FeatureStore.json
name: mktg-feature-store

compute_runtime:
    spark_runtime_version: 3.2

offline_store:
    type: azure_data_lake_gen2
    target: /subscriptions/<sub-id>/resourceGroups/<rg>/providers/Microsoft.Storage/storageAccounts/<account_name>/blobServices/default/containers/<container_name>

materialization_identity:
    client_id: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
    resource_id: /subscriptions/<sub-id>/resourceGroups/<rg>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<uai-name>

# Many of workspace parameters will also be supported:
location: eastus
display_name: marketing feature store
tags:
  foo: bar

Configurar o repositório online na CLI com YAML

$schema: http://azureml/sdk-2-0/FeatureStore.json
name: mktg-feature-store

compute_runtime:
  spark_runtime_version: 3.4

online_store:
  type: redis
  target: "/subscriptions/<sub-id>/resourceGroups/<rg>/providers/Microsoft.Cache/Redis/<redis-name>"

materialization_identity:
  client_id: 00001111-aaaa-2222-bbbb-3333cccc4444
  principal_id: aaaaaaaa-bbbb-cccc-1111-222222222222
  resource_id: /subscriptions/<sub-id>/resourceGroups/<rg>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<uai-name>

# Many of workspace parameters will also be supported:
location: eastus
display_name: marketing feature store
tags:
  foo: bar

Configurar o repositório online na CLI com Python

redis_arm_id = f"/subscriptions/{subscription_id}/resourceGroups/{resource_group_name}/providers/Microsoft.Cache/Redis/{redis_name}"
online_store = MaterializationStore(type="redis", target=redis_arm_id)
 
fs = FeatureStore(
    name=featurestore_name,
    location=location,
    online_store=online_store,
)
 
# wait for feature store creation
fs_poller = ml_client.feature_stores.begin_create(fs)

# move the feature store to a YAML file

yaml_path = root_dir + "/featurestore/featurestore_with_online.yaml"
fs.dump(yaml_path)

Próximas etapas