az ml datastore

  • Referência

Observação

Essa referência faz parte da extensão ml para a CLI do Azure (versão 2.15.0 ou superior). A extensão será instalada automaticamente na primeira vez que você executar um comando az ml datastore . Saiba mais sobre extensões.

Gerenciar armazenamentos de dados do Azure ML.

Os armazenamentos de dados do Azure ML vinculam com segurança seus serviços de armazenamento do Azure ao seu espaço de trabalho para que você possa acessar seu armazenamento sem precisar codificar as informações de conexão em seus scripts. Os segredos de conexão, como as credenciais de autenticação do serviço de armazenamento, são armazenados no Cofre de Chaves do seu espaço de trabalho.

Quando você cria um espaço de trabalho, uma conta de Armazenamento do Azure é criada automaticamente como um recurso associado. Um contêiner de blob é criado nessa conta e suas informações de conexão são armazenadas como um armazenamento de dados chamado 'workspaceblobstore'. Isso serve como armazenamento de dados padrão do espaço de trabalho e o contêiner de blob é usado para armazenar artefatos do espaço de trabalho e logs e saídas de trabalho de aprendizado de máquina.

Comandos

Nome Description Tipo Status
az ml datastore create

Crie um repositório de dados.

 Extensão GA
az ml datastore delete

Exclua um armazenamento de dados.

 Extensão GA
az ml datastore list

Listar armazenamentos de dados em um espaço de trabalho.

 Extensão GA
az ml datastore mount

Monte um armazenamento de dados específico em um caminho local. Por enquanto, apenas o Linux é suportado.

 Extensão Visualizar
az ml datastore show

Mostrar detalhes de um armazenamento de dados.

 Extensão GA
az ml datastore update

Atualizar um armazenamento de dados.

 Extensão GA

az ml datastore create

Crie um repositório de dados.

Isso conecta o serviço de armazenamento subjacente do Azure ao espaço de trabalho. Os tipos de serviço de armazenamento que podem ser conectados atualmente criando um armazenamento de dados incluem o armazenamento de Blobs do Azure, o Compartilhamento de Arquivos do Azure, o Azure Data Lake Storage Gen1 e o Azure Data Lake Storage Gen2.

az ml datastore create --file
                       --resource-group
                       --workspace-name
                       [--name]
                       [--set]

Exemplos

Criar um armazenamento de dados a partir de um arquivo de especificação YAML

az ml datastore create --file blobstore.yml --resource-group my-resource-group --workspace-name my-workspace

Parâmetros Exigidos

--file -f

Caminho local para o arquivo YAML que contém a especificação de armazenamento de dados do Azure ML. Os documentos de referência do YAML para armazenamento de dados podem ser encontrados em: https://aka.ms/ml-cli-v2-datastore-blob-yaml-reference, https://aka.ms/ml-cli-v2-datastore-file-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen1-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen2-yaml-reference.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do espaço de trabalho do Azure ML. Você pode configurar o espaço de trabalho padrão usando az configure --defaults workspace=<name>o .

Parâmetros Opcionais

--name -n

Nome do armazenamento de dados. Isso substitui o campo 'nome' no arquivo YAML fornecido a --file/-f.

--set

Atualize um objeto especificando um caminho de propriedade e um valor a serem definidos. Exemplo: --set property1.property2=.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az ml datastore delete

Exclua um armazenamento de dados.

Isso exclui as informações de conexão com o serviço de armazenamento do espaço de trabalho, mas não exclui os dados subjacentes no armazenamento.

az ml datastore delete --name
                       --resource-group
                       --workspace-name

Parâmetros Exigidos

--name -n

Nome do armazenamento de dados.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do espaço de trabalho do Azure ML. Você pode configurar o espaço de trabalho padrão usando az configure --defaults workspace=<name>o .

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az ml datastore list

Listar armazenamentos de dados em um espaço de trabalho.

az ml datastore list --resource-group
                     --workspace-name
                     [--max-results]

Exemplos

Liste todos os armazenamentos de dados em um espaço de trabalho usando o argumento --query para executar uma consulta JMESPath nos resultados dos comandos.

az ml datastore list --query "[].{Name:name}"  --output table --resource-group my-resource-group --workspace-name my-workspace

Parâmetros Exigidos

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do espaço de trabalho do Azure ML. Você pode configurar o espaço de trabalho padrão usando az configure --defaults workspace=<name>o .

Parâmetros Opcionais

--max-results -r

Número máximo de resultados a serem retornados.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az ml datastore mount

Versão Prévia

Este comando está em pré-visualização e em desenvolvimento. Níveis de referência e suporte: https://aka.ms/CLI_refstatus

Monte um armazenamento de dados específico em um caminho local. Por enquanto, apenas o Linux é suportado.

az ml datastore mount --path
                      [--mode]
                      [--mount-point]
                      [--persistent]
                      [--resource-group]
                      [--workspace-name]

Exemplos

Montar um armazenamento de dados por nome

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path my-datastore

Montar um armazenamento de dados por URL de formato curto de armazenamento de dados

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path azureml://datastores/my-datastore

Montar um armazenamento de dados por URL de formato longo de armazenamento de dados

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/providers/Microsoft.MachineLearningServices/workspaces/myworkspace/datastores/my-datastore

Parâmetros Exigidos

--path

O caminho de armazenamento de dados a ser montado, na forma de <datastore_name> ou azureml://datastores/<datastore_name>.

Parâmetros Opcionais

--mode

Modo de montagem, seja ro_mount (somente leitura) ou rw_mount (leitura-gravação).

valor padrão: ro_mount
--mount-point

Um caminho local usado como ponto de montagem.

valor padrão: /home/azureuser/mount/data
--persistent

Faça a montagem persistir nas reinicializações. Suportado apenas na instância de computação.

valor padrão: False
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do espaço de trabalho do Azure ML. Você pode configurar o espaço de trabalho padrão usando az configure --defaults workspace=<name>o .

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az ml datastore show

Mostrar detalhes de um armazenamento de dados.

az ml datastore show --name
                     --resource-group
                     --workspace-name

Parâmetros Exigidos

--name -n

Nome do armazenamento de dados.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do espaço de trabalho do Azure ML. Você pode configurar o espaço de trabalho padrão usando az configure --defaults workspace=<name>o .

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az ml datastore update

Atualizar um armazenamento de dados.

As propriedades 'description', 'tags' e 'credential' podem ser atualizadas.

az ml datastore update --resource-group
                       --workspace-name
                       [--add]
                       [--file]
                       [--force-string]
                       [--name]
                       [--remove]
                       [--set]

Parâmetros Exigidos

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do espaço de trabalho do Azure ML. Você pode configurar o espaço de trabalho padrão usando az configure --defaults workspace=<name>o .

Parâmetros Opcionais

--add

Adicione um objeto a uma lista de objetos especificando um caminho e pares de valores de chave. Exemplo: --add property.listProperty <key=value, string or JSON string>.

valor padrão: []
--file -f

Caminho local para o arquivo YAML que contém a especificação de armazenamento de dados do Azure ML. Os documentos de referência do YAML para armazenamento de dados podem ser encontrados em: https://aka.ms/ml-cli-v2-datastore-blob-yaml-reference, https://aka.ms/ml-cli-v2-datastore-file-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen1-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen2-yaml-reference.

--force-string

Ao usar 'set' ou 'add', preserve literais de cadeia de caracteres em vez de tentar converter para JSON.

valor padrão: False
--name -n

Nome do armazenamento de dados. Isso substitui o campo 'nome' no arquivo YAML fornecido a --file/-f.

--remove

Remova uma propriedade ou um elemento de uma lista. Exemplo: --remove property.list <indexToRemove> OU --remove propertyToRemove.

valor padrão: []
--set

Atualize um objeto especificando um caminho de propriedade e um valor a serem definidos. Exemplo: --set property1.property2=<value>.

valor padrão: []
Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.