Начало работы с Azure Data Lake Storage 1-го поколения с помощью Azure CLI

Узнайте, как использовать Azure CLI для создания учетной записи Azure Data Lake Storage 1-го поколения и выполнения основных операций, таких как создание папок, отправка и загрузка файлов данных, удаление вашей учетной записи и т. д. Дополнительные сведения о Data Lake Storage 1-го поколения см. в этой статье.

Azure CLI — это интерфейс командной строки Azure для управления ресурсами Azure. Его можно использовать в Windows, Linux и macOS. Дополнительные сведения см. в статье Инфраструктура Azure CLI. Полный список команд и синтаксис см. в справочнике интерфейса командной строки Azure Data Lake Storage 1-го поколения.

Необходимые компоненты

Перед началом работы с этой статьей необходимо иметь следующее:

• Подписка Azure. См. страницу бесплатной пробной версии Azure.

• Azure CLI. См. инструкции в статье об установке Azure CLI.

Проверка подлинности

В этой статье используется более простой подход к аутентификации в службе Data Lake Storage 1-го поколения, в которую выполняется вход от имени пользователя. Уровень доступа к учетной записи Data Lake Storage 1-го поколения и файловой системе зависит от уровня доступа пользователя, который вошел в систему. Существуют разные способы аутентификации в Data Lake Storage 1-го поколения, включая аутентификацию пользователей и аутентификацию между службами. Инструкции и дополнительные сведения об аутентификации см. в разделах Аутентификация пользователей и Аутентификация между службами.

Вход в подписку Azure

1. Войдите в подписку Azure.

   az login
   

   Получите код для использования на следующем шаге. Откройте браузер и перейдите на страницу https://aka.ms/devicelogin. Введите код аутентификации. Вам будет предложено выполнить вход с использованием учетных данных.

2. После входа вы увидите список всех подписок Azure, связанных с вашей учетной записи. Чтобы выбрать определенную подписку, выполните следующую команду.

   az account set --subscription <subscription id> 
   

Создание учетной записи Azure Data Lake Storage 1-го поколения

1. Создание группы ресурсов В следующей команде укажите значения параметров, которые требуется использовать. Если имя расположения содержит пробелы, заключите его в кавычки. Например, "East US 2".

   az group create --location "East US 2" --name myresourcegroup
   

2. Создайте учетную запись Data Lake Storage 1-го поколения.

   az dls account create --account mydatalakestoragegen1 --resource-group myresourcegroup
   

Создание папок в учетной записи Data Lake Storage 1-го поколения

Чтобы хранить данные и управлять ими, вы можете создать папки в своей учетной записи Azure Data Lake Storage 1-го поколения. Используйте следующую команду, чтобы создать папку с именем mynewfolder в корневом каталоге Data Lake Storage 1-го поколения.

az dls fs create --account mydatalakestoragegen1 --path /mynewfolder --folder

Отправка данных в учетную запись Data Lake Storage 1-го поколения

Данные можно передавать в Data Lake Storage 1-го поколения непосредственно на корневой уровень или в папку, созданную в учетной записи. Фрагменты кода ниже показывают, как передать некоторые примеры данных в папку (mynewfolder), которая была создана в предыдущем шаге.

Если у вас нет под рукой подходящих для этих целей данных, передайте папку Ambulance Data из репозитория Git для озера данных Azure. Скачайте файл и сохраните его в локальном каталоге на компьютере, например C:\sampledata.

az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"

Вывод списка файлов в учетной записи Data Lake Storage 1-го поколения

Чтобы вывести список файлов в учетной записи Data Lake Storage 1-го поколения, используйте следующую команду.

az dls fs list --account mydatalakestoragegen1 --path /mynewfolder

Результат этой команды должен выглядеть примерно так:

[
    {
        "accessTime": 1491323529542,
        "aclBit": false,
        "blockSize": 268435456,
        "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "length": 1589881,
        "modificationTime": 1491323531638,
        "msExpirationTime": 0,
        "name": "mynewfolder/vehicle1_09142014.csv",
        "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "pathSuffix": "vehicle1_09142014.csv",
        "permission": "770",
        "replication": 1,
        "type": "FILE"
    }
]

Переименование, скачивание и удаление данных из учетной записи Data Lake Storage 1-го поколения

• Чтобы переименовать файл, используйте следующую команду:

  az dls fs move --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014.csv --destination-path /mynewfolder/vehicle1_09142014_copy.csv
  

• Чтобы загрузить файл, используйте следующую команду. Убедитесь, что указанный конечный путь уже существует.

  az dls fs download --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"
  

  Примечание.

  Команда создаст целевую папку, если она не существует.

• Чтобы удалить файл, используйте следующую команду:

  az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014_copy.csv
  

  Если вы хотите удалить папку mynewfolder и файл vehicle1_09142014_copy.csv с помощью одной команды, используйте параметр --recurse.

  az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder --recurse
  

Работа с разрешениями и списками управления доступом для учетной записи Azure Data Lake Storage 1-го поколения

Из этого раздела вы узнаете, как управлять списками ACL и разрешениями с помощью Azure CLI. Подробные сведения о реализации списков ACL в Azure Data Lake Storage 1-го поколения см. в статье Контроль доступа в Azure Data Lake Storage 1-го поколения.

• Чтобы обновить владельца файла или папки, используйте следующую команду:

  az dls fs access set-owner --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --group 80a3ed5f-959e-4696-ba3c-d3c8b2db6766 --owner 6361e05d-c381-4275-a932-5535806bb323
  

• Чтобы обновить разрешения для файла или папки, используйте следующую команду:

  az dls fs access set-permission --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --permission 777
  

• Чтобы получить списки ACL для определенного пути, используйте следующую команду:

  az dls fs access show --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv
  

  Результат выполнения должен быть аналогичен следующему:

  {
      "entries": [
      "user::rwx",
      "group::rwx",
      "other::---"
      ],
      "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
      "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
      "permission": "770",
      "stickyBit": false
  }
  

• Чтобы создать запись для ACL, используйте следующую команду:

  az dls fs access set-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323:-w-
  

• Чтобы удалить запись для ACL, используйте следующую команду:

  az dls fs access remove-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323
  

• Чтобы удалить весь стандартный список ACL, используйте следующую команду:

  az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder --default-acl
  

• Чтобы удалить весь настраиваемый список ACL, используйте следующую команду:

  az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder
  

Удаление учетной записи Data Lake Storage 1-го поколения

Чтобы удалить учетную запись Data Lake Storage 1-го поколения, используйте следующую команду.

az dls account delete --account mydatalakestoragegen1

При появлении запроса введите Y , чтобы удалить учетную запись.

Следующие шаги

• Использование Azure Data Lake Storage 1-го поколения для обеспечения соответствия требованиям больших данных
• Защита данных в Data Lake Storage Gen1
• Начало работы с Azure Data Lake Analytics с помощью портала Azure
• Создание кластеров HDInsight, использующих Data Lake Store, с помощью портала Azure