Инвентаризация BLOB-объектов службы хранилища Azure

служба хранилища Azure инвентаризация BLOB-объектов предоставляет список контейнеров, больших двоичных объектов, версий BLOB-объектов и моментальных снимков в учетной записи хранения, а также их связанных свойств. Он создает выходной отчет в значениях, разделенных запятыми (CSV) или в формате Apache Parquet на ежедневной или еженедельной основе. Отчет можно использовать для аудита хранения, юридического хранения или шифрования содержимого учетной записи хранения или его использования, чтобы понять общий размер данных, возраст, распределение по уровням или другие атрибуты данных. Вы также можете использовать инвентаризацию BLOB-объектов для упрощения рабочих процессов бизнес-процессов или ускорения выполнения заданий обработки данных с помощью инвентаризации BLOB-объектов в качестве запланированной автоматизации API-интерфейсов контейнеров списка и больших двоичных объектов. Правила инвентаризации BLOB-объектов позволяют фильтровать содержимое отчета по типу, префиксу или выбору свойств BLOB-объектов для включения в отчет.

служба хранилища Azure инвентаризация BLOB-объектов доступна для следующих типов учетных записей хранения:

• Стандартная общего назначения версии 2
• Хранилище BLOB-объектов класса Premium
• Хранилище BLOB-объектов

Функции инвентаризации

В списке ниже перечислены функции и возможности, доступные в текущем выпуске службы инвентаризации хранилища BLOB-объектов Azure.

• Отчеты об инвентаризации для BLOB-объектов и контейнеров

  Для BLOB-объектов и контейнеров можно создавать отчеты об инвентаризации. Отчет для больших двоичных объектов может содержать базовые BLOB-объекты, моментальные снимки, длину содержимого, версии BLOB-объектов и связанные с ними свойства, такие как время создания, время последнего изменения. Пустые контейнеры не перечислены в отчете инвентаризации BLOB-объектов. Отчет по контейнерам описывает контейнеры и связанные с ними свойства, такие как состояние политики неизменности или состояние удержания по юридическим причинам.

• Настраиваемая схема

  Вы можете выбрать поля, которые будут отображаться в отчетах. Они выбираются из списка поддерживаемых полей. Этот список будет описан далее в этой статье.

• Формат выходных данных CSV и Apache Parquet

  Вы можете создать отчет об инвентаризации в выходном формате CSV или Apache Parquet.

• Файл манифеста и событие службы "Сетка событий Azure" на отчет об инвентаризации

  Для каждого отчета инвентаризации создаются файл манифеста и событие службы "Сетка событий Azure". Они описаны далее в этой статье.

Включение отчетов об инвентаризации

Чтобы включить отчеты об инвентаризации BLOB-объектов, добавьте одно или несколько правил в свою учетную запись хранения. Соответствующие инструкции см. в статье о включении отчетов по инвентаризации BLOB-объектов службы хранилища Azure.

Обновление политики инвентаризации

Если вы являетесь существующим пользователем инвентаризации BLOB-объектов служба хранилища Azure, который настроил инвентаризацию до июня 2021 года, вы можете начать использовать новые функции, загрузив политику, а затем сохраните политику обратно после внесения изменений. При повторной загрузке политики новые поля в политике будут заполнены значениями по умолчанию. Эти значения можно изменить. Кроме того, будут доступны две указанные ниже функции.

• Контейнер назначения теперь поддерживается для каждого отдельного правила, а не только для политики в целом.

• Файл манифеста и событие службы "Сетка событий Azure" теперь формируются для каждого отдельного правила, а не для политики в целом.

Политика инвентаризации

Отчет об инвентаризации настраивается путем добавления политики инвентаризации с одним или несколькими правилами. Политика инвентаризации — это коллекция правил в документе JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  }]
}

Просмотрите JSON для политики инвентаризации, выбрав вкладку Представление кода в разделе Инвентаризация BLOB-объектов на портале Azure.

Правила инвентаризации

Правило покрывает условия фильтрации и выходные параметры для создания отчета об инвентаризации. Каждое правило создает отчет об инвентаризации. Правила могут иметь перекрывающиеся префиксы. BLOB-объект может отображаться в нескольких отчетах в зависимости от определений правил.

Каждое правило в политике имеет несколько параметров.

Флаг глобального хранилища BLOB-объектов имеет приоритет над параметром, включенным в правиле.

Определение правила

Фильтры правила

Для настройки отчета по инвентаризации BLOB-объектов можно использовать несколько фильтров.

Просмотрите JSON для правил инвентаризации, выбрав вкладку Представление кода в разделе Инвентаризация Blob-объектов на портале Azure. Фильтры указываются в определении правила.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true,
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Настраиваемые поля схемы, поддерживаемые для инвентаризации BLOB-объектов

Поле	Служба хранилища BLOB-объектов (поддержка по умолчанию)	Data Lake Storage
Name (обязательное)
Creation-Time
Last-Modified
LastAccessTime1
ETag
content-length: 0
Тип контента
Content-Encoding
Content-Language;
Content-CRC64
Content-MD5;
Cache-Control
Cache-Disposition
BlobType
AccessTier
AccessTierChangeTime
LeaseStatus
LeaseState
ServerEncrypted
CustomerProvidedKeySHA256
Метаданные
Expiry-Time
hdi_isfolder
Ответственный
Групповой
Разрешения
Acl
Моментальный снимок (доступно и требуется, если вы включаете в отчет моментальные снимки)
Deleted
DeletedId
DeletedTime
RemainingRetentionDays
VersionId (доступно и требуется, если вы включаете в отчет версии BLOB-объектов)
IsCurrentVersion (доступно и требуется, если вы включаете в отчет версии BLOB-объектов)
TagCount
Теги
CopyId
CopySource
CopyStatus
CopyProgress
CopyCompletionTime
CopyStatusDescription
ImmutabilityPolicyUntilDate
ImmutabilityPolicyMode
LegalHold
RehydratePriority
ArchiveStatus
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Отключено по умолчанию. При необходимости включите отслеживание времени доступа.

Настраиваемые поля схемы, поддерживаемые для инвентаризации контейнеров

Поле	Служба хранилища BLOB-объектов (поддержка по умолчанию)	Data Lake Storage
Name (обязательное)
Last-Modified
ETag
LeaseStatus
LeaseState
LeaseDuration
Метаданные
PublicAccess
DefaultEncryptionScope
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HasLegalHold
ImmutableStorageWithVersioningEnabled
Удален (отображается только в том случае, если выбраны удаленные контейнеры)
Версия (отображается только в том случае, если выбраны удаленные контейнеры)
DeletedTime (будет отображаться, только если выбраны удаленные контейнеры)
RemainingRetentionDays (будет отображаться, только если выбраны удаленные контейнеры)

Inventory run

Если вы настраиваете правило для ежедневного выполнения, оно будет выполняться каждый день. Если вы настраиваете правило для еженедельного запуска, оно будет запланировано на каждую неделю в воскресенье в формате UTC.

Большинство инвентаризаций выполняется в течение 24 часов. Для учетных записей с включенными иерархическими пространствами имен выполнение может занять до двух дней, а в зависимости от количества обрабатываемых файлов оно может продлиться дольше. Максимальное время выполнения, которое может завершиться до сбоя, составляет шесть дней.

Выполнение не перекрывается, поэтому выполнение должно завершиться до начала другого запуска того же правила. Например, если правило планируется выполнять ежедневно, но выполнение предыдущего дня этого же правила по-прежнему выполняется, новое выполнение не будет инициировано в тот день. Правила, запланированные для еженедельного запуска, будут выполняться каждую воскресенье независимо от того, успешно ли выполнен предыдущий запуск или завершится сбоем. Если выполнение не завершено успешно, проверьте последующие запуски, чтобы узнать, завершены ли они перед обращением в службу поддержки. Производительность выполнения может быть разной, поэтому если оно завершилось ошибкой, возможно, последующие выполнения завершатся корректно.

Политики инвентаризации считываются или записываются полностью. Частичное обновление не поддерживается. Правила инвентаризации оцениваются ежедневно. Таким образом, если вы измените определение правила, но правила политики уже были оценены в течение этого дня, обновления не будут оцениваться до следующего дня.

Событие завершения инвентаризации

BlobInventoryPolicyCompletedСобытие создается при завершении инвентаризации для правила. Это событие также возникает, если в ходе инвентаризации возникла ошибка пользователя. Например, недопустимая политика или ошибка, возникающая, когда целевой контейнер не присутствует, активирует событие. Ниже приведен фрагмент JSON с примером события BlobInventoryPolicyCompleted.

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

Схема события BlobInventoryPolicyCompleted описана в таблице ниже.

Выходные данные инвентаризации

При каждом запуске инвентаризации для правила создается набор файлов в указанном контейнере назначения инвентаризации. Выходные данные инвентаризации формируются по следующему пути https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName, где:

• accountName — имя учетной записи хранилища BLOB-объектов Azure;
• inventory-destination-container — целевой контейнер, указанный в правиле инвентаризации;
• YYYY/MM/DD/HH-MM-SS — время начала инвентаризации;
• ruleName — имя правила инвентаризации.

Файлы инвентаризации

При каждом запуске инвентаризации для правила создаются указанные ниже файлы.

• Файл инвентаризации: запуск инвентаризации для правила создает csv-файл или файл в формате Apache Parquet. Каждый из них содержит совпадающие объекты и их метаданные.

  Внимание

  Начиная с октября 2023 года инвентаризация будет производить несколько файлов, если количество объектов большое. Дополнительные сведения см. в разделе "Вопросы и ответы о нескольких выходных данных файла инвентаризации".

  Отчеты в формате Apache Parquet содержат даты в следующем формате: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. В CSV-файле первая строка всегда является строкой схемы. На следующем рисунке показан CSV-файл инвентаризации, открытый в Microsoft Excel.

  

  Внимание

  Пути к файлам BLOB-объектов, которые отображаются в файле запасов, могут быть указаны в произвольном порядке.

• Файл контрольной суммы. Файл, содержащий контрольную сумму MD5 содержимого файла manifest.json. Имя файла контрольной суммы — <ruleName>-manifest.checksum. Создание файла контрольной суммы указывает, что выполнение правила инвентаризации завершено.

• Файл манифеста. Файл manifest.json, содержащий сведения о файлах инвентаризации, которые созданы для данного правила. Имя этого файла — <ruleName>-manifest.json. Файл манифеста также содержит пользовательское определение правила и путь инвентаризации для него. В JSON-файле ниже показан пример содержимого manifest.json.

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Этот файл создается при запуске. Поле status этого файла установлено до Pending завершения выполнения. После завершения выполнения это поле имеет состояние завершения (например, Succeeded или Failed).

Цены и выставление счетов

Цены на инвентаризацию зависят от количества BLOB-объектов и контейнеров, которые сканируются в течение расчетного периода. На странице цен на Хранилище BLOB-объектов Azure отображается цена за один миллион отсканированных объектов. Например, если цена на сканирование одного миллиона объектов , $0.003ваша учетная запись содержит три миллиона объектов, и вы создаете четыре отчета в месяц, то ваш счет будет.4 * 3 * $0.003 = $0.036

После создания файлов инвентаризации будет взиматься дополнительная стандартная плата за хранение и обработку данных, т. е. хранение, чтение и запись файлов, созданных для инвентаризации в учетной записи.

Если правило содержит префикс, который пересекается с префиксом любого другого правила, то один BLOB-объект может отобразиться в нескольких отчетах инвентаризации. В этом случае счета выставляются для обоих экземпляров. Например, предположим, что элемент prefixMatch одного правила имеет значение ["inventory-blob-1", "inventory-blob-2"], а элемент другого правила prefixMatch — значение ["inventory-blob-10", "inventory-blob-20"]. Объект с именем inventory-blob-200 отображается в обоих отчетах инвентаризации.

Моментальные снимки и версии BLOB-объекта также учитываются при начислении платы, даже если для фильтров includeSnapshots и includeVersions задано значение false. Эти значения фильтров не влияют на начисление платы. Их можно использовать только для фильтрации отображаемых в отчете данных.

Дополнительные сведения о ценах на учетные записи хранилища BLOB-объектов Azure см. на этой странице.

Поддерживаемые компоненты

На поддержку данной функции может повлиять включение протокола Data Lake Storage 2-го поколения, протокола сетевой файловой системы (NFS) 3.0 или протокола SFTP. Если вы включили любую из этих возможностей, см. Сведения о поддержке функций хранилища BLOB-объектов в учетных записях хранения Azure, чтобы оценить поддержку данной функции.

Известные проблемы и ограничения

В этом разделе описаны ограничения и известные проблемы, связанные с инвентаризацией BLOB-объектов службы хранилища Azure.

Выполнение заданий инвентаризации занимает больше времени для выполнения в определенных случаях

Задание инвентаризации может занять больше времени в следующих случаях:

• Добавляется большой объем новых данных

• Правило или набор правил выполняется в первый раз

  Выполнение инвентаризации может занять больше времени, чем последующие запуски инвентаризации.

• Запуск инвентаризации обрабатывает большой объем данных в учетных записях с поддержкой иерархического пространства имен.

  Задание инвентаризации может занять несколько дней для учетных записей с включенным иерархическим пространством имен, которые имеют сотни миллионов больших двоичных объектов. Иногда задание инвентаризации завершается сбоем и не создает файл инвентаризации. Если задание не завершено успешно, проверьте последующие задания, чтобы узнать, завершены ли они перед обращением в службу поддержки.

• Нет возможности создать отчет ретроспективно для определенной даты.

Задания инвентаризации не могут записывать отчеты в контейнеры с политикой репликации объектов

Политика репликации объектов может препятствовать созданию отчетов инвентаризации в целевом контейнере для задания инвентаризации. Некоторые другие сценарии могут архивировать отчеты или сделать отчеты неизменяемыми при частичном завершении, что может привести к сбою заданий инвентаризации.

Инвентаризация и неизменяемое хранилище

Политику инвентаризации нельзя настроить в учетной записи, если в этой учетной записи включена поддержка неизменяемости на уровне версии или включена поддержка неизменяемости на уровне версии в целевом контейнере, определенном в политике инвентаризации.

Отчеты могут исключить обратимо удаленные большие двоичные объекты в учетных записях с иерархическим пространством имен.

Если контейнер или каталог удаляется с поддержкой обратимого удаления, контейнер или каталог и все его содержимое помечаются как обратимое удаление. Однако в отчете инвентаризации отображаются только контейнер или каталог (как большой двоичный объект нулевой длины), а не обратимо удаленные большие двоичные объекты в этом контейнере или каталоге, даже если includeDeleted для поля политики задано значение true. Это может привести к разнице между метриками емкости, получаемыми в портал Azure, и тем, что сообщается отчетом инвентаризации.

В отчетах отображаются только большие двоичные объекты, которые явно удалены. Таким образом, чтобы получить полный список всех обратимо удаленных BLOB-объектов (каталогов и всех дочерних BLOB-объектов), рабочие нагрузки должны удалить каждый большой двоичный объект в каталоге перед удалением самого каталога.

Следующие шаги

• Включение отчетов инвентаризации для BLOB-объектов службы хранилища Azure
• Расчет количества и общего размера BLOB-объектов на контейнер
• Руководство. Анализ отчетов инвентаризации BLOB-объектов
• Управление жизненным циклом хранилища BLOB-объектов Azure
• Вопросы и ответы по инвентаризации BLOB-объектов