Inventář objektů blob služby Azure Storage

Inventář objektů blob služby Azure Storage poskytuje seznam kontejnerů, objektů blob, verzí objektů blob a snímků ve vašem účtu úložiště spolu s přidruženými vlastnostmi. Generuje výstupní sestavu v podobě hodnot oddělených čárkami (CSV) nebo ve formátu Apache Parquet každý den nebo týdně. Sestavu můžete použít k auditování uchovávání informací, blokování z právních důvodů nebo ke stavu šifrování obsahu účtu úložiště nebo k pochopení celkové velikosti dat, stáří, distribuce vrstev nebo jiných atributů vašich dat. Inventář objektů blob můžete použít také ke zjednodušení obchodních pracovních postupů nebo zrychlení úloh zpracování dat pomocí inventáře objektů blob jako plánované automatizace rozhraní API pro výpis kontejnerů a objektů blob seznamu. Pravidla inventáře objektů blob umožňují filtrovat obsah sestavy podle typu objektu blob, předpony nebo výběrem vlastností objektu blob, které se mají zahrnout do sestavy.

Inventář objektů blob služby Azure Storage je k dispozici pro následující typy účtů úložiště:

• Standard pro obecné účely verze 2
• Úložiště objektů blob bloku úrovně Premium
• Blob Storage

Funkce inventáře

Následující seznam popisuje funkce a možnosti, které jsou k dispozici v aktuální verzi inventáře objektů blob služby Azure Storage.

• Sestavy inventáře pro objekty blob a kontejnery

  Můžete generovat sestavy inventáře pro objekty blob a kontejnery. Sestava pro objekty blob může obsahovat základní objekty blob, snímky, délku obsahu, verze objektů blob a jejich přidružené vlastnosti, jako je čas vytvoření, čas poslední změny. Prázdné kontejnery nejsou uvedené v sestavě inventáře objektů blob. Sestava pro kontejnery popisuje kontejnery a jejich přidružené vlastnosti, jako je stav zásad neměnnosti nebo stav blokování z právních důvodů.

• Vlastní schéma

  Můžete zvolit, která pole se zobrazí v sestavách. Vyberte si ze seznamu podporovaných polí. Tento seznam se zobrazí dále v tomto článku.

• Formát výstupu CSV a Apache Parquet

  Sestavu inventáře můžete vygenerovat ve výstupním formátu CSV nebo Apache Parquet.

• Soubor manifestu a událost Azure Event Gridu na sestavu inventáře

  Soubor manifestu a událost Služby Azure Event Grid se generují na sestavu inventáře. Ty jsou popsany dál v tomto článku.

Povolení sestav inventáře

Povolte sestavy inventáře objektů blob přidáním zásad s jedním nebo více pravidly do účtu úložiště. Pokyny najdete v tématu Povolení sestav inventáře objektů blob služby Azure Storage.

Upgrade zásad inventáře

Pokud jste stávajícím uživatelem inventáře objektů blob služby Azure Storage, který má nakonfigurovaný inventář před červnem 2021, můžete začít používat nové funkce načtením zásad a následným uložením zásad zpět po provedení změn. Při opětovném načtení zásady se nová pole v zásadě naplní výchozími hodnotami. Pokud chcete, můžete tyto hodnoty změnit. K dispozici budou také následující dvě funkce.

• Cílový kontejner se teď podporuje pro každé pravidlo místo toho, aby se zásady podporovaly.

• Soubor manifestu a událost Služby Azure Event Grid se teď generují pro každé pravidlo místo zásad.

Zásady inventáře

Sestava inventáře se konfiguruje přidáním zásady inventáře s jedním nebo více pravidly. Zásady inventáře jsou kolekce pravidel v dokumentu JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  }]
}

Výběrem karty Zobrazení kódu v části Inventář objektů blob na webu Azure Portal zobrazte JSON pro zásady inventáře inventáře.

Pravidla inventáře

Pravidlo zachycuje podmínky filtrování a výstupní parametry pro generování sestavy inventáře. Každé pravidlo vytvoří sestavu inventáře. Pravidla můžou mít překrývající se předpony. Objekt blob se může zobrazit ve více než jednom inventáři v závislosti na definicích pravidel.

Každé pravidlo v rámci zásady má několik parametrů:

Příznak s povoleným globálním inventářem objektů blob má přednost před povoleným parametrem v pravidle.

Definice pravidla

Filtry pravidel

Pro přizpůsobení sestavy inventáře objektů blob je k dispozici několik filtrů:

Výběrem karty Zobrazení kódu v části Inventář objektů blob na webu Azure Portal zobrazte KÓD pro pravidla inventáře. Filtry se zadají v definici pravidla.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true,
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Vlastní pole schématu podporovaná pro inventář objektů blob

Pole	Blob Storage (výchozí podpora)	Data Lake Storage
Název (povinné)
Čas vytvoření
Naposledy změněno
LastAccessTime1
ETag
Délka obsahu
Typ obsahu
Kódování obsahu
Jazyk obsahu
Content-CRC64
Content-MD5
Řízení mezipaměti
Cache-Disposition
BlobType
AccessTier
AccessTierChangeTime
ZapůjčeníStatus
LeaseState
ServerEncrypted
CustomerProvidedKeySHA256
Metadata
Doba vypršení platnosti
hdi_isfolder
Vlastník
Seskupit
Oprávnění
Acl
Snímek (k dispozici a vyžaduje se, pokud se rozhodnete zahrnout snímky do sestavy)
Odstraněné
DeletedId
DeletedTime
RemainingRetentionDays
VersionId (Dostupné a povinné, pokud se rozhodnete zahrnout do sestavy verze objektů blob)
IsCurrentVersion (K dispozici a vyžadováno, pokud se rozhodnete zahrnout verze objektů blob do sestavy)
TagCount
Značky
CopyId
CopySource
CopyStatus
CopyProgress
CopyCompletionTime
CopyStatusDescription
ImmutabilityPolicyUntilDate
ImmutabilityPolicyMode
LegalHold
RehydratePriority
ArchiveStatus
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Ve výchozím nastavení je zakázáno. Volitelně můžete povolit sledování času přístupu.

Vlastní pole schématu podporovaná pro inventář kontejnerů

Pole	Blob Storage (výchozí podpora)	Data Lake Storage
Název (povinné)
Naposledy změněno
ETag
ZapůjčeníStatus
LeaseState
LeaseDuration
Metadata
PublicAccess
DefaultEncryptionScope
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HasLegalHold
ImmutableStorageWithVersioningEnabled
Odstraněno (Zobrazí se pouze v případě, že je vybráno zahrnutí odstraněných kontejnerů)
Verze (Zobrazí se pouze v případě, že je vybrána možnost zahrnout odstraněné kontejnery)
DeletedTime (Zobrazí se pouze v případě, že je vybráno zahrnutí odstraněných kontejnerů)
RemainingRetentionDays (Zobrazí se pouze v případě, že je vybráno zahrnutí odstraněných kontejnerů)

Spuštění inventáře

Pokud nakonfigurujete pravidlo, které se má spouštět každý den, bude naplánováno spuštění každý den. Pokud nakonfigurujete pravidlo pro týdenní spuštění, naplánuje se jeho spuštění každý týden v neděli v čase UTC.

Většina spuštění inventáře se dokončí do 24 hodin. U účtů s povoleným hierarchickým oborem názvů může spuštění trvat až dva dny a v závislosti na počtu zpracovávaných souborů nemusí být spuštění dokončeno do konce těchto dvou dnů. Maximální doba, po kterou může být spuštění dokončeno, než selže, je šest dnů.

Spuštění se nepřekrývají, aby bylo možné spustit jiné spuštění stejného pravidla. Pokud je například pravidlo naplánované tak, aby běželo denně, ale stále probíhá spuštění stejného pravidla předchozího dne, pak se tento den nespustí nové spuštění. Pravidla naplánovaná na týdenní spuštění se budou spouštět každou neděli bez ohledu na to, jestli předchozí spuštění proběhne úspěšně nebo selže. Pokud se spuštění úspěšně nedokončí, zkontrolujte následující spuštění a před kontaktováním podpory zkontrolujte, jestli jsou dokončené. Výkon spuštění se může lišit, takže pokud se spuštění nedokončí, je možné, že následné spuštění proběhne.

Zásady inventáře se čtou nebo zapisují úplně. Částečné aktualizace nejsou podporované. Pravidla inventáře se vyhodnocují každý den. Proto pokud změníte definici pravidla, ale pravidla zásad už byla vyhodnocena pro tento den, vaše aktualizace se nebudou vyhodnocovat až do následujícího dne.

Událost dokončení inventáře

Událost BlobInventoryPolicyCompleted se vygeneruje, když se pro pravidlo dokončí spuštění inventáře. K této události dochází také v případě, že spuštění inventáře selže s chybou uživatele před tím, než se spustí. Například neplatná zásada nebo chyba, která nastane, když cílový kontejner není k dispozici, aktivuje událost. Následující json ukazuje ukázkovou BlobInventoryPolicyCompleted událost.

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

Následující tabulka popisuje schéma BlobInventoryPolicyCompleted události.

Výstup inventáře

Každé pravidlo inventáře vygeneruje sadu souborů v zadaném cílovém kontejneru inventáře pro toto pravidlo. Výstup inventáře se vygeneruje v následující cestě: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName

• accountName je název vašeho účtu služby Azure Blob Storage.
• inventory-destination-container je cílový kontejner, který jste zadali v pravidle inventáře.
• YYYY/MM/DD/HH-MM-SS je čas, kdy se inventář začal spouštět.
• ruleName je název pravidla inventáře.

Soubory inventáře

Každé spuštění inventáře pro pravidlo generuje následující soubory:

• Inventarizační soubor: Spuštění inventáře pro pravidlo vygeneruje soubor ve formátu CSV nebo Apache Parquet. Každý takový soubor obsahuje odpovídající objekty a jejich metadata.

  Důležité

  Od října 2023 se spuštění inventáře vytvoří více souborů, pokud je počet objektů velký. Další informace najdete v nejčastějších dotazech k více výstupním souborům inventáře.

  Sestavy ve formátu Apache Parquet prezentují data v následujícím formátu: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. U souboru ve formátu CSV je prvním řádkem vždy řádek schématu. Následující obrázek ukazuje soubor CSV inventáře otevřený v Microsoft Excelu.

  

  Důležité

  Cesty k objektům blob, které se zobrazují v souboru inventáře, se nemusí zobrazovat v žádném konkrétním pořadí.

• Kontrolní součet: Soubor kontrolního součtu obsahuje kontrolní součet MD5 obsahu souboru manifest.json. Název souboru kontrolního součtu je <ruleName>-manifest.checksum. Generování souboru kontrolního součtu označuje dokončení spuštění pravidla inventáře.

• Soubor manifestu: Soubor manifest.json obsahuje podrobnosti o souborech inventáře vygenerovaných pro toto pravidlo. Název souboru je <ruleName>-manifest.json. Tento soubor také zachycuje definici pravidla poskytnutou uživatelem a cestu k inventáři tohoto pravidla. Následující json ukazuje obsah ukázkového souboru manifest.json.

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Tento soubor se vytvoří při spuštění. Pole status tohoto souboru je nastaveno na Pending dobu, dokud se nespustí. Po dokončení spuštění je toto pole nastaveno na stav dokončení (například: Succeeded nebo Failed).

Ceny a fakturace

Ceny inventáře vycházejí z počtu objektů blob a kontejnerů, které se prohledávají během fakturačního období. Na stránce s cenami služby Azure Blob Storage se zobrazuje cena za jeden milion naskenovaných objektů. Pokud je například cena pro skenování jednoho milionu objektů $0.003, váš účet obsahuje tři miliony objektů a v měsíci vytváříte čtyři sestavy, pak bude 4 * 3 * $0.003 = $0.036vaše faktura .

Po vytvoření souborů inventáře se budou účtovat další standardní poplatky za ukládání, čtení a zápis souborů vygenerovaných inventářem v účtu.

Pokud pravidlo obsahuje předponu, která se překrývají s předponou jakéhokoli jiného pravidla, může se stejný objekt blob zobrazit ve více než jedné sestavě inventáře. V takovém případě se vám budou účtovat obě instance. Předpokládejme například, že prefixMatch prvek jednoho pravidla je nastaven na ["inventory-blob-1", "inventory-blob-2"]a prefixMatch prvek jiného pravidla je nastaven na ["inventory-blob-10", "inventory-blob-20"]. V obou sestavách inventáře se zobrazí objekt s názvem inventory-blob-200 .

Snímky a verze objektu blob se také počítají do fakturace, i když jste nastavili includeSnapshots a includeVersions vyfiltrovali false. Tyto hodnoty filtru nemají vliv na fakturaci. Můžete je použít jenom k filtrování toho, co se zobrazí v sestavě.

Další informace o cenách inventáře objektů blob služby Azure Storage najdete v tématu Ceny služby Azure Blob Storage.

Podpora funkcí

Podpora této funkce může mít vliv na povolení protokolu Data Lake Storage Gen2, systému souborů NFS (Network File System) 3.0 nebo protokolu SSH File Transfer Protocol (SFTP). Pokud jste některou z těchto funkcí povolili, podívejte se na podporu funkcí služby Blob Storage v účtech Azure Storage a vyhodnoťte podporu této funkce.

Známé problémy a omezení

Tato část popisuje omezení a známé problémy s funkcí inventáře objektů blob služby Azure Storage.

Dokončení úloh inventáře v určitých případech trvá delší dobu.

V těchto případech může úloha inventáře trvat delší dobu:

• Přidá se velké množství nových dat.

• Pravidlo nebo sada pravidel se spouští poprvé

  Spuštění inventáře může v porovnání s následnými spuštěními inventáře trvat delší dobu.

• Spuštění inventáře zpracovává velké množství dat v účtech s povoleným hierarchickým oborem názvů.

  Dokončení úlohy inventáře může trvat více než jeden den pro účty s povoleným hierarchickým oborem názvů, které mají stovky milionů objektů blob. Někdy se úloha inventáře nezdaří a nevytvoří soubor inventáře. Pokud se úloha úspěšně nedokončí, zkontrolujte následující úlohy a před kontaktováním podpory zkontrolujte, jestli jsou dokončené.

• Pro konkrétní datum není možné vygenerovat sestavu zpětně.

Úlohy inventáře nemůžou zapisovat sestavy do kontejnerů, které mají zásady replikace objektů.

Zásady replikace objektů můžou zabránit v zápisu sestav inventáře do cílového kontejneru. Některé jiné scénáře můžou sestavy archivovat nebo sestavy částečně ztlumit, což může způsobit selhání úloh inventáře.

Inventarizace a neměnné úložiště

Zásady inventáře v účtu nemůžete nakonfigurovat, pokud je pro tento účet povolená podpora neměnnosti na úrovni verze nebo pokud je v cílovém kontejneru definovaném v zásadách inventáře povolená podpora neměnnosti na úrovni verze.

Sestavy můžou vyloučit obnovitelné odstraněné objekty blob v účtech, které mají hierarchický obor názvů.

Pokud se kontejner nebo adresář odstraní s povoleným obnovitelném odstraněním, označí se kontejner nebo adresář a veškerý jeho obsah jako obnovitelné odstranění. V sestavě inventáře se ale zobrazí pouze kontejner nebo adresář (hlášený jako objekt blob nulové délky), a ne objekty blob obnovitelného odstranění v daném kontejneru nebo adresáři, i když nastavíte includeDeleted pole zásady na hodnotu true. To může vést k rozdílu mezi tím, co se zobrazuje v metrikách kapacity, které získáte na webu Azure Portal a co je hlášeno sestavou inventáře.

V sestavách se zobrazí pouze objekty blob, které jsou explicitně odstraněny. Aby bylo možné získat úplný seznam všech obnovitelně odstraněných objektů blob (adresář a všechny podřízené objekty blob), měly by úlohy před odstraněním samotného adresáře odstranit každý objekt blob v adresáři.

Další kroky

• Povolení sestav inventáře objektů blob služby Azure Storage
• Výpočet počtu a celkové velikosti objektů blob na kontejner
• Kurz: Analýza sestav inventáře objektů blob
• Správa životního cyklu služby Azure Blob Storage
• Nejčastější dotazy k inventáři objektů blob