資産の正規化

Microsoft Purview データ マップに資産を取り込む場合、同じデータ資産を更新する異なるソースから、類似したが、修飾名が若干異なる場合があります。 これらの修飾名は同じ資産を表しますが、余分な文字などのわずかな違いにより、サーフェス上のこれらの資産が異なって表示され、Microsoft Purview で重複するエントリが発生する可能性があります。 重複するエントリを格納し、データ カタログを使用するときに混乱を引き起こさないように、Microsoft Purview では、インジェスト中に正規化を適用して、同じエンティティ型のすべての完全修飾名が同じ形式になるようにします。

たとえば、修飾名 https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquetを使用して Azure Blob でスキャンします。 この BLOB は、資産に系列情報を追加するAzure Data Factory パイプラインによっても使用されます。 ADF パイプラインは、ファイルを として https://myAccount.file.core.windows.net//myshare/folderA/folderB/my-file.parquet読み取るように構成できます。 修飾名は異なりますが、この ADF パイプラインは同じデータを使用しています。 正規化を使用すると、Azure Blob StorageとAzure Data Factoryの両方のすべてのメタデータが 1 つの資産 https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet() で確実に表示されます。

正規化ルール

Microsoft Purview によって適用される正規化規則を次に示します。

中かっこをエンコードする

適用対象: すべての資産

以前は： https://myaccount.file.core.windows.net/myshare/{folderA}/folder{B/

後： https://myaccount.file.core.windows.net/myshare/%7BfolderA%7D/folder%7BB/

セクションスペースをトリミングする

適用対象: Azure Blob、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure Data Factory、Azure SQL Database、Azure SQL Managed Instance、Azure SQL プール、Azure Cosmos DB、Azure Cognitive Search、Azure Data Explorer、Azure Data Share、Amazon S3

以前は： https://myaccount.file.core.windows.net/myshare/ folder A/folderB /

後： https://myaccount.file.core.windows.net/myshare/folder A/folderB/

ホスト名スペースを削除する

適用対象: Azure Blob、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database、Azure SQL Managed Instance、Azure SQL プール、Azure Cosmos DB、Azure Cognitive Search、Azure Data Explorer、Azure Data Share、Amazon S3

以前は： https://myaccount .file. core.win dows. net/myshare/folderA/folderB/

後： https://myaccount.file.core.windows.net/myshare/folderA/folderB/

角かっこを削除する

適用対象: Azure SQL データベース、Azure SQL Managed Instance、Azure SQL プール

以前は： mssql://foo.database.windows.net/[bar]/dbo/[foo bar]

後： mssql://foo.database.windows.net/bar/dbo/foo%20bar

小文字のスキーム

適用対象: Azure Blob、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database、Azure SQL Managed Instance、Azure SQL プール、Azure Cosmos DB、Azure Cognitive Search、Azure Data Explorer、Amazon S3

以前は： HTTPS://myaccount.file.core.windows.net/myshare/folderA/folderB/

後： https://myaccount.file.core.windows.net/myshare/folderA/folderB/

小文字のホスト名

適用対象: Azure Blob、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database、Azure SQL Managed Instance、Azure SQL プール、Azure Cosmos DB、Azure Cognitive Search、Azure Data Explorer、Amazon S3

以前は： https://myAccount.file.Core.Windows.net/myshare/folderA/folderB/

後： https://myaccount.file.core.windows.net/myshare/folderA/folderB/

小文字のファイル拡張子

適用対象: Azure Blob、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Amazon S3

以前は： https://myAccount.file.core.windows.net/myshare/folderA/data.TXT

後： https://myaccount.file.core.windows.net/myshare/folderA/data.txt

重複するスラッシュを削除する

適用対象: Azure Blob、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure Data Factory、Azure SQL Database、Azure SQL Managed Instance、Azure SQL プール、Azure Cosmos DB、Azure Cognitive Search、Azure Data Explorer、Azure Data Share、Amazon S3

以前は： https://myAccount.file.core.windows.net//myshare/folderA////folderB/

後： https://myaccount.file.core.windows.net/myshare/folderA/folderB/

ADL スキームへの変換

適用対象: Gen1 Azure Data Lake Storage

以前は： https://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

後： adl://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

末尾のスラッシュを削除する

Azure Blob、ADLS Gen1、および ADLS Gen2 の上位レベルの資産から末尾のスラッシュを削除する

適用対象: Azure Blob、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2

資産の種類: "azure_blob_container"、"azure_blob_service"、"azure_storage_account"、"azure_datalake_gen2_service"、"azure_datalake_gen2_filesystem"、"azure_datalake_gen1_account"。

以前は： https://myaccount.core.windows.net/

後： https://myaccount.core.windows.net

次の手順

Azure Blob Storage アカウントで Microsoft Purview データ マップをスキャンします。