Unterstützte Datenquellen und Dateitypen

Artikel
09/01/2024

In diesem Artikel werden derzeit unterstützte Datenquellen, Dateitypen und Überprüfungskonzepte im Microsoft Purview Data Map.

Microsoft Purview Data Map verfügbaren Datenquellen

In der folgenden Tabelle sind alle Quellen aufgeführt, für die technische Metadaten in Microsoft Purview verfügbar sind. Wählen Sie die Datenquelle aus, um weitere Informationen zu erhalten. Die Tabelle enthält auch zusätzliche unterstützte Funktionen für jede Datenquelle, und Sie können das Feature auswählen, um weitere Informationen zu erhalten.

Kategorie	Unterstützter Datenspeicher	Überprüfung	Klassifizierung	Bezeichnen	Richtlinien	Herkunft	Datenfreigabe	Live-Ansicht
Azure	Mehrere Quellen	Ja	Ja	Quellenabhängig	Ja	Nein	Nein	Eingeschränkt
	Azure Blob Storage	Ja	Ja	Ja	Ja (Vorschau)	Begrenzt*	Ja	Ja
	Azure Cosmos DB (API for NoSQL)	Ja	Ja	Ja	Nein	Nein*	Nein	Nein
	Azure Data Explorer	Ja	Ja	Ja	Nein	Nein*	Nein	Nein
	Azure Data Factory	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Azure Data Lake Storage Gen1	Ja	Ja	Ja	Nein	Begrenzt*	Nein	Nein
	Azure Data Lake Storage Gen2	Ja	Ja	Ja	Ja (Vorschau)	Begrenzt*	Ja	Ja
	Azure Data Share	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Azure-Datenbank für MySQL	Ja	Ja	Ja	Nein	Nein*	Nein	Nein
	Azure-Datenbank für PostgreSQL	Ja	Ja	Ja	Nein	Nein*	Nein	Nein
	Azure Databricks Hive-Metastore	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Azure Databricks Unity Catalog	Ja	Ja	Ja	Nein	Nein	Nein	Nein
	Azure Dedicated SQL-Pool (ehemals SQL DW)	Ja	Ja	Nein	Nein	Nein*	Nein	Nein
	Azure Files	Ja	Ja	Ja	Nein	Begrenzt*	Nein	Nein
	Azure Machine Learning	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Azure SQL-Datenbank	Ja	Ja	Ja	Ja	Ja (Vorschau)	Nein	Ja
	Azure SQL Managed Instance	Ja	Ja	Ja	Ja	Nein*	Nein	Nein
	Azure Synapse Analytics (Arbeitsbereich)	Ja	Ja	Ja	Nein	Ja– Synapse-Pipelines	Nein	Nein
Kategorie	Unterstützter Datenspeicher	Unterstützter Datenspeicher	Klassifizierung	Bezeichnen	Zugriffsrichtlinie	Herkunft	Datenfreigabe	Live-Ansicht
Datenbank	Amazon RDS	Ja	Ja	Nein	Nein	Nein	Nein	Nein
	Amazon Redshift	Ja	Nein	Nein	Nein	Nein	Nein	Nein
	Cassandra	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Db2	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Google BigQuery	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Hive-Metastore-Datenbank	Ja	Nein	Nein	Nein	Ja*	Nein	Nein
	MongoDB	Ja	Nein	Nein	Nein	Nein	Nein	Nein
	MySQL	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Oracle	Ja	Ja	Nein	Nein	Ja*	Nein	Nein
	PostgreSQL	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	SAP Business Information Warehouse	Ja	Nein	Nein	Nein	Nein	Nein	Nein
	SAP HANA	Ja	Nein	Nein	Nein	Nein	Nein	Nein
	Schneeflocke	Ja	Ja	Ja	Nein	Ja	Nein	Nein
	SQL Server	Ja	Ja	Ja	Nein	Nein*	Nein	Nein
	SQL Server in Azure Arc	Ja	Ja	Nein	Ja	Nein*	Nein	Nein
	Teradata	Ja	Ja	Nein	Nein	Ja*	Nein	Nein
Kategorie	Unterstützter Datenspeicher	Unterstützter Datenspeicher	Klassifizierung	Bezeichnen	Zugriffsrichtlinie	Herkunft	Datenfreigabe	Live-Ansicht
File	Amazon S3	Ja	Ja	Ja	Ja	Begrenzt*	Nein	Nein
	HDFS	Ja	Ja	Nein	Nein	Nein	Nein	Nein
Dienste und Apps	Luftstrom	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Datenumkehr	Ja	Ja	Ja	Nein	Nein	Nein	Nein
	Erwin	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Stoff	Ja	Nein	Nein	Nein	Ja	Nein	Ja
	Looker	Ja	Nein	Nein	Nein	Ja	Nein	Nein
	Power BI	Ja	Nein	Nein	Nein	Ja	Nein	Ja**
	Qlik Sense	Ja	Nein	Nein	Nein	Nein	Nein	Nein
	Salesforce	Ja	Nein	Nein	Nein	Nein	Nein	Nein
	SAP ECC	Ja	Nein	Nein	Nein	Ja*	Nein	Nein
	SAP S/4HANA	Ja	Nein	Nein	Nein	Ja*	Nein	Nein
	Tableau	Ja	Nein	Nein	Nein	Nein	Nein	Nein

* Neben der Herkunft von Ressourcen innerhalb der Datenquelle wird auch die Herkunft unterstützt, wenn das Dataset als Quelle/Senke in Data Factory oder Synapse-Pipeline verwendet wird.

** Power BI-Elemente in einem Fabric-Mandanten sind über die Liveansicht verfügbar.

Hinweis

Derzeit kann der Microsoft Purview Data Map keine Medienobjekte scannen, die /, \oder # im Namen enthalten sind. Verwenden Sie das Beispiel unter Registrieren und Überprüfen einer Azure SQL-Datenbank, um den Umfang Ihrer Überprüfung zu erweitern und die Überprüfung von Ressourcen zu vermeiden, die diese Zeichen im Ressourcennamen enthalten.

Wichtig

Wenn Sie eine selbstgehostete Integration Runtime verwenden möchten, erfordert das Überprüfen einiger Datenquellen eine zusätzliche Einrichtung auf dem Computer mit der selbstgehosteten Integration Runtime. Beispielsweise JDK, Visual C++ Redistributable oder ein bestimmter Treiber. Informationen zu Ihrer Quelle finden Sie in jedem Quellartikel, um details zu den Voraussetzungen zu erhalten. Alle Anforderungen werden im Abschnitt Voraussetzungen aufgeführt.

Überprüfen von Regionen

Im Folgenden ist eine Liste aller Azure-Datenquellenregionen (Rechenzentrumsregionen) aufgeführt, in denen der Microsoft Purview Data Map Scanner ausgeführt wird. Wenn sich Ihre Azure-Datenquelle in einer Region außerhalb dieser Liste befindet, wird der Scanner in der Region Ihres Microsoft Purview-instance ausgeführt.

Microsoft Purview Data Map Scannerregionen

Australien (Osten)
Australien (Südosten)
Brasilien Süd
Kanada, Mitte
Kanada, Osten
Indien, Mitte
China, Norden 3
Ostasien
USA (Osten)
USA (Osten) 2
Frankreich, Mitte
Deutschland, Westen-Mitte
Japan Osten
Korea zentral
USA (Norden, Mitte)
Nordeuropa
Katar, Mitte
Süd-Afrika Nord
USA (Süden, Mitte)
Südostasien
Schweiz Nord
VAE Nord
Vereinigtes Königreich (Süden)
USGov Virginia
USA (Westen, Mitte)
Westeuropa
USA (Westen)
USA (Westen) 2
USA, Westen 3

Für die Überprüfung unterstützte Dateitypen

Die folgenden Dateitypen werden für die Überprüfung, für die Schemaextraktion und die Klassifizierung unterstützt, sofern zutreffend:

Strukturierte Dateiformate, die von der Erweiterung unterstützt werden, umfassen Scannen, Schemaextraktion und Klassifizierung auf Ressourcen- und Spaltenebene: AVRO, ORC, PARQUET, CSV, JSON, PSV, SSV, TSV, TXT, XML, GZIP
Dokumentdateiformate, die von der Erweiterung unterstützt werden, umfassen Scannen und Klassifizierung auf Ressourcenebene: DOCM, DOCX, DOT, ODP, ODS, ODT, PDF, POT, PPS, PPSX, PPT, PPT, XLC, XLS, XLSB, XLSM, XLSX, XLT
Der Microsoft Purview Data Map unterstützt auch benutzerdefinierte Dateierweiterungen und benutzerdefinierte Parser.

Hinweis

Bekannte Einschränkungen:

Der Microsoft Purview Data Map-Scanner unterstützt nur die Schemaextraktion für die oben aufgeführten strukturierten Dateitypen.
Für AVRO-, ORC- und PARQUET-Dateitypen unterstützt der Scanner keine Schemaextraktion für Dateien, die komplexe Datentypen (z. B. MAP, LIST, STRUCT) enthalten.
Der Scanner unterstützt das Scannen snappy komprimierter PARQUET-Typen für die Schemaextraktion und -klassifizierung.
Bei GZIP-Dateitypen muss das GZIP einer einzelnen CSV-Datei in zugeordnet werden. Gzip-Dateien unterliegen systemspezifischen und benutzerdefinierten Klassifizierungsregeln. Derzeit wird das Scannen einer GZIP-Datei, die mehreren Dateien in zugeordnet ist, oder einem anderen Dateityp als csv nicht unterstützt.
Für Dateitypen mit Trennzeichen (CSV, PSV, SSV, TSV, TXT):
- Durch Trennzeichen getrennte Dateien mit nur einer Spalte können nicht als CSV-Dateien bestimmt werden und weisen kein Schema auf.
- Die Datentyperkennung wird nicht unterstützt. Der Datentyp wird für alle Spalten als "Zeichenfolge" aufgeführt.
- Wir unterstützen nur komma(','), semikolon(';'), vertical bar('|') und tab('\t') als Trennzeichen.
- Durch Trennzeichen getrennte Dateien mit weniger als drei Zeilen können nicht als CSV-Dateien bestimmt werden, wenn sie ein benutzerdefiniertes Trennzeichen verwenden. Beispiel: Dateien mit ~-Trennzeichen und weniger als drei Zeilen können nicht als CSV-Dateien bestimmt werden.
- Wenn ein Feld doppelte Anführungszeichen enthält, können die doppelten Anführungszeichen nur am Anfang und Ende des Felds angezeigt werden und müssen übereinstimmen. Doppelte Anführungszeichen, die in der Mitte des Felds oder am Anfang und Ende angezeigt werden, aber nicht übereinstimmen, werden als ungültige Daten erkannt, und es wird kein Schema aus der Datei analysiert. Zeilen, die eine andere Anzahl von Spalten als die Kopfzeile aufweisen, werden als Fehlerzeilen bewertet. (Anzahl der Fehlerzeilen/Anzahl der stichprobenierten Zeilen ) muss kleiner als 0,1 sein.
Wenn Sie bei Parquet-Dateien eine selbstgehostete Integration Runtime verwenden, müssen Sie die 64-Bit-JRE 11 (Java Runtime Environment) oder OpenJDK auf Ihrem IR-Computer installieren. Eine Installationsanleitung finden Sie im Abschnitt Java Runtime Environment unten auf der Seite .
Derzeit wird das Deltaformat nicht unterstützt. Wenn Sie das Deltaformat direkt aus einer Speicherdatenquelle wie Azure Data Lake Storage (ADLS Gen2) überprüfen, wird der Satz von Parquet-Dateien aus dem Deltaformat analysiert und als Ressourcensatz behandelt, wie unter Grundlegendes zu Ressourcensätzen beschrieben. Neben den spalten, die für die Partitionierung verwendet werden, werden nicht als Teil des Schemas für den Ressourcensatz erkannt.

Schemaextraktion

Für Datenquellen, die die Schemaextraktion während der Überprüfung unterstützen, wird das Objektschema nicht direkt um die Anzahl der Spalten abgeschnitten.

Geschachtelte Daten

Derzeit werden geschachtelte Daten nur für JSON-Inhalte unterstützt.

Wenn in einer Spalte geschachtelter JSON-Inhalt vorhanden ist, analysiert der Scanner für alle vom System unterstützten Dateitypen die geschachtelten JSON-Daten und zeigt sie auf der Schemaregisterkarte des Medienobjekts an.

Geschachtelte Daten oder geschachtelte Schemaanalyse werden in SQL nicht unterstützt. Eine Spalte mit geschachtelten Daten wird gemeldet und klassifiziert, und Unterdaten werden nicht analysiert.

Samplingdaten für die Klassifizierung

In Microsoft Purview Data Map Terminologie

L1-Scan: Extrahiert grundlegende Informationen und Metadaten wie Dateiname, Größe und vollqualifizierter Name
L2-Überprüfung: Extrahiert das Schema für strukturierte Dateitypen und Datenbanktabellen.
L3-Überprüfung: Extrahiert ggf. das Schema und unterzieht die Stichprobendatei den System- und benutzerdefinierten Klassifizierungsregeln.

Erfahren Sie mehr über das Anpassen der Scanebenen.

Für alle strukturierten Dateiformate werden dateien im Microsoft Purview Data Map Scanner wie folgt beschrieben:

Bei strukturierten Dateitypen werden die ersten 128 Zeilen in jeder Spalte oder die ersten 1 MB( je nachdem, welcher Wert niedriger ist) entnommen.
Bei Dokumentdateiformaten werden die ersten 20 MB jeder Datei als Stichprobe verwendet.
- Wenn eine Dokumentdatei größer als 20 MB ist, unterliegt sie keinem tiefen Scan (unterliegt der Klassifizierung). In diesem Fall erfasst Microsoft Purview nur grundlegende Metadaten wie Dateiname und vollqualifizierter Name.
Für tabellarische Datenquellen (SQL) werden die ersten 128 Zeilen entnommen.
Für Azure Cosmos DB for NoSQL werden bis zu 300 unterschiedliche Eigenschaften aus den ersten 10 Dokumenten in einem Container für das Schema gesammelt, und für jede Eigenschaft werden Werte von bis zu 128 Dokumenten oder den ersten 1 MB abgetastet.

Stichprobenerstellung für Ressourcensatzdateien

Ein Ordner oder eine Gruppe von Partitionsdateien wird als Ressourcensatz im Microsoft Purview Data Map erkannt, wenn er mit einer Systemressourcensatzrichtlinie oder einer vom Kunden definierten Ressourcensatzrichtlinie übereinstimmt. Wenn ein Ressourcensatz erkannt wird, nimmt der Scanner eine Stichprobe für jeden ordner, der darin enthalten ist. Weitere Informationen zu Ressourcensätzen finden Sie hier.

Dateisampling für Ressourcensätze nach Dateitypen:

Durch Trennzeichen getrennte Dateien (CSV, PSV, SSV, TSV): 1 von 100 Dateien werden in einem Ordner oder einer Gruppe von Partitionsdateien, die als "Ressourcensatz" betrachtet werden, stichprobeniert (L3-Überprüfung)
Data Lake-Dateitypen (Parquet, Avro, Orc): 1 in 18446744073709551615 Dateien (maximale Länge) werden in einem Ordner oder einer Gruppe von Partitionsdateien, die als "Ressourcensatz" betrachtet werden, stichprobeniert (L3-Überprüfung)
Andere strukturierte Dateitypen (JSON, XML, TXT): 1 von 100 Dateien werden in einem Ordner oder einer Gruppe von Partitionsdateien, die als "Ressourcensatz" betrachtet werden, stichprobeniert (L3-Scan)
SQL-Objekte und Azure Cosmos DB-Entitäten : Jede Datei wird L3 gescannt.
Dokumentdateitypen : Jede Datei wird L3 gescannt. Ressourcensatzmuster gelten nicht für diese Dateitypen.

Freigeben über