Herstellen einer Verbindung mit und Verwalten von Azure Databricks Unity Catalog in Microsoft Purview (Vorschau)
In diesem Artikel wird beschrieben, wie Sie Azure Databricks registrieren und wie Sie azure Databricks Unity Catalog in Microsoft Purview authentifizieren und damit interagieren. Weitere Informationen zu Microsoft Purview finden Sie im Einführungsartikel.
Wichtig
Dieses Feature ist derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews enthalten zusätzliche rechtliche Bestimmungen, die für Azure-Features gelten, die sich in der Betaversion, in der Vorschau oder anderweitig noch nicht in der allgemeinen Verfügbarkeit befinden.
Unterstützte Funktionen
| Metadatenextraktion | Vollständiger Scan | Inkrementelle Überprüfung | Bereichsbezogene Überprüfung | Klassifizierung | Bezeichnen | Zugriffsrichtlinie | Linie | Datenfreigabe | Liveansicht |
|---|---|---|---|---|---|---|---|---|---|
| Ja | Ja | Nein | Ja | Nein | Nein | Nein | Nein | Nein | Nein |
Beim Überprüfen von Azure Databricks Unity Catalog unterstützt Microsoft Purview Folgendes:
- Metastore
- Kataloge
- Schemata
- Tabellen einschließlich der Spalten
- Ansichten einschließlich der Spalten
Beim Einrichten der Überprüfung können Sie den gesamten Unity Catalog überprüfen oder die Überprüfung auf eine Teilmenge von Katalogen festlegen.
Hinweis
Dieser Connector stellt Metadaten aus Azure Databricks Unity Catalog bereit. Informationen zum Überprüfen von Metadaten im Bereich des Azure Databricks-Arbeitsbereichs finden Sie unter Azure Databricks Hive-Metastore-Connector.
Bekannte Einschränkungen
- Derzeit wird die Überprüfung nicht unterstützt, wenn Ihr Azure Databricks-Arbeitsbereich keinen Zugriff aus einem öffentlichen Netzwerk zulässt oder Wenn Ihr Purview-Konto nicht den Zugriff aus allen Netzwerken ermöglicht. Wir fügen diese Unterstützung in Kürze hinzu.
- Wenn das Objekt aus der Datenquelle gelöscht wird, wird das entsprechende Objekt in Microsoft Purview bei der nachfolgenden Überprüfung derzeit nicht automatisch entfernt.
Voraussetzungen
Sie müssen über ein Azure-Konto mit einem aktiven Abonnement verfügen. Erstellen Sie kostenlos ein Konto.
Sie müssen über ein aktives Microsoft Purview-Konto verfügen.
Sie benötigen eine Azure-Key Vault und um Microsoft Purview-Berechtigungen für den Zugriff auf Geheimnisse zu erteilen.
Sie benötigen Datenquellenadministrator- und Datenleserberechtigungen, um eine Quelle zu registrieren und im Microsoft Purview-Governanceportal zu verwalten. Weitere Informationen zu Berechtigungen finden Sie unter Zugriffssteuerung in Microsoft Purview.
Um Azure Databricks Unity Catalog zu überprüfen, stellt Microsoft Purview eine Verbindung mit einem SQL-Warehouse in Ihrem Arbeitsbereich her und verwendet das persönliche Zugriffstoken für die Authentifizierung. Sie benötigen einen Azure Databricks-Arbeitsbereich, der Unity Catalog aktiviert und an den Metastore angefügt ist, den Sie überprüfen möchten. In Ihrem Azure Databricks-Arbeitsbereich:
Generieren Sie ein persönliches Zugriffstoken, und speichern Sie es als Geheimnis in Azure Key Vault.
Für alle Objekte, die Sie in Microsoft Purview einbinden möchten, muss der Benutzer mindestens über select-Berechtigungen für Tabellen/Sichten, USE CATALOG für den Objektkatalog und USE SCHEMA für das Schema des Objekts verfügen.
Um alle Objekte in einem Unity Catalog-Metastore zu überprüfen, verwenden Sie einen Benutzer mit der Metastore-Administratorrolle. Weitere Informationen finden Sie unter Verwalten von Berechtigungen in Unity Catalog und Unity Catalog-Berechtigungen und sicherungsfähigen Objekten.
Erstellen Sie ein SQL-Warehouse. Sie können ggf. auch das automatisch erstellte Starter-Warehouse verwenden.
Notieren Sie sich den HTTP-Pfad. Sie finden sie im Azure Databricks-Arbeitsbereich –> SQL Warehouses –> Ihr Warehouse –> Verbindungsdetails –> HTTP-Pfad.
Stellen Sie sicher, dass der Benutzer über die Berechtigung Kann verwenden verfügt, um eine Verbindung mit dem Azure Databricks SQL-Warehouse herzustellen. Weitere Informationen finden Sie unter Zugriffssteuerung für DAS SQL-Warehouse.
Registrieren
In diesem Abschnitt wird beschrieben, wie Sie einen Azure Databricks-Arbeitsbereich in Microsoft Purview mithilfe des Microsoft Purview-Governanceportals registrieren.
Wechseln Sie zu Ihrem Microsoft Purview-Konto.
Wählen Sie im linken Bereich Data Map aus.
Wählen Sie Registrieren aus.
Wählen Sie unter Quellen registrieren die Option Azure Databricks>Weiter aus.
Gehen Sie auf dem Bildschirm Quellen registrieren (Azure Databricks) wie folgt vor:
Geben Sie unter Name einen Namen ein, den Microsoft Purview als Datenquelle auflistet.
Wählen Sie unter Name des Azure-Abonnements und Databricks-Arbeitsbereichs in der Dropdownliste das Abonnement und den Arbeitsbereich aus, den Sie überprüfen möchten. Die Databricks-Arbeitsbereichs-URL wird automatisch aufgefüllt.
Wählen Sie für Sammlung auswählen eine Sammlung aus der Liste aus, oder erstellen Sie eine neue Sammlung. Dieser Schritt ist optional.
Klicken Sie auf Fertigstellen.
Überprüfung
Tipp
So beheben Sie Probleme mit der Überprüfung:
- Vergewissern Sie sich, dass Sie alle Voraussetzungen erfüllt haben.
- Lesen Sie unsere Dokumentation zur Problembehandlung bei Der Überprüfung.
Führen Sie die folgenden Schritte aus, um Azure Databricks zu überprüfen, um Ressourcen automatisch zu identifizieren. Weitere Informationen zum Scannen im Allgemeinen finden Sie unter Scans und Erfassung in Microsoft Purview.
Wechseln Sie zu Quellen.
Wählen Sie die registrierte Azure Databricks-Instanz aus.
Wählen Sie + Neuer Scan aus.
Geben Sie die folgenden Details an:
Name: Geben Sie einen Namen für die Überprüfung ein.
Extraktionsmethode: Geben Sie an, dass Metadaten aus Hive Metastore oder Unity Catalog extrahiert werden sollen. Wählen Sie Unity Catalog aus.
Herstellen einer Verbindung über Integration Runtime: Wählen Sie die standardmäßige automatisch aufgelöste Integration Runtime aus.
Anmeldeinformationen: Wählen Sie die Anmeldeinformationen aus, um eine Verbindung mit Ihrer Datenquelle herzustellen. Stellen Sie folgendes sicher:
- Wählen Sie Beim Erstellen von Anmeldeinformationen Zugriffstokenauthentifizierung aus.
- Geben Sie den geheimen Namen des persönlichen Zugriffstokens an, das Sie unter Voraussetzungen im entsprechenden Feld erstellt haben.
Weitere Informationen finden Sie unter Anmeldeinformationen für die Quellauthentifizierung in Microsoft Purview.
HTTP-Pfad: Geben Sie den HTTP-Pfad des Databricks SQL Warehouse an, mit dem Microsoft Purview eine Verbindung herstellt und die Überprüfung durchführt, z. B.
/sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Sie finden sie im Azure Databricks-Arbeitsbereich –> SQL Warehouses –> Ihr Warehouse –> Verbindungsdetails –> HTTP-Pfad.
Klicken Sie auf Verbindung testen , um die Einstellungen zu überprüfen.
Wählen Sie Weiter.
Wählen Sie auf der Seite Überprüfungsbereich die Kataloge aus, die Sie überprüfen möchten.
Wählen Sie für Scantrigger aus, ob Sie einen Zeitplan einrichten oder die Überprüfung einmal ausführen möchten.
Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.
Nachdem die Überprüfung erfolgreich abgeschlossen wurde, sehen Sie sich an, wie Sie Ressourcen durchsuchen und durchsuchen.
Anzeigen Ihrer Überprüfungen und Überprüfungsausführungen
So zeigen Sie vorhandene Überprüfungen an:
- Navigieren Sie zum Microsoft Purview-Governanceportal. Wählen Sie im linken Bereich Data Map aus.
- Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
- Wählen Sie die Überprüfung aus, die Ergebnisse enthält, die Sie anzeigen möchten. Im Bereich werden alle vorherigen Überprüfungsausführungen zusammen mit den status und Metriken für jede Überprüfungsausführung angezeigt.
- Wählen Sie die Ausführungs-ID aus, um die Details der Überprüfungsausführung zu überprüfen.
Verwalten ihrer Überprüfungen
So bearbeiten, abbrechen oder löschen Sie eine Überprüfung:
Navigieren Sie zum Microsoft Purview-Governanceportal. Wählen Sie im linken Bereich Data Map aus.
Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
Wählen Sie die Überprüfung aus, die Sie verwalten möchten. Anschließend können Sie:
- Bearbeiten Sie die Überprüfung, indem Sie Überprüfung bearbeiten auswählen.
- Brechen Sie eine laufende Überprüfung ab, indem Sie Überprüfungsausführung abbrechen auswählen.
- Löschen Sie Ihre Überprüfung, indem Sie Überprüfung löschen auswählen.
Hinweis
- Durch das Löschen Ihrer Überprüfung werden keine Katalogressourcen gelöscht, die aus vorherigen Überprüfungen erstellt wurden.
- Das Medienobjekt wird nicht mehr mit Schemaänderungen aktualisiert, wenn sich Ihre Quelltabelle geändert hat, und Sie die Quelltabelle erneut überprüfen, nachdem Sie die Beschreibung auf der Registerkarte Schema von Microsoft Purview bearbeitet haben.
Durchsuchen und Durchsuchen von Ressourcen
Nachdem Sie Ihre Azure Databricks-Instanz überprüft haben, können Sie den Datenkatalog durchsuchen oder den Datenkatalog durchsuchen , um die Ressourcendetails anzuzeigen.
Beim Durchsuchen nach Quelltypen werden zwei Einträge für Azure Databricks Unity Catalog bzw . Azure Databricks angezeigt. Das erste enthält die Unity Catalog-Artefakte einschließlich des Metastores und seiner Kataloge/Schemas/Tabellen/Sichten, während letztere den Arbeitsbereich enthält.
In der Azure Databricks-Arbeitsbereichsressource finden Sie den zugeordneten Unity-Katalog auf der Registerkarte Eigenschaften. Umgekehrt gilt auch.
Nächste Schritte
Nachdem Sie Ihre Quelle registriert haben, verwenden Sie die folgenden Leitfäden, um mehr über Microsoft Purview und Ihre Daten zu erfahren: