Einen Azure Synapse Link for Dataverse mit Azure Data Lake erstellen

  • Artikel

Sie können den Azure Synapse Link benutzen, um Ihre Microsoft Dataverse-Daten mit Azure Data Lake Storage Gen2 zu verbinden, um verschiedene Analyseszenarien zu ermöglichen. Dieser Artikel zeigt Ihnen, wie Sie die folgenden Aufgaben ausführen:

  1. Verbinden Sie Ihre Dataverse-Daten mithilfe des Azure Synapse Link-Service mit Ihrem Azure Data Lake Storage Gen2-Konto.
  2. Verwalten Sie Dataverse-Tabellen, die in Azure Synapse Link enthalten sind.
  3. Überwachen Sie Ihr Azure Synapse Link.
  4. Ihren Azure Synapse Link aufheben.
  5. Verknüpfen Sie Ihr Azure Synapse Link erneut.
  6. Zeigen Sie Ihre Daten in Azure Data Lake an, und verstehen Sie die Dateistruktur.

Hinweis

Azure Synapse Link for Dataverse war früher als „In Data Lake exportieren“ bekannt. Der Dienst wurde mit Wirkung zum Mai 2021 umbenannt und exportiert weiterhin Daten nach Azure Data Lake sowie Azure Synapse Analytics.

Anforderungen

  • Azure Data Lake Storage Gen2: Sie brauchen ein Azure Data Lake Storage Gen2-Konto und müssen als Besitzer und Storage-Blob-Datenmitwirkender Zugriff haben. Ihr Speicherkonto muss den Hierarchischen Namespace sowohl für die Ersteinrichtung als auch für die Deltasynchronisierung aktivieren. Speicherkontoschlüsselzugriff zulassen ist nur für die Ersteinrichtung erforderlich.

Hinweis

  • Das Speicherkonto muss im selben Microsoft Entra-Mandanten wie Ihr Power Apps-Mandant erstellt werden.
  • Um für verknüpfte Speicherkonten Aktiviert von ausgewählten virtuellen Netzwerken und IP-Adressen so einzustellen, dass von ausgewählten IP-Adressen aus Zugriff gewährt wird, müssen Sie einen Azure Synapse Link mit verwalteten Identitäten erstellen. Verwenden Sie verwaltete Identitäten für Azure mit Ihrem Azure Data Lake Storage (ohne eingerichtete verwaltete Identitäten müssen Sie sowohl für die Ersteinrichtung als auch für die Deltasynchronisierung den öffentlichen Netzwerkzugriff für Azure-Ressourcen aktivieren.)
  • Sie müssen den Leser-Rollenzugriff auf die Ressourcengruppe mit dem Speicherkonto haben.
  • Um die Umgebung mit Azure Data Lake Storage Gen2 zu verlinken, müssen Sie die Dataverse-Systemadministrator-Sicherheitsrolle haben.
  • Nur Tabellen, die die Änderungsnachverfolgung aktiviert haben, können exportiert werden.
  • Die Erstellung von Azure Synapse Link-Profilen in einer einzelnen Dataverse-Umgebung ist auf maximal zehn begrenzt.

Verbinden von Dataverse mit Azure Data Lake Storage Gen2

  1. Melden Sie sich bei Power Apps an und wählen Sie Ihre bevorzugte Umgebung aus.

  2. Wählen Sie im linken Navigationsbereich Azure Synapse Link aus. Wenn Azure Synapse Link im Seitenleistenbereich nicht sichtbar ist, wählen Sie … Mehr und dann Alles entdecken. Azure Synapse Link befindet sich im Abschnitt Datenverwaltung.

  3. Wählen Sie auf der Befehlsliste + Neue Verknüpfung zum Data Lake aus.

  4. Wählen Sie das Abonnement, die Ressourcengruppe, und das Speicherkonto. Stellen Sie sicher, dass das Speicherkonto die im Abschnitt Voraussetzungen angegebenen Anforderungen erfüllt. Klicken Sie auf Weiter.

    Hinweis

    Im Rahmen der Verlinkung der Umgebung zu einem Data Lake, gewähren Sie dem Azure Synapse Link-Service Zugriff auf Ihr Speicherkonto. Stellen Sie sicher, dass Sie den Voraussetzungen zum Erstellen und Konfigurieren des Azure Data Lake Storage-Kontos gefolgt sind und Ihnen selbst eine Besitzerrolle im Speicherkonto zuweisen. Zusätzlich gewähren Sie dem Power Platform-Dataflows-Service Zugriff auf Ihr Speicherkonto. Weitere Informationen: Self-Service Datenaufbereitung mit Dataflows.

  5. Fügen Sie die Tabellen hinzu, die Sie exportieren möchten, und wählen Sie dann Speichern. Nur Tabellen mit Änderungsnachverfolgung können exportiert werden. Weitere Informationen: Änderungsverfolgung für eine Entität aktivieren.

    Tabellen für den Export auswählen

Sie können die oben aufgeführten Schritte in diesem Artikel ausführen, um eine Verknüpfung von einer Umgebung zu mehreren Azure Data Lakes in Ihrem Azure-Abonnement zu erstellen. Auf die gleiche Weise könnten Sie einen Link aus mehreren Umgebung mit dem selben Azure Data Lake erstellen, was im selben Mandant möglich ist.

Hinweis

Der Azure Synapse Link for Dataverse-Dienst ist als sofort einsatzbereite Funktion nahtlos in die Power Platform integriert. Er erfüllt die Sicherheits- und Governance-Standards für die Power Platform-Datenspeicherung und -Governance. Weitere Informationen: Datenspeicherung und Governance

Die vom Azure Synapse Link Dienst exportierten Daten werden bei der Übertragung mit Transport Layer Security (TLS) 1.2 oder höher verschlüsselt und im Ruhezustand in Azure Data Lake Storage Gen2 verschlüsselt. Zusätzlich werden transiente Daten im Blobspeicher auch im Ruhezustand verschlüsselt. Die Verschlüsselung in Azure Data Lake Storage Gen2 hilft Ihnen beim Schutz Ihrer Daten, bei der Implementierung von Sicherheitsrichtlinien des Unternehmens und bei der Erfüllung gesetzlicher Vorschriften. Weitere Informationen: Azure Datenverschlüsselung im Ruhezustand

Tabellendaten für den Data Lake verwalten

Nachdem Sie Azure Synapse Link eingerichtet haben, können Sie die exportierten Tabellen auf zwei Arten verwalten:

  • Wählen Sie im Power Apps-Entwicklerportal den Bereich Azure Synapse Link, in der Befehlsleiste Tabellen verwalten, um eine oder mehrere verknüpfte Tabellen hinzuzufügen oder zu entfernen.

  • Wählen Sie im Bereich Tabellen des Power Apps-Entwicklerportals ... neben einer Tabelle und dann den verknüpften Data Lake aus, in den Sie Tabellendaten exportieren möchten.

    Tabelle für den Export auswählen

Nachdem Sie Azure Synapse Link eingerichtet haben, können Sie Azure Synapse Link in der Registerkarte Tabellen überwachen.

Azure Synapse Link Überwachung

  • Es wird eine Liste von Tabellen angezeigt, die Teil vom ausgewählten Azure Synapse Link sind.
  • Es gibt verschiedene Stufen, durch die der Synchronisierungsstatus zirkuliert. NotStarted zeigt an, dass die Tabelle darauf wartet, synchronisiert zu werden. Sobald die anfängliche Synchronisierung der Tabelle Abgeschlossen ist, gibt es eine Nachbearbeitungsphase, in der keine inkrementellen Aktualisierungen stattfinden. Dies kann je nach Größe Ihrer Daten einige Stunden dauern. Wenn die inkrementellen Updates beginnen, wird das Datum für die letzte Synchronisierung regelmäßig aktualisiert.
  • Die Spalte Count zeigt die Anzahl der geschriebenen Zeilen an. Wenn Nur anhängen auf Nein festgelegt ist, ist dies die Gesamtzahl der Datensätze. Wenn Nur anhängen auf Ja festgelegt ist, ist dies die Gesamtzahl der Änderungen.
  • Die Spalten Nur anhängen und Partitionsstrategie zeigen die Verwendung verschiedener erweiterter Konfigurationen.

  1. Wählen Sie das gewünschte Azure Synapse Link aus, um die Verknüpfung aufzuheben.

  2. Wählen Sie Verknüpfung zum Data Lake aufheben aus der Befehlsleiste.

  3. Um das Data Lake-Dateisystem zu löschen, wählen Sie Data Lake-Dateisystem löschen.

  4. Wählen Sie Ja und warten Sie einige Minuten, bis alle Verknüpfungen aufgehoben und gelöscht wurden.

Wenn Sie das Dateisystem beim Aufheben der Verknüpfung gelöscht haben, führen Sie die obigen Schritte aus, um denselben Data Lake erneut zu verknüpfen. Wenn Sie das Dateisystem beim Aufheben der Verknüpfung nicht gelöscht haben, müssen Sie die Daten für die erneute Verknüpfung löschen:

  1. Wechseln Sie zum Azure Data Lake.

  2. Löschen Sie den Dataverse-Container.

  3. Wechseln Sie zu Power Apps und verknüpfen Sie den Data Lake erneut.

Anzeigen Ihrer Daten in Azure Data Lake Storage Gen2

  1. Wählen Sie den gewünschten Azure Synapse Link und dann Zum Azure-Data Lake wechseln im oberen Bereich aus.

  2. Erweitern Sie Dateisysteme, und wählen Sie dann Dataverse-Umgebungsname-OrganisationUniqueName aus.

Die Datei model.json enthält neben ihrem Namen und ihrer Version eine Liste der Tabellen, die in den Data Lake exportiert wurden. Die Datei model.json enthält auch den anfänglichen Synchronisationsstatus und die Zeit der Fertigstellung der Synchronisierung.

Für jede in den Data Lake exportierte Tabelle wird ein Ordner angezeigt, der durch Trennzeichen getrennte Snapshot-Dateien (CSV-Format) enthält. Tabellendaten im Data Lake

  1. Fügen Sie in der Adressleiste des Webbrowsers ?athena.updateLake=true an die Webadresse an, die mit exporttodatalake endet.

  2. Wählen Sie im Azure Synapse Link-Bereich ein vorhandenes Profil aus und wählen Sie dann die erweiterte Option aus.

  3. Wählen Sie Mit Azure Synapse Analytics-Arbeitsbereich verknüpfen aus und warten Sie einige Minuten, bis alle Verknüpfungen erstellt wurden.

Kontinuierliche Snapshot-Updates

Microsoft Dataverse Daten können sich kontinuierlich durch das Erstellen, Aktualisieren und Löschen von Transaktionen ändern. Snapshots stellen eine schreibgeschützte Kopie der Daten dar, die in regelmäßigen Abständen, in diesem Fall stündlich, aktualisiert wird. Dies stellt sicher, dass ein Datenanalyse-Konsument zu jedem Zeitpunkt zuverlässig Daten im Lake konsumieren kann.

Fortlaufende Aktualisierungen der Momentaufnahme

Wenn Tabellen beim ersten Export hinzugefügt werden, werden die Tabellendaten in die table.csv-Dateien unter den entsprechenden Ordnern in den Data Lake geschrieben. Dies ist das T1-Intervall, in dem eine schreibgeschützte Snapshot-Datei namens Tabelle-T1.csv— zum Beispiel Account-T1.csv oder Contacts-T1.csv—erstellt wird. Darüber hinaus wird die model.json-Datei aktualisiert, um auf diese Momentaufnahme-Dateien zu verweisen. Wenn Sie model.json öffnen, können Sie die Details des Snapshots anzeigen.

Hier ist ein Beispiel für eine in Account.csv partitionierte Datei und einen Snapshot-Ordner im Data Lake.

Momentaufnahme der Firmentabelle

Änderungen in Dataverse werden kontinuierlich mit Hilfe der Trickle-Feed-Engine in die entsprechenden CSV-Dateien übertragen. Dies ist das T2-Intervall, in dem eine weitere Momentaufnahme erstellt wird. Tabelle-T2.csv—zum Beispiel Accounts-T2.csv oder Contacts-T2.csv (vorausgesetzt, es gibt Änderungen für die Tabelle) —und model.json werden auf die neuen Snapshot-Dateien aktualisiert. Jede neue Person, die die Snapshot-Daten ab T2 anzeigt, wird zu den neueren Snapshot-Dateien geleitet. Auf diese Weise kann der ursprüngliche Snapshot-Viewer weiterhin an den älteren Snapshot-T1-Dateien arbeiten, während neuere Viewer die neuesten Aktualisierungen lesen können. Dies ist in Szenarien mit länger laufenden Downstream-Prozessen nützlich.

Hinweis

Eine neue Snapshot-Datei wird nur erstellt, wenn es eine Datenaktualisierung gibt. Nur die letzten fünf Snapshot-Dateien werden beibehalten. Stagnierende Daten werden automatisch aus Ihrem Azure Data Lake Storage Gen 2-Konto entfernt.

Hier ist ein Beispiel für die Datei model.json, die immer auf die letzte zeitgestempelte Konto-Snapshot-Datei verweist.

Beispielmomentaufnahme model.json-Datei

Wie geht es weiter?

Entdecken Sie, wie Sie nach erfolgreicher Verwendung des Azure Synapse Link for Dataverse-Service Ihre Daten in der Discover Hub analysieren und nutzen können. Um auf die Discover Hub zuzugreifen, gehen Sie zu Power Apps > Azure Synapse Link. Wählen Sie Ihren verknüpften Dienst aus, und wählen Sie dann die Registerkarte Hub entdecken aus. Hier finden Sie empfohlene Tools und kuratierte Dokumentationen, mit denen Sie Ihre Daten optimal nutzen können. Discover-Hub

Siehe auch

Dataverse-Daten im Data Lake mit Power BI analysieren

Dataverse-Daten im Data Lake mit Azure Data Factory erfassen

Erweiterte Azure Synapse Link for Dataverse-Konfiguration

Azure Synapse Link – häufig gestellte Fragen

Hinweis

Können Sie uns Ihre Präferenzen für die Dokumentationssprache mitteilen? Nehmen Sie an einer kurzen Umfrage teil. (Beachten Sie, dass diese Umfrage auf Englisch ist.)

Die Umfrage dauert etwa sieben Minuten. Es werden keine personenbezogenen Daten erhoben. (Datenschutzbestimmungen).