Azure Synapse Link für SQL-Änderungsfeed

  • Artikel

Gilt für: SQL Server 2022 (16.x) Azure SQL-Datenbank Azure Synapse Analytics

In diesem Artikel finden Sie ausführliche Informationen zur Funktionsweise des Azure Synapse Link für SQL-Änderungsfeeds, einem Feature, das in SQL Server 2022 (16.x) und Azure SQL-Datenbank neu ist.

In SQL Server 2022 (16.x) wird ein neues Feature eingeführt, mit dem SQL Server-Tabellen mit der Microsoft Azure Synapse-Plattform verbunden werden können. Dieses Feature heißt Azure Synapse Link für SQL. Azure Synapse Link für SQL bietet automatische Änderungsfeeds, die die Änderungen innerhalb von SQL Server erfassen und in Azure Synapse Analytics laden.

Dieses Feature steht für Azure SQL Managed Instance zurzeit nicht zur Verfügung.

Hinweis

Durch das Aktivieren von Azure Synapse Link für SQL werden ein changefeed-Datenbankbenutzer, ein changefeed-Schema und verschiedene Tabellen innerhalb des changefeed-Schemas in Ihrer Quelldatenbank erstellt. Ändern Sie keins dieser Objekte – sie werden systemseitig verwaltet.

Zielzone

Weitere Informationen zur Zielzone für Azure Synapse Link für SQL Server finden Sie unter Azure Synapse Link für SQL Server-Zielzone.

Während Azure Synapse Link für SQL Server von Benutzer*innen bereitgestellte Azure-Ressourcen (einschließlich eines Azure Data Lake Storage (ADLS) Gen2-Speicherkontos) umfasst, wird Azure Synapse Link für Azure SQL-Datenbank vollständig verwaltet bereitgestellt (einschließlich Bereitstellung der Zielzone). Bei dieser Lösung werden ähnliche Änderungserkennungsprozesse verwendet wie in diesem Artikel. Weitere Informationen finden Sie unter Azure Synapse Link für Azure SQL-Datenbank.

Bei SQL Server wird der Azure Storage-Speicherort der Zielzone vom Kunden verwaltet und ist sichtbar, es wird jedoch nicht empfohlen oder unterstützt, die Dateien in der Zielzone zu nutzen oder zu ändern.

Änderungsfeedfeature

SQL Server-Administrator*innen können Azure Synapse Link für leere Tabellen oder für Tabellen aktivieren, die bereits Daten enthalten. Die Quelltabelle muss über einen Primärschlüssel verfügen.

Bei einer Tabelle, die bereits Daten enthält, führt Azure Synapse Link ein Seeding für die Zielzone mit einer vollständigen Anfangsmomentaufnahme der Quelltabelle durch. Wenn eine vorhandene SQL Server-Tabelle, die Daten enthält, zu Azure Synapse Link hinzugefügt wird, wird eine vollständige Momentaufnahme der anfänglichen Daten generiert. Die Anfangsmomentaufnahmendatei ist eine Datei im PARQUET-Format, die an die Zielzone in ADLS Gen2 übertragen wird.

Azure Synapse Link unterstützt das latenzarme Pushen von Quelltabellenänderungen an die Zielzone in Azure Storage. Der Änderungsfeed verwendet eine CSV-Datei, um diese Änderungen in Azure Synapse zu veröffentlichen. Dieses tabellarische Format eignet sich für das Schreiben von zeilengenauen Datenänderungen mit kurzen Intervallen (im Sekundenbereich). Die meisten CSV-Dateien sollten recht klein sein.

Änderungserfassung

Das Erfassen von Änderungen für Azure Synapse Link ähnelt der vorhandenen CDC-Technologie (Change Data Capture). Die Quelle der Änderungsdaten ist das SQL Server -Transaktionsprotokoll. Der Änderungsfeed liest das Protokoll und fügt Informationen zu Änderungen zur Zielzone hinzu.

Bei CDC wird das Transaktionsprotokoll verwendet, um alle Änderungen zu erfassen, die in einer oder mehreren Quelltabellen vorgenommen wurden.

  • Dabei wird intern eine gleichgeordnete Tabelle in der Datenbank mit den Änderungsdaten gefüllt.
  • In Azure Synapse Link werden die Daten direkt aus dem Datenbanktransaktionsprotokoll gelesen, im Arbeitsspeicher zwischengespeichert und schließlich in die Zielzone in Azure Storage geschrieben.

Bei einem Speicherausfall ist die Zielzone möglicherweise nicht verfügbar, sodass Veröffentlichungen in dieser Zielzone blockiert werden. Vergleichbar mit dem Verhalten, wenn beim SQL Server-CDC-Protokollleser-Agent ein Fehler auftritt oder dieser nicht ausgeführt wird, kann das Transaktionsprotokoll der Quelldatenbank nicht abgeschnitten werden. Bei einem längeren Speicherausfall oder bei einer Änderung der Speicherkonfiguration, aufgrund derer nicht auf den Speicher zugegriffen werden kann, beenden Sie Azure Synapse Link über Synapse Studio.

Unterstützung für Hochverfügbarkeit

Azure Synapse Link für SQL Server ist mit Always On-Verfügbarkeitsgruppen und Failoverclusterinstanzen (FCI) kompatibel.

Wenn ein Vorgang zum Erstellen einer Anfangsmomentaufnahme unterbrochen wurde, wird der Exportvorgang für die Anfangsmomentaufnahme neu gestartet. Dies ist der Fall, wenn für eine SQL Server-Instanz ein Failover zu einer Failoverclusterinstanz oder einer synchronen Verfügbarkeitsgruppe ausgeführt wird.

Gespiegelte Datenbanken in Fabric

Das Feature für gespiegelte Datenbanken in Fabric verwendet ähnliche Änderungsfeedtechnologie wie Azure Synapse Link und teilweise dieselben Systemobjekte. Weitere Informationen finden Sie unter:

Zugehöriger Inhalt