Grundlegendes zu Pipelines

  • 6 Minuten

Pipelines in Microsoft Fabric kapseln eine Sequenz von Aktivitäten, die Datenverschiebungs- und Verarbeitungsaufgaben ausführen. Sie können eine Pipeline verwenden, um Datenübertragungs- und Transformationsaktivitäten zu definieren und diese Aktivitäten über Ablaufsteuerungsaktivitäten zu orchestrieren, die Verzweigungen, Schleifen und andere typische Verarbeitungslogik verwalten. Mit der grafischen Pipeline-Canvas auf der Fabric-Benutzeroberfläche können Sie komplexe Pipelines mit wenig oder gar keinem Code erstellen.

Screenshot of a pipeline in Microsoft Fabric.

Kernkonzepte für Pipelines

Bevor Sie Pipelines in Microsoft Fabric erstellen, sollten Sie einige wichtige Konzepte kennen.

activities

Aktivitäten sind die ausführbaren Aufgaben in einer Pipeline. Sie können einen Fluss von Aktivitäten definieren, indem Sie sie in einer Sequenz verbinden. Das Ergebnis einer bestimmten Aktivität (Erfolg, Fehler oder Abschluss) kann verwendet werden, um den Flow an die nächste Aktivität in der Sequenz zu leiten.

Es gibt zwei allgemeine Kategorien von Aktivitäten in einer Pipeline.

  • Datentransformationsaktivitäten: Aktivitäten, die Datenübertragungsvorgänge kapseln, einschließlich einfacher Aktivitäten vom Typ Daten kopieren, die Daten aus einer Quelle extrahieren und in ein Ziel laden, sowie komplexere Aktivitäten vom Typ Datenfluss, die Dataflows (Gen2) kapseln, die während der Übertragung Transformationen auf die Daten anwenden. Andere Datentransformationsaktivitäten sind beispielsweise Notebook-Aktivitäten zum Ausführen eines Spark-Notebooks, Aktivitäten für gespeicherte Prozeduren zum Ausführen von SQL-Code und Aktivitäten vom Typ Daten löschen zum Löschen vorhandener Daten.

  • Ablaufsteuerungsaktivitäten: Dies sind Aktivitäten, die Sie zum Implementieren von Schleifen sowie für das konditionelle Branching oder das Verwalten von Variablen und Parameterwerten verwenden können. Die breite Palette von Ablaufsteuerungsaktivitäten ermöglicht es Ihnen, komplexe Pipelinelogik zu implementieren, um die Datenerfassung und den Transformationsfluss zu orchestrieren.

Tipp

Ausführliche Informationen zu den vollständigen Pipelineaktivitäten, die in Microsoft Fabric verfügbar sind, finden Sie unter Aktivitätsübersicht in der Microsoft Fabric-Dokumentation.

Parameter

Pipelines können parametrisiert werden, sodass Sie bei jeder Ausführung einer Pipeline bestimmte Werte angeben können. Wenn Sie beispielsweise eine Pipeline verwenden müssen, um erfasste Daten in einem Ordner zu speichern, können Sie bei jeder Ausführung der Pipeline einen Ordnernamen angeben.

Die Verwendung von Parametern erhöht die Wiederverwendbarkeit Ihrer Pipelines, sodass Sie flexible Datenerfassungs- und Transformationsprozesse erstellen können.

Pipelineausführungen

Bei jeder Ausführung einer Pipeline wird eine Datenpipelineausführung initiiert. Ausführungen können bei Bedarf auf der Fabric-Benutzeroberfläche initiiert oder mit einer bestimmten Häufigkeit gestartet werden. Verwenden Sie die eindeutige Ausführungs-ID, um die Ausführungsdetails zu überprüfen und zu bestätigen, dass sie erfolgreich abgeschlossen wurden. Zudem können Sie auf diese Weise die spezifischen Einstellungen untersuchen, die für jede Ausführung verwendet wurden.