Verbessern der Leistung des Datenflusses

Die MaxConcurrentExecutables-Eigenschaft ist eine Eigenschaft des Pakets selbst. Diese Eigenschaft definiert, wie viele Tasks gleichzeitig ausgeführt werden können. Der Standardwert ist -1, das bedeutet die Anzahl der physischen oder logischen Prozessoren plus 2.

Stellen Sie sich ein Beispielpaket mit drei Datenflusstasks vor, um zu verstehen, wie diese Eigenschaft funktioniert. Wenn Sie MaxConcurrentExecutables auf 3 festlegen, können alle drei Datenflusstasks gleichzeitig ausgeführt werden. Stellen Sie sich jedoch vor, dass jeder Datenflusstask über 10 Quelle-zu-Ziel-Ausführungsstrukturen verfügt. Wenn Sie MaxConcurrentExecutables auf 3 festlegen, wird nicht sichergestellt, dass die Ausführungsstrukturen innerhalb jedes Datenflusstasks parallel ausgeführt werden.

Die EngineThreads-Eigenschaft ist eine Eigenschaft, die jeder Datenflusstask besitzt. Diese Eigenschaft definiert, wie viele Threads das Datenflussmodul erstellen und parallel ausführen kann. Die EngineThreads-Eigenschaft ist gleichermaßen für die Quellthreads, die das Datenflussmodul für Quellen erstellt, und für die Arbeitsthreads, die das Modul für Transformationen und Ziele erstellt, anwendbar. Durch das Festlegen von EngineThreads auf 10 kann das Modul bis zu zehn Quellthreads und bis zu zehn Arbeitsthreads erstellen.

Stellen Sie sich das Beispielpaket mit drei Datenflusstasks vor, um zu verstehen, wie diese Eigenschaft funktioniert. Jeder Datenflusstask enthält zehn Quelle-zu-Ziel-Ausführungsstrukturen. Wenn Sie die EngineThreads-Eigenschaft in jedem Datenflusstask auf 10 festlegen, können alle 30 Ausführungsstrukturen gleichzeitig ausgeführt werden.

Hinweis
Eine Erläuterung von Threading würde den Rahmen dieses Themas sprengen. Als allgemeine Regel gilt jedoch, dass nie mehr Threads parallel ausgeführt werden sollten, als Prozessoren verfügbar sind. Wenn mehr Threads ausgeführt werden, als Prozessoren zur Verfügung stehen, kann dies durch häufige Kontextwechsel zwischen den Threads die Leistung beeinträchtigen.

Zahlreiche Datenflusskomponenten verwenden Abfragen beim Extrahieren von Daten aus Quellen oder bei Suchvorgängen zum Erstellen von Verweistabellen. Die Standardabfrage verwendet die Syntax SELECT * FROM <tableName>. Bei diesem Abfragetyp werden alle Spalten in der Quelltabelle zurückgegeben. Wenn alle Spalten zur Entwurfszeit zur Verfügung stehen, ist es möglich, eine beliebige Spalte als Such-, Pass-Through- oder Quellspalte auszuwählen. Nachdem Sie die zu verwendenden Spalten ausgewählt haben, sollten Sie die Abfrage so ändern, dass sie nur diese ausgewählten Spalten enthält. Das Entfernen überflüssiger Spalten macht den Datenfluss in einem Paket effizienter, da durch weniger Spalten eine kleinere Zeile erstellt wird. Je kleiner eine Zeile ist, desto mehr Zeilen passen in einen Puffer und desto geringer ist der Aufwand für die Verarbeitung aller Zeilen im Dataset.

Wenn Sie eine Abfrage erstellen möchten, können Sie die Abfrage eingeben oder den Abfrage-Generator verwenden.

Hinweis

Wenn Sie ein Paket in Business Intelligence Development Studio ausführen, werden auf der Registerkarte Status des SSIS-Designers Warnungen aufgelistet. Diese Warnungen umfassen die Identifizierung jeglicher Datenspalten, die dem Datenfluss von einer Quelle zur Verfügung gestellt werden, jedoch dann nicht von Downstream-Datenflusskomponenten verwendet werden. Sie können die RunInOptimizedMode-Eigenschaft verwenden, um diese Spalten automatisch zu entfernen.

Die Sortierung ist generell ein langsamer Vorgang. Durch Vermeiden unnötiger Sortierungen kann die Leistung des Paketdatenflusses verbessert werden.

Manchmal sind die Quelldaten bereits sortiert, bevor sie von einer Downstreamkomponente verwendet werden. Eine solche Vorsortierung kann auftreten, wenn die SELECT-Abfrage eine ORDER BY-Klausel verwendet hat oder wenn die Daten in sortierter Reihenfolge in die Quelle eingefügt wurden. Für solche vorsortierten Quelldaten können Sie einen Hinweis angeben, dass die Daten sortiert sind, und so die Verwendung einer Transformation zum Sortieren vermeiden, die anderenfalls zum Erfüllen der Sortieranforderungen von bestimmten Downstream-Transformationen erforderlich wäre. (Beispielsweise erfordern die Transformationen für Zusammenführen und Zusammenführungsverknüpfung sortierte Eingaben.) Wenn Sie einen Hinweis geben möchten, dass die Daten sortiert sind, müssen Sie die folgenden Aufgaben ausführen:

• Legen Sie die IsSorted-Eigenschaft auf der Ausgabe einer Upstreamdatenfluss-Komponente auf True fest.

• Geben Sie die Sortierschlüsselspalten an, in denen die Daten sortiert werden.

Weitere Informationen finden Sie unter Vorgehensweise: Sortieren von Daten für die Transformationen für Zusammenführen und Zusammenführungsverknüpfung.

Wenn die Daten im Datenfluss sortiert werden müssen, können Sie die Leistung verbessern, indem Sie den Datenfluss so entwerfen, dass so wenig Sortiervorgänge wie möglich verwendet werden. Beispielsweise verwendet der Datenfluss eine Multicasttransformation, um das Dataset zu kopieren. Sortieren Sie das Dataset einmal, bevor die Multicasttransformation ausgeführt wird, anstatt mehrere Ausgaben nach der Transformation zu sortieren.

Weitere Informationen finden Sie unter Transformation zum Sortieren, Transformation für Zusammenführen, Transformation für Zusammenführungsverknüpfung und Transformation für Multicast.

Wenn Sie eine OLE DB-Quelle verwenden, um Daten aus einer Sicht abzurufen, wählen Sie "SQL-Befehl" als Datenzugriffsmodus aus, und geben Sie eine SELECT-Anweisung ein. Der Zugriff auf Daten mit einer SELECT-Anweisung bietet eine bessere Leistung als die Auswahl von "Tabelle oder Sicht" als Datenzugriffsmodus.

Die Transformation für das Aggregieren enthält die Keys-, die KeysScale-, die CountDistinctKeys- und die CountDistinctScale-Eigenschaften. Diese Eigenschaften dienen einer verbesserten Leistung, indem es der Transformation ermöglicht wird, den zum Zwischenspeichern von Daten benötigten Speicher zuzuordnen. Wenn Sie die genaue oder ungefähre Anzahl von Gruppen kennen, die als Ergebnis eines Group by-Vorgangs erwartet werden, legen Sie die Keys-Eigenschaft bzw. die KeysScale-Eigenschaft fest. Wenn Sie die genaue oder ungefähre Anzahl der unterschiedlichen Werte kennen, die als Ergebnis eines Distinct count-Vorgangs erwartet werden, legen Sie die CountDistinctKeys-Eigenschaft bzw. die CountDistinctScale-Eigenschaft fest.

Wenn Sie in einem Datenfluss mehrere Aggregationen erstellen müssen, sollten Sie diese mit einer einzigen Transformation für das Aggregieren erstellen, anstatt mehrere Transformationen zu verwenden. Durch diesen Ansatz wird die Leistung verbessert, wenn eine Aggregation eine Untergruppe einer anderen Aggregation ist, da die Transformation den internen Speicher optimieren kann und die Eingangsdaten nur einmal durchsuchen muss. Wenn eine Aggregation z. B. eine GROUP BY-Klausel und eine AVG-Aggregation verwendet, kann die Leistung dadurch verbessert werden, dass sie in eine Transformation kombiniert werden. Das Ausführen mehrerer Aggregationen innerhalb einer Transformation für das Aggregieren serialisiert jedoch die Aggregationsvorgänge und verbessert daher möglicherweise nicht die Leistung, wenn mehrere Aggregationen unabhängig voneinander berechnet werden müssen.

Weitere Informationen finden Sie unter Transformation für das Aggregieren.

Informationen zur Leistungsoptimierung der Transformationen für die Fuzzysuche und Fuzzygruppierung finden Sie im Whitepaper Fuzzy Lookup and Fuzzy Grouping in SQL Server Integration Services 2005 (in Englisch).

Minimieren Sie die Größe der Verweisdaten im Speicher, indem Sie eine SELECT-Anweisung eingeben, die nur die von Ihnen benötigten Spalten durchsucht. Diese Option bietet eine bessere Leistung als die Auswahl einer gesamten Tabelle oder Sicht, wodurch eine große Menge an unnötigen Daten zurückgegeben wird.

Die Transformation für Zusammenführungsverknüpfung schließt die MaxBuffersPerInput-Eigenschaft ein, die die maximale Anzahl an Puffern vorschlägt, die Sie jeweils für eine Eingabe aktivieren möchten. Der Wert, den Sie für die MaxBuffersPerInput-Eigenschaft festlegen, ist jedoch lediglich ein Vorschlag. Die Transformation für Zusammenführungsverknüpfung muss die Anzahl der Puffer fast immer auf einen Wert erhöhen, der über diesem Vorschlag liegt. Diese Erhöhung ist in der Regel aus folgenden Gründen erforderlich:

• Von jeder Eingabe müssen ausreichend Daten abgerufen werden, um diese zusammenführen zu können.

• Das Risiko eines Deadlocks zwischen den Threads, die die Daten verarbeiten, muss umgangen werden.

Hinweis
Die Anzahl der von der Transformation für Zusammenführungsverknüpfung verwendeten Puffer kann sehr groß sein. Dies kann dazu führen, dass Integration Services eine große Menge des Arbeitsspeichers auf dem Computer benötigt.

Wenn der Transformation ausreichend Daten von jeder Eingabe bereitstehen und keine Gefahr für ein Threaddeadlock besteht, wird die Transformation mit dem von der MaxBuffersPerInput-Eigenschaft vorgeschlagenen Wert fortgesetzt.

Der Standardwert der MaxBuffersPerInput-Eigenschaft ist 5. Dies ist zugleich die in den meisten Szenarien optimal funktionierende Anzahl an Puffern. Wenn Sie die Leistung steigern möchten, können Sie ausprobieren, die Anzahl der Puffer zu erhöhen. Zum Verringern der Speicherauslastung können Sie versuchen, die Anzahl der Puffer zu senken. Eine sehr kleine Anzahl an Puffern kann sich jedoch negativ auf die Leistung auswirken. Beim Wert 0 (Null) ist die Drosselung vollständig deaktiviert. Dieser Wert sollte daher nicht verwendet werden.

Der Assistent für langsam veränderliche Dimensionen und die Transformation für langsam veränderliche Dimensionen sind universell einsetzbare Tools, die die Anforderungen der meisten Benutzer erfüllen. Der vom Assistenten generierte Datenfluss ist jedoch nicht leistungsoptimiert.

In der Regel sind die langsamsten Komponenten in der Transformation für langsam veränderliche Dimensionen die Transformationen für OLE DB-Befehl, die UPDATEs für jeweils eine Zeile ausführen. Daher ist die effizienteste Methode zur Verbesserung der Leistung der Transformation für langsam veränderliche Dimensionen das Ersetzen der Transformationen für OLE DB-Befehl. Sie können diese Transformationen durch Zielkomponenten ersetzen, die alle zu aktualisierenden Zeilen in eine Stagingtabelle speichern. Sie können dann einen Task "SQL ausführen" hinzufügen, der für alle Zeilen gleichzeitig ein einzelnes setbasiertes Transact-SQL-UPDATE ausführt.

Fortgeschrittene Benutzer können für die Verarbeitung von langsam veränderlichen Dimensionen einen benutzerdefinierten Datenfluss entwerfen, der für große Dimensionen optimiert ist. Eine Erläuterung und ein Beispiel dieses Ansatzes finden Sie im Abschnitt "Unique dimension scenario" im Whitepaper Project REAL: Business Intelligence ETL Design Practices (in Englisch).

Wenn ein Paket Daten in eine Instanz von SQL Server auf demselben Computer lädt, verwenden Sie ein SQL Server-Ziel. Dieses Ziel ist für schnelles Massenladen optimiert.

Möglicherweise nimmt das Speichern von Daten in Zielen mehr Zeit als erwartet in Anspruch. Um herauszufinden, ob dies darauf zurückzuführen ist, dass das Ziel die Daten nicht schnell genug verarbeiten kann, können Sie das Ziel vorübergehend durch eine Transformation für Zeilenanzahl ersetzen. Sollte sich der Durchsatz wesentlich verbessern, ist wahrscheinlich das Ziel, das die Daten lädt, Ursache für die langsamere Verarbeitung.

Das PipelineComponentTime-Ereignis stellt möglicherweise den nützlichsten benutzerdefinierten Protokolleintrag dar. Dieser Protokolleintrag meldet den Zeitaufwand in Millisekunden, den jede Komponente im Datenfluss für die fünf Hauptverarbeitungsschritte jeweils aufbringt. Die Verarbeitungsschritte werden in der folgende Tabelle beschrieben. Integration Services-Entwickler kennen diese Schritte als Hauptmethoden von PipelineComponent.

Wenn Sie das PipelineComponentTime-Ereignis aktivieren, protokolliert Integration Services eine Meldung für jeden der von den einzelnen Komponenten ausgeführten Verarbeitungsschritt. Die folgenden Protokolleinträge zeigen eine Teilmenge der Meldungen, die vom Integration Services CalculatedColumns-Paketbeispiel protokolliert werden:

Die Komponente "Calculate LineItemTotalCost" (3522) hat 356 Millisekunden für den ProcessInput-Schritt benötigt.

Die Komponente "Sum Quantity and LineItemTotalCost" (3619) hat 79 Millisekunden für den ProcessInput-Schritt benötigt.

Die Komponente "Calculate Average Cost" (3662) hat 16 Millisekunden für den ProcessInput-Schritt benötigt.

Die Komponente "Sort by ProductID" (3717) hat 125 Millisekunden für den ProcessInput-Schritt benötigt.

Die Komponente "Load Data" (3773) hat 0 Millisekunden für den ProcessInput-Schritt benötigt.

Die Komponente "Extract Data" (3869) hat 688 Millisekunden für den PrimeOutput-Schritt benötigt und Puffer in der Ausgabe "Ausgabe der OLE DB-Quelle" (3879) aufgefüllt.

Die Komponente "Sum Quantity and LineItemTotalCost" (3619) hat 141 Millisekunden für den PrimeOutput-Schritt benötigt und Puffer in der Ausgabe "Aggregierte Ausgabe 1" (3621) aufgefüllt.

Die Komponente "Sort by ProductID" (3717) hat 16 Millisekunden für den PrimeOutput-Schritt benötigt und Puffer in der Ausgabe "Sortierausgabe" (3719) aufgefüllt.

Diese Protokolleinträge zeigen, dass der Datenflusstask den größten Zeitaufwand für die folgenden, hier in absteigender Reihenfolge gezeigten Schritte benötigt hat:

• Die OLE DB-Quelle mit dem Namen "Extract Data" hat 688 Millisekunden für das Laden von Daten benötigt.

• Die Transformation für abgeleitete Spalten mit dem Namen "Calculate LineItemTotalCost" hat 356 Millisekunden für das Durchführen von Berechnungen für eingehende Zeilen benötigt.

• Die Transformation für das Aggregieren mit dem Namen "Sum Quantity and LineItemTotalCost" hat insgesamt 220 Millisekunden - 141 für den PrimeOutput- und 79 für den ProcessInput-Schritt - benötigt, um Berechnungen durchzuführen und die Daten an die nächste Transformation zu übergeben.