Optimieren des SSIS-Paketdatenflusses im Unternehmen (SQL Server-Video)

00:00

Hallo, mein Name ist David Noor. Ich bin Leiter der Entwicklungsabteilung für SQL Server Integration Services bei Microsoft. Willkommen bei diesem Video zum Optimieren des SSIS-Paketdatenflusses im Unternehmen.

Bei diesem Video handelt es sich um den zweiten Teil einer vierteiligen Reihe mit dem Titel SSIS: Designing and Tuning for Performance. Im ersten Teil der Reihe hat Denny gezeigt, wie die Leistung von SSIS-Paketen am besten gemessen und interpretiert wird. In dieser Folge werden wir darauf aufbauen und uns ansehen, wie die Leistung des SSIS-Paketdatenflusses gesteigert werden kann. Zunächst werden wir die Themen identifizieren, die alle Datenflüsse gemeinsam haben. Anschließend überlegen wir, in welchen Bereichen des Datenflusses Sie mit dem Optimieren der Leistung beginnen sollten. Sobald spezifische Leistungsprobleme ermittelt wurden, kann eine Menge unternommen werden, um den Datenfluss schneller und effizienter zu gestalten. Zum Schluss gebe ich Ihnen ein paar Tipps, die Sie beim Entwerfen, Entwickeln und auch beim Ausführen des Datenflusses anwenden können.

Los geht´s!

In den meisten Paketdatenflüssen liegt der Schwerpunkt auf dem Extrahieren, Transformieren und Laden wichtiger Daten. Dieser Vorgang wird auch als ETL bezeichnet. Der Datenfluss wird optimiert, indem die einzelnen Phasen, d. h. Extrahieren, Transformieren und Laden, optimiert werden.

Im Hinblick auf die Extraktion überlegen wir, wie die SSIS-Quellkomponenten und die ausgeführten Abfragen optimiert werden können, um die höchste Leistung mit den geringsten Auswirkungen auf die Quellsysteme zu erzielen.

Beim Optimieren der Transformationen im Datenfluss betrachten wir die erforderlichen Arbeitsschritte und wählen die beste Herangehensweise aus, um diese Arbeit zu erledigen, indem wir unnötige Schritte auslassen. Gelegentlich werden auch die ursprünglichen Quellabfragen geändert, um die Transformationen zu automatisieren.

Unter dem Optimieren des Ladevorgangs Ihres Datenflusses verstehen wir schließlich das Optimieren von SSIS-Zielkomponenten, Netzwerken, Sperren und anderen Faktoren, die den Datenfluss beim Laden der Daten am Zielort beeinträchtigen können.

In diesem Video werde ich Ihnen praktische Tipps zum Ermitteln von Optimierungsmöglichkeiten für alle drei Phasen des Datenflusses geben.

Beachten Sie zunächst, dass es bei der Behandlung von Leistungsproblemen in der Regel keinen Königsweg gibt. Es gibt keinen Tipp, mit dem alle im Datenfluss auftretenden Leistungsprobleme behoben werden können. Die Tipps funktionieren in allgemeinen Fällen sehr gut. Allerdings sollte ein Problem nicht einfach mit einer Reihe von Tipps überschüttet werden. Es ist stets am besten, zunächst zu verstehen, was mit den Datenflüssen beabsichtigt wird. Anschließend sollten Sie überprüfen, ob die Datenflüsse diesen Zielen entsprechen und die aktuelle Leistung messen. Durch iterative Änderungen am Datenfluss können Sie dann wiederum erkennen, ob die Leistung erhöht wurde oder nicht.

Es passiert schnell, dass man sich bei der Behandlung eines Leistungsproblems auf eine bestimmte Technologie oder Komponente fixiert. Dies geschieht insbesondere dann, wenn die Technologie oder der Code vertraut sind. Versuchen Sie, sich den Datenfluss als eine Art Ökosystem vorzustellen, das sich aus mehreren relationalen Datenbanken, einem Netzwerk, verschiedenen Betriebs- und Dateisystemen sowie vielen anderen Komponenten zusammensetzt. Je mehr Sie über das gesamte Ökosystem wissen, desto besser können Sie erkennen, wo die Leistungsprobleme der einzelnen Teile liegen. Diese können Sie dann effektiver und mit geringerem Risiko ändern.

06:29

Kommen wir nun zur zweiten Phase von ETL, der Transformation. Bei der Transformation arbeiten Sie mit Daten, die bereits in den Datenfluss geladen wurden, und versuchen, diese vor dem Laden anzupassen. In SSIS wird jede Transformation als Objekt angezeigt, dass Sie auf Ihren Entwurf ziehen können. Doch nicht alle Transformationen sind gleich. Werfen wir einen Blick auf die drei Arten von Transformationen in SSIS:

• Synchrone oder zeilenbasierte Transformationen werden in Datenpuffern vor Ort ausgeführt. Beim Durchlaufen werden keine Kopien der Datenpuffer oder der Zeilen erstellt. Die Daten werden direkt im Puffer transformiert. Synchrone Transformationen sind daher ziemlich schnell. Synchrone Transformationen sind zum Beispiel die Datenkonvertierung, eine abgeleitete Spalte oder eine Suche.
  
• Teilweise blockierende, asynchrone Transformationen unterscheiden sich hiervon. Bei diesen Transformationen müssen die Daten beibehalten werden, damit die Transformation ausgeführt werden kann. Dazu werden die Daten von der Transformation in interne Puffer kopiert. Hierfür ist Speicher erforderlich, bisweilen sehr viel Speicher. Bei diesen Transformationen wird während des Einlesens der Daten mit dem Schreiben von Ausgabedaten begonnen. Dabei wird der entsprechende interne Speicher freigegeben, in dem die Daten enthalten waren. Nach dem Abschluss des Datenflusses wird der gesamte verwendete Speicher freigegeben. Jedoch verarbeiten diese Transformationen in der Regel eine erhebliche Datenmenge, bis es soweit ist.
  Beispiele für diese Art der Transformation sind Zusammenführen, Zusammenführungsverknüpfungen und UNION ALL. Suchen Sie nach Optimierungsmöglichkeiten, wenn Ihr Datenfluss diese Transformationen enthält. Sind redundante Kopien vorhanden? Gibt es Zusammenführungsverknüpfungen oder Unions, die Sie in das Quellsystem verschieben können? Ich habe Pakete gesehen, in denen statt dem Ausführen von JOIN für die Quellabfrage alle Daten mithilfe von OLE DB-Quellen aus zwei Tabellen abgerufen wurden, und anschließend im Paket eine Zusammenführungsverknüpfung verwendet wurde. Stattdessen hätte einfach eine SQL-Verknüpfung an der Quelle erstellt werden können. Dies wäre aufgrund der Optimierung der Abfrage in der Datenbank viel schneller gewesen. Suchen Sie nach solchen Möglichkeiten, um die Anzahl asynchroner Transformationen zu verringern.
  In SQL Server 2008 haben wir einiges an der Datenfluss-Taskplanung geändert, um komplexe Datenflüsse leistungsfähiger zu machen und verfügbare CPUs besser zu nutzen. Wenn Sie SSIS aus SQL Server 2005 kennen, haben Sie in Ihrem Datenfluss möglicherweise eine UNION ALL-Transformation verwendet, um die Ausführungsstrukturen künstlich aufzuteilen und zu parallelisieren. Dies sollte nicht mehr notwendig sein. Aufgrund der Verbesserungen in SQL Server 2008 sind diese Transformationen nicht mehr erforderlich. Entfernen Sie diese UNION ALL-Komponenten, um die Leistung zu verbessern.
  
• Die dritte Gruppe, die blockierenden asynchronen Transformationen, sind so etwas wie Extremversionen der vorherigen Gruppe. Diese Transformationen müssen ALLE Eingabedaten vor dem Schreiben von Ausgabedaten enthalten. Das Verwenden dieser Transformationen in Datenflüssen mit großen Datenbatches kann den Datenfluss oft deutlich verlangsamen. Wenn Sie diese Transformationen in umfangreichen Datenflüssen verwenden, achten Sie darauf, Redundanz zu vermeiden. Überarbeiten Sie das Paket, wenn dieselben Daten im selben Fluss zweimal aggregiert oder sortiert werden.
  

Kommen wir nach diesen Grundlagen noch zu einigen speziellen Tipps:

• Bei Datenflüssen muss häufig der Datentyp einer Spalte transformiert werden. Versuchen Sie, dies nur einmal auszuführen, und verwenden Sie möglichst eingeschränkte Datentypen, um die Datenpuffer überschaubar zu halten. Auch für die Umwandlung von Daten wird CPU-Zeit benötigt, und wenn vom gesamten Datenfluss ein Typ für eine bestimmte Spalte verwendet werden kann, sollten Sie in Betracht ziehen, diese Spalte in der Datenquelle mit den SQL-Funktionen CAST oder CONVERT umzuwandeln, bzw. mit deren Entsprechungen im SQL-Dialekt Ihrer Datenbank.
  
• Wie ich bereits einige Folien zuvor erwähnt habe, sollten Sie beim Optimieren Ihrer Transformationen genau über deren Einsatzort nachdenken. Scheuen Sie nicht davor zurück, SQL in Ihren Quellen zu Ihrem Vorteil zu nutzen. Ziehen Sie zum Beispiel beim Sortieren von Quelldaten in Betracht, im SQL in Ihrer Quelle ORDER BY-Klauseln zu verwenden. Ihre Datenbank kann die sortierten Daten möglicherweise viel effizienter zurückgeben als der Datenfluss. Verwenden Sie die Sortierkomponente im Datenfluss nur, um Daten zu sortieren, die aus unterschiedlichen Quellen zusammengeführt werden. Ebenso können einige Aggregationen mit einer GROUP BY- und einer SQL-Aggregatfunktion in der Quelle schneller ausgeführt werden.
  
• Wenn Sie SQL Server 2008 und die Slowly Changing Dimension (SCD)-Komponente verwenden, sollten Sie sich mit der neuen MERGE-Funktion in SQL Server vertraut machen. MERGE kann viele Aufgaben von SCD ausführen, benötigt jedoch wesentlich weniger Netzwerkroundtrips.
  
• Denken Sie außerdem an die INSERT INTO-Funktion von SQL. Wenn es sich um einen einfachen Datenfluss handelt, und sich sowohl Quelle als auch Ziel in derselben Datenbankinstanz befinden, können Sie die Daten möglicherweise viel schneller mit einer einzigen SQL-Anweisung verschieben, mit der die Daten vollständig innerhalb der Datenbank verschoben werden. In diesen Fällen kann INSERT INTO wesentlich schneller ausgeführt werden als ein Datenfluss, da die Daten auf dem Server verbleiben.
  
• Zuletzt sollten Sie beim inkrementellen Laden auch die Alternative eines einfachen Neuladens im Auge behalten. Einige Systeme, die ich gesehen habe, verbrauchen viel Zeit für die Deltaerkennung, um das erneute Laden zu vermeiden, jedoch machen die hierfür verwendete E/A und CPU die Abarbeitung wesentlich langsamer.
  

15:02

Damit sind wir am Ende des zweiten Teils dieser Reihe zur Leistung. Vielen Dank an Thomas für die hilfreichen Informationen, die als Grundlage dieser Videoreihe dienen, und an Clara und Douglas für ihre Hilfe beim Erstellen der Reihe. Weitere Informationen zu diesen Themen finden Sie in den Top 10 SQL Server Integration Services Best Practices (in englischer Sprache).

Vielen Dank, dass Sie sich dieses Video angesehen haben. Sehen Sie sich auch die anderen drei Teile der Videoreihe SSIS: Designing and Tuning for Performance an. Wir hoffen, dass diese Informationen wertvoll für Sie waren, und freuen uns auf Ihr Feedback. Auf der Videostartseite finden Sie in der oberen rechten Ecke einen Link für Bewertung und Feedback.