Entwerfen von SSIS-Paketen für Parallelität (SQL Server-Video)

Die Quelldaten sollen in kleinere, ungefähr gleich große Einheiten partitioniert werden. Diese Partitionierung können Sie anhand natürlicher Bereiche innerhalb der Daten vornehmen, zum Beispiel nach Zeit oder Geographie. Wenn Sie über eine Identitätsspalte verfügen, können Sie auch mithilfe des Modulo-Operators gleichmäßige Teile aus den enthaltenen Werten bestimmen. Andernfalls können Sie eine Hash-Funktion auf wichtige Spalten anwenden, um die Partitionierung vorzunehmen.

Zusätzlich zur Partitionierung der Quelltabelle müssen die Zieltabellen entsprechend der Partitionierung der Quelldaten partitioniert werden. Der Befehl SQL SWITCH ist eine sehr effiziente Möglichkeit, um Partitionen zu einer Tabelle hinzuzufügen bzw. aus einer Tabelle zu entfernen.

Nach dem Partitionieren des Problems müssen Sie potenzielle Konflikte zwischen den einzelnen Partitionen beseitigen. Ein zustandsloser Entwurf ist wichtig, um komplexe Wechselwirkungen und mögliche Konflikte zu vermeiden. Um sicherzustellen, dass es sich um ein zustandsloses Paket handelt, müssen alle für die Bearbeitung erforderlichen Informationen an das Paket übergeben werden.

Vermeiden Sie Sperrkonflikte. Viele Verknüpfungen zu derselben Tabelle können zu Konflikten führen. Verwenden Sie partitionierte Tabellen und nutzen Sie SQL SWITCH, um dies zu vermeiden.

Achten Sie auf Steuerungshardwarekonflikte. Verwenden Sie zusätzliche oder schnellere Laufwerke, wenn die Laufwerks-E/A ein Problem darstellt. Fügen Sie Netzwerkcontroller hinzu oder führen Sie Upgrades durch, wenn die Netzwerk-E/A ein Problem darstellt. Verwenden Sie einen Computer mit mehreren Prozessoren oder mehr Arbeitsspeicher bzw. mehrere Computer, wenn die CPU-Leistung oder die Speichernutzung ein Problem darstellt. Bedenken Sie, dass Integration Services im Speicher ausgeführt wird. Stellen Sie aus diesem Grund sicher, dass für jedes Paket ausreichend Speicher zur Verfügung steht.

Nach der Partitionierung in kleinere Tasks und der Beseitigung von Konflikten zwischen diesen Tasks müssen Sie die effiziente Ausführung der Tasks planen. Definieren Sie zunächst eine Prioritätenwarteschlange für die zu erledigende Arbeit, um einen effizienten Zeitplan zu erstellen. Eine SQL-Tabelle ist hierfür bestens geeignet.

Starten Sie dann mehrere Kopien des Pakets, das für die Verarbeitung erstellt wurde. Dies können Sie einfach und effizient erledigen, indem Sie mit dem Windows-Befehl START „dtexec.exe“ aufrufen. Die Anzahl der gestarteten Pakete legt den Grad der Parallelität fest.

Mit jedem dieser Pakete werden dann Tasks aus der Taskwarteschlange gemäß ihrer Priorität abgearbeitet, bis alle Tasks bearbeitet sind. Mit einer Schleife innerhalb des Pakets wird zunächst ein Task aus der Prioritätenwarteschlange abgerufen und dann die in diesem Task definierte Arbeit ausgeführt, bis die Taskwarteschlange abgearbeitet ist.

Beim ersten Ausführen der Demo werden die Tasks durch eine einzelne Paketinstanz der Reihe nach abgearbeitet.

Beim zweiten Ausführen der Demo werden zwei Prozesse parallel ausgeführt. Die Tasks werden in Zweierbatches fertig gestellt, und die Gesamtlaufzeit der Demo verringert sich von 64 auf 36 Sekunden – also fast um die Hälfte.

Beim dritten Ausführen der Demo werden vier Prozesse parallel ausgeführt. Die Zeit für die einzelnen Tasks steigt von 9 auf etwa 14 Sekunden. Die Gesamtlaufzeit verringert sich von 36 auf etwa 28 Sekunden.

Beim letzten Ausführen der Demo werden acht Prozesse parallel ausgeführt. Da alle Tasks gleichzeitig ausgeführt werden, steigt die Zeit für die einzelnen Tasks auf etwa 27 Sekunden, und die Gesamtlaufzeit entspricht etwa der Gesamtlaufzeit mit vier Prozessen. Der Grund hierfür liegt in einem Engpass bei der Datenträger-E/A, da alle acht Prozesse gleichzeitig versuchen, Datendateien vom Datenträger zu lesen. Um dieses Problem zu beheben, sollten die Dateien auf separate Datenträger und Controller verteilt oder eine schnellere Datenträgertechnologie verwendet werden.