Conception de vos packages SSIS pour le parallélisme (Vidéo liée à SQL Server)

Vous voulez partitionner vos données sources en segments plus petits de la même taille environ. Pour ce faire, vous pouvez vous baser sur des plages naturelles dans les données, telles que l'heure ou la géographie. Si vous disposez d'une colonne d'identité, vous pouvez également spécifier une opération modulo des valeurs qu'elle comporte pour identifier des partitions égales. Sinon, vous pouvez avoir recours à l'application d'une fonction de hachage sur les colonnes clés pour produire des partitions.

Outre le partitionnement de la table source, vous allez partitionner les tables de destination pour correspondre à celui de vos données sources. La commande SQL SWITCH offre un mécanisme très efficace pour ajouter et supprimer des partitions dans une table.

Après la décomposition du problème, vous devez éliminer les conflits éventuels entre ces partitions. Une conception sans état est importante pour éviter des interactions complexes et d'éventuels conflits. Pour vous assurer que le package est sans état dans sa conception, vous devez lui transmettre toutes les informations nécessaires à la réalisation de son travail.

Veillez à éviter la contention de verrouillage. De nombreuses connexions procédant à des insertions dans la même table peuvent provoquer une contention. Pour éviter cela, utilisez des tables partitionnées et tirez parti de la commande SQL SWITCH.

Attention à tout conflit de matériel de contrôle. Si les E/S disque représentent un problème, déplacez-les vers plus de lecteurs ou des lecteurs plus rapides. Si les E/S réseau représentent un problème, ajoutez ou mettez à niveau des contrôleurs de réseau. Si l'UC ou l'utilisation de la mémoire représente un problème, procédez à l'exécution sur un ordinateur avec plus de processeurs ou de mémoire, ou sur plusieurs ordinateurs. Par ailleurs, gardez à l'esprit qu'Integration Services est conçu pour être exécuté dans la mémoire ; veillez donc à ce que chaque package dispose d'assez de mémoire.

Après la décomposition en tâches plus petites et l'élimination de conflits entre celles-ci, vous souhaitez planifier ces tâches pour une exécution efficace. Pour créer une planification efficace, commencez par définir une file d'attente prioritaire du travail à réaliser. Une table SQL convient parfaitement à cet effet.

Lancez ensuite plusieurs copies du package que vous avez générées pour effectuer le travail. L'utilisation de la commande START de Windows pour appeler dtexec.exe est une façon simple et efficace d'effectuer cette opération. Le nombre de packages que vous lancez détermine le degré de parallélisme que vous utiliserez.

Chacun de ces packages traitera ensuite le travail à partir de la file d'attente des tâches selon la priorité jusqu'à ce qu'il n'en reste plus. Une boucle à l'intérieur du package obtient d'abord une tâche de la file d'attente prioritaire, effectue le travail défini par cette tâche, puis se répète jusqu'à ce que la file d'attente des tâches soit vide.

Lors de la première exécution de la démonstration, chaque tâche est traitée en séquence par une seule instance du package.

Lors de la deuxième exécution de la démonstration, deux processus fonctionnent en parallèle. Les tâches sont exécutées par lots de deux et la durée d'exécution totale de la démonstration diminue de près de la moitié, d'environ 64 secondes à 36 secondes.

Lors de la troisième exécution de la démonstration, quatre processus fonctionnent en parallèle. La durée des tâches individuelles est passée de 9 secondes à environ 14 secondes. Par ailleurs, la durée d'exécution totale est passée d'environ 36 secondes à 28 secondes.

Lors de la dernière exécution de la démonstration, huit processus fonctionnent en parallèle. Comme toutes les tâches sont exécutées simultanément, la durée de chacune est passée à environ 27 secondes et la durée d'exécution totale est presque la même qu'avec quatre processus. Nous avons ici atteint un goulot d'étranglement d'E/S disque, car les huit processus sont en conflit entre eux pour lire leurs fichiers de données à partir du disque. Pour résoudre ce problème, nous souhaitons répartir les fichiers sur des disques et contrôleurs séparés, ou les déplacer vers une technologie de disque plus rapide.