Tâche Azure Synapse Analytics

  • Article

S’applique à :SQL Server SSIS Integration Runtime dans Azure Data Factory

La tâche Azure Synapse Analytics permet à un package SSIS de copier des données tabulaires dans un pool SQL dédié Azure Synapse Analytics à partir du système de fichiers ou du Stockage Blob Azure. Elle s’appuie sur PolyBase pour améliorer les performances (cf. article Stratégies et modèles de chargement Azure Synapse Analytics). Le format de fichier de données source pris en charge actuellement est le texte délimité dans l’encodage UTF-8. Les données copiées à partir du système de fichiers sont d’abord chargées dans le Stockage Blob Azure pour la préproduction, puis dans un pool SQL dédié. Un compte de Stockage Blob Azure est donc nécessaire.

Notes

Le gestionnaire de connexions de stockage Azure avec le type de service Data Lake Gen2 n’est pas pris en charge.

Si vous souhaitez utiliser Azure Data Lake Gen2 pour la gestion intermédiaire ou la source, vous pouvez vous connecter via le gestionnaire de connexions de Stokage Azure avec le type Stockage Blob Azure.

La tâche Azure Synapse Analytics est un composant de SQL Server Integration Services (SSIS) Feature Pack pour Azure.

Pour ajouter une tâche Azure Synapse Analytics, faites-la glisser de la boîte à outils SSIS vers le canevas du concepteur, double-cliquez dessus ou cliquez dessus avec le bouton droit, puis cliquez sur Modifier pour afficher la boîte de dialogue de l’éditeur de tâche.

Dans la page Général , configurez les propriétés suivantes.

SourceType spécifie le type de magasin de données source. Sélectionnez l’un des types suivants :

  • FileSystem : les données sources se trouvent dans le système de fichiers local.
  • BlobStorage : les données sources se trouvent dans le Stockage Blob Azure.

Voici les propriétés de chaque type de source.

FileSystem

Champ Description
LocalDirectory Spécifie le répertoire local qui contient les fichiers de données à charger.
Recursively Spécifie s’il convient d’effectuer des recherches de façon récursive dans les sous-répertoires.
FileName Indique un filtre de nom pour sélectionner des fichiers dont le nom répond à certains critères. Par exemple, MaFeuille*.xsl* inclut les fichiers MaFeuille001.xsl et MaFeuilleABC.xslx.
RowDelimiter Spécifie le ou les caractères qui marquent la fin de chaque ligne.
ColumnDelimiter Spécifie un ou plusieurs caractères qui marquent la fin de chaque colonne. Par exemple, | (barre verticale), \t (tabulation), ’ (apostrophe), “ (guillemets doubles) et 0x5c (barre oblique inverse).
IsFirstRowHeader Spécifie si la première ligne de chaque fichier de données contient les noms de colonne au lieu des données réelles.
AzureStorageConnection Spécifie un gestionnaire de connexions de stockage Azure.
BlobContainer Spécifie le nom du conteneur d’objets blob dans lequel les données locales seront chargées et relayées sur un pool SQL dédié Azure Synapse Analytics via PolyBase. Un conteneur sera créé s’il n’existe pas.
BlobDirectory Spécifie le répertoire d’objets blob (structure hiérarchique virtuelle) dans lequel les données locales seront chargées et relayées sur un pool SQL dédié Azure Synapse Analytics via PolyBase.
RetainFiles Spécifie s’il convient de conserver les fichiers chargés sur le stockage Azure.
CompressionType Spécifie le format de compression à utiliser lors du chargement de fichiers sur le stockage Azure. La source locale n’est pas affectée.
CompressionLevel Spécifie le niveau de compression à utiliser pour le format de compression.
SqlPoolConnection Spécifie un gestionnaire de connexions ADO.NET pour le pool SQL dédié Azure Synapse Analytics.
TableName Spécifie le nom de la table de destination. Choisissez un nom de table existant ou créez-en un en choisissant <Nouvelle table ...>.
TableDistribution Spécifie la méthode de distribution pour la nouvelle table. S’applique si un nouveau nom de table est spécifié pour TableName.
HashColumnName Spécifie la colonne utilisée pour la distribution de table de hachage. S’applique si la valeur HASH est spécifiée pour TableDistribution.

BlobStorage

Champ Description
AzureStorageConnection Spécifie un gestionnaire de connexions de stockage Azure.
BlobContainer Spécifie le nom de conteneur blob où se trouvent les données sources.
BlobDirectory Spécifie le répertoire blob (structure hiérarchique virtuelle) où se trouvent les données sources.
RowDelimiter Spécifie le ou les caractères qui marquent la fin de chaque ligne.
ColumnDelimiter Spécifie un ou plusieurs caractères qui marquent la fin de chaque colonne. Par exemple, | (barre verticale), \t (tabulation), ’ (apostrophe), “ (guillemets doubles) et 0x5c (barre oblique inverse).
CompressionType Spécifie le format de compression utilisé pour les données sources.
SqlPoolConnection Spécifie un gestionnaire de connexions ADO.NET pour le pool SQL dédié Azure Synapse Analytics.
TableName Spécifie le nom de la table de destination. Choisissez un nom de table existant ou créez-en un en choisissant <Nouvelle table ...>.
TableDistribution Spécifie la méthode de distribution pour la nouvelle table. S’applique si un nouveau nom de table est spécifié pour TableName.
HashColumnName Spécifie la colonne utilisée pour la distribution de table de hachage. S’applique si la valeur HASH est spécifiée pour TableDistribution.

La page Mappages sera différente selon que les données sont copiées sur une nouvelle table ou sur une table existante. Dans le premier cas, configurez les colonnes sources à mapper et les noms correspondants dans la table de destination à créer. Dans le second cas, configurez les relations de mappage entre les colonnes sources et de destination.

Dans la page Colonnes , configurez les propriétés de type de données pour chaque colonne source.

La page T-SQL affiche le code T-SQL utilisé pour charger des données entre le Stockage Blob Azure et le pool SQL dédié. Le T-SQL est généré automatiquement à partir des configurations sur les autres pages et sera exécuté dans le cadre de l’exécution de la tâche. Vous pouvez choisir de modifier manuellement le T-SQL généré pour répondre à vos besoins spécifiques en cliquant sur le bouton Modifier . Vous pouvez revenir à celui qui a été généré automatiquement par la suite en cliquant sur le bouton Réinitialiser .