Mesure de la précision du modèle d'exploration de données (Analysis Services - Exploration de données)

Choix d'un modèle ou d'une structure

Il est usuel de générer plusieurs modèles d'exploration de données pour chaque structure d'exploration de données, et que chaque modèle utilise un algorithme ou un ensemble de paramètres différent. Analysis Services permet de tester facilement plusieurs modèles d'exploration de données associés dans le même graphique. Toutefois, vous pouvez également sélectionner un seul modèle d'exploration de données pour la sortie dans un graphique d'analyse de précision.

Dans Business Intelligence Development Studio, vous sélectionnez une structure d'exploration de données, puis cliquez sur l'onglet Graphique d'analyse de précision de l'exploration de données pour ouvrir une zone de conception pour les graphiques d'analyse de précision. Dans SQL Server Management Studio, vous cliquez avec le bouton droit sur la structure d'exploration de données, puis sélectionnez Afficher le graphique de courbe d'élévation pour ouvrir la même zone de conception et créer n'importe quel type de graphique d'analyse de précision.

Si vous ajoutez plusieurs modèles d'exploration de données à un graphique, vous devez choisir des modèles d'exploration de données qui ont le même attribut prédictible. Si vous créez un graphique de courbes d'élévation, un graphique des bénéfices, un nuage de points ou une matrice de classification, vous pouvez choisir les modèles à représenter graphiquement en utilisant l'onglet Sélection d'entrée. Toutefois, si vous créez un rapport de validation croisée, Analysis Services analysera tous les modèles qui ont le même attribut prédictible.

Choix des données de test

Avant de pouvoir créer un graphique de courbes d'élévation, un graphique des bénéfices ou un nuage de points, vous devez spécifier les données que vous utiliserez pour évaluer le modèle. Dans la mesure où les données que vous utilisez pour l'évaluation ont une grande incidence sur les résultats d'évaluation, SQL Server 2008 Analysis Services fournit les options suivantes pour spécifier les données de test :

• Utilisation d'une partition d'exclusion définie comme jeu de test lors de la création de la structure d'exploration de données. En utilisant une partie des données de la structure d'exploration de données comme données de test, vous pouvez mesurer de manière cohérente tous les modèles de la structure.

• Définition d'une source de données externes à utiliser comme données de test.

• Définition d'une source de données externes et application de filtres pour limiter les données à un sous-ensemble pertinent de cas. En définissant un filtre, vous pouvez sélectionner des données de test remplissant des conditions particulières ou contenant des cas d'un intérêt particulier.

• Utilisation d'un filtre appliqué aux cas d'apprentissage utilisés par le modèle. En définissant un filtre de modèle, vous pouvez limiter les cas à un sous-ensemble de données et également garantir qu'un modèle donné est toujours évalué en utilisant des données semblables.

Si vous créez un rapport de validation croisée dans Business Intelligence Development Studio ou SQL Server Management Studio, Analysis Services utilise par défaut la partition d'exclusion définie pour le modèle, le cas échéant. Si aucune partition d'exclusion n'a été définie, Analysis Services utilise l'intégralité des cas d'apprentissage.

Si vous créez un graphique de courbes d'élévation, un graphique des bénéfices, un nuage de points ou une matrice de classification dans Business Intelligence Development Studio ou SQL Server Management Studio, vous utilisez l'onglet Sélection d'entrée sur la vue Graphique d'analyse de précision de l'exploration de données du Concepteur d'exploration de données pour spécifier les données à utiliser pour tester les modèles d'exploration de données. Les options disponibles sont les suivantes :

Utiliser des scénarios de test de modèle d'exploration de données

Les scénarios de test de modèle d'exploration de données proviennent des mêmes données que celles se trouvant dans la structure d'exploration de données, mais un filtre est appliqué au modèle pour limiter le nombre de scénarios utilisés pour le test. Un filtre de modèle constitue un ensemble de conditions que vous créez puis stockez avec le modèle d'exploration de données. La condition de filtre étant enregistrée avec le modèle d'exploration de données, elle est appliquée par défaut lors de l'apprentissage du modèle. Lorsque vous testez un modèle, vous pouvez utiliser le filtre tel quel ou vous pouvez utiliser un jeu de données différent pour le test, ignorant ainsi le filtre de modèle. Si vous souhaitez changer le filtre appliqué à un modèle d'exploration de données, vous pouvez modifier le filtre de modèle, puis retraiter le modèle. Vous pouvez également créer une copie du modèle, puis créer un filtre différent sur la copie.

Pour plus d'informations sur les filtres de modèle, consultez Création de filtres pour les modèles d'exploration de données (Analysis Services - Exploration de données).

Pour une description de la création d'un filtre sur un modèle d'exploration de données, consultez Procédure : appliquer un filtre à un modèle d'exploration de données.

Utiliser des scénarios de test de structure d'exploration de données

Vous pouvez utiliser cette option pour mesurer la précision si vous avez défini un jeu de données de test lors de la création de la structure d'exploration de données, en définissant un pourcentage d'exclusion ou un nombre maximal de scénarios à utiliser pour l'exclusion. La définition du jeu de test est stockée avec la structure. Par conséquent, le jeu de test peut être utilisé avec n'importe quel modèle basé sur la structure.

Pour plus d'informations, consultez Partitionnement des données en jeux d'apprentissage et jeux de test (Analysis Services – Exploration de données).

Spécifier un autre jeu de données

Dans SQL Server 2005, le seul moyen de tester la précision d'un modèle d'exploration de données était d'utiliser un jeu de données externes. Cette option est encore présente dans SQL Server 2008, mais vous pouvez à présent aussi définir un filtre sur les données externes.

Pour utiliser une source de données externes, toutes les colonnes des données externes que vous voulez utiliser pour l'entrée doivent être mappées aux colonnes du modèle d'exploration de données. Vous pouvez choisir d'ignorer certaines colonnes, mais le jeu de données externes doit au moins contenir une colonne qui peut être mappée à la colonne prédictible du modèle d'exploration de données. En fonction du modèle, il peut également s'avérer nécessaire de mapper la ou les colonnes des données externes ayant les attributs requis pour la prédiction.

Dans le Concepteur d'exploration de données, vous utilisez l'onglet Sélection d'entrée et la boîte de dialogue Spécifier le mappage des colonnes pour sélectionner la table d'entrée utilisée pour la validation des modèles. Lorsque vous sélectionnez une table d'entrée, les colonnes des tables Structure d'exploration de données et Sélectionner une ou plusieurs tables d'entrée sont automatiquement mappées ensemble. Vous pouvez modifier les mappages en fonction des besoins en cliquant sur une colonne dans la table Structure d'exploration de données et en la faisant glisser jusqu'à la table Sélectionner une ou plusieurs tables d'entrée. Si les données d'entrée contiennent une table imbriquée, vous pouvez également inclure cette table en utilisant le lien Sélectionner la table imbriquée.

Une fois les colonnes correspondantes mappées, vous pouvez éventuellement spécifier un état cible pour la colonne prédictible. Si vous laissez l'état de la colonne prédictible vide, le graphique de courbes d'évaluation prédit la manière dont le modèle fonctionne, quel que soit l'état de la colonne prédictible. Pour plus d'informations sur les différences entre la création de graphiques de courbes d'évaluation avec ou sans un état spécifié de la colonne prédictible, consultez Graphique de courbes d'élévation (Analysis Services - Exploration de données).

Vous avez également la possibilité de créer un filtre sur les données externes. Pour une description de la création d'un filtre, consultez Procédure : filtrer les lignes d'entrée d'un graphique d'analyse de précision.

L'option Synchroniser les colonnes de prédiction et les valeurs coordonne les attributs prédictibles dans la source de données externes et le modèle d'exploration de données, de sorte que, même s'ils portent un nom différent, ils sont dérivés de la même colonne prédictible au cours de l'apprentissage du modèle. Cela s'avère utile lorsque deux colonnes de structure d'exploration de données pointent vers les mêmes données sous-jacentes, mais que les colonnes sont peut-être intitulées différemment.

Si vous désactivez la case à cocher Synchroniser les colonnes de prévision et les valeurs, vous pouvez sélectionner une colonne prédictible et une valeur quelconques, et les résultats sont représentés ensemble, même s'ils n'ont aucune signification. Vous pouvez désactiver cette option si vous essayez de comparer deux attributs prédictibles qui ne sont pas explicitement mappés au même ensemble de valeurs. Vous devez toutefois savoir que les deux attributs risquent de ne pas être comparables en ce qui concerne la précision. Par exemple, un modèle qui discrétise le revenu en compartiments sous la forme Élevé, Moyen et Bas peut être comparable à un modèle qui regroupe le revenu par plages de 150 000+, 50 000-100 000 et 10 000-50 000. Toutefois, avant de désactiver la case à cocher, vous devez vérifier que les attributs sont comparables.

Pour plus d'informations :Procédure : sélectionner une colonne prévisible pour un graphique d'analyse de précision, Utilisation des outils d'exploration de données

Filtrage de données

Vous pouvez filtrer les données utilisées pour effectuer l'apprentissage et le test d'un modèle d'exploration de données de la façon suivante :

• Créez un filtre stocké avec le modèle.

• Appliquez un filtre à une source de données externes.

Lorsque vous définissez un filtre, vous créez en fait une clause WHERE sur les données entrantes. Si vous filtrez un jeu de données d'entrée utilisé pour évaluer un modèle, l'expression de filtre est traduite en instruction Transact-SQL et appliquée à la table d'entrée lorsque le graphique est créé. En conséquence, le nombre de scénarios de test peut être réduit de façon significative.

Par opposition, lorsque vous appliquez un filtre à un modèle d'exploration de données, l'expression de filtre que vous créez est traduite en instruction DMX (Data Mining Extensions) et appliquée au modèle individuel. Lorsque vous appliquez un filtre à un modèle, seul un sous-ensemble des données d'origine est utilisé pour l'apprentissage du modèle. Si vous avez défini un jeu de données de test au moment de la création de la structure, les cas de modèles utilisés pour l'apprentissage incluent uniquement les cas qui se trouvent dans le jeu d'apprentissage de la structure d'exploration de données et qui remplissent les conditions du filtre. Par ailleurs, lorsque vous sélectionnez l'option Utiliser des scénarios de test de modèle d'exploration de données, les scénarios de test incluent uniquement les scénarios qui se trouvent dans le jeu de test de la structure d'exploration de données et qui remplissent les conditions du filtre. Les conditions de filtre s'appliquent également aux requêtes d'extraction sur les cas de modèles.

Toutefois, si vous n'avez pas défini de jeu de données d'exclusion, les cas de modèles utilisés pour le test incluent tous les cas du jeu de données qui remplissent les conditions du filtre.

Par conséquent, plusieurs modèles, même s'ils se basent sur la même structure d'exploration de données, peuvent avoir des filtres différents et, de ce fait, utiliser différentes données pour l'apprentissage et le test. Si vous sélectionnez l'option Utiliser des scénarios de test de modèle d'exploration de données lorsque vous créez le graphique d'analyse de précision, vous devez être conscient que le nombre total de cas dans les jeux de test et d'apprentissage peut beaucoup varier entre les modèles testés.

Pour examiner les cas d'apprentissage réels utilisés, vous pouvez créer une requête de contenu DMX, comme celle ci-dessous :

SELECT * from <model>.CASES WHERE IsTrainingCase()

ou :

SELECT * from <model>.CASES WHERE IsTestCase()

Pour comparer ces cas aux cas de la structure, créez la requête de contenu DMX suivante :

SELECT * FROM <structure>.CASES WHERE IsTestCase()

Pour plus d'informations sur les types de filtres applicables et sur l'évaluation des expressions de filtre, consultez Syntaxe de filtre de modèle et exemples (Analysis Services - Exploration de données).

Choix d'un type de graphique et affichage du graphique

En fonction du type de graphique que vous choisissez, vous avez la possibilité de configurer d'autres options, de parcourir le graphique ou de copier le graphique dans le Presse-papiers et de travailler avec les données dans Excel.

Remarque   Les graphiques et leurs définitions ne sont pas enregistrés. Si vous fermez la fenêtre qui contient un graphique, vous devez créer à nouveau le graphique.

Voir aussi

Référence

Concepts

Autres ressources