Übergreifende Überprüfung (Analysis Services - Data Mining)

Wenn Sie die Kreuzvalidierung mithilfe der Registerkarte Kreuzvalidierung der Sicht für das Mininggenauigkeitsdiagramm in Business Intelligence Development Studio ausführen, können Sie die Parameter für die Trainings- und Genauigkeitsergebnisse in einem einzigen Formular konfigurieren. Dies erleichtert die Einrichtung und Anzeige der Ergebnisse. Sie können die Genauigkeit aller Miningmodelle mit Bezug zu einer einzigen Miningstruktur messen und anschließend sofort die Ergebnisse in einem HTML-Bericht anzeigen.

Weitere Informationen über das Berichtsformat und die von der übergreifenden Überprüfung bereitgestellten Genauigkeitsmetriken finden Sie unter Bericht für die Kreuzvalidierung (Analysis Services – Data Mining).

Informationen über das Konfigurieren der Parameter für die übergreifende Überprüfung in Business Intelligence Development Studio finden Sie unter Übergreifende Überprüfung (Registerkarte, Mininggenauigkeitsdiagramm-Sicht).

Für fortgeschrittene Benutzer steht die übergreifende Überprüfung auch in Form von vier gespeicherten Systemprozeduren zur Verfügung. Sie können die gespeicherten Prozeduren ausführen, indem Sie sich von SQL Server Management Studio oder einer anderen Anwendung mit verwaltetem Code mit einer Instanz von Analysis Services 2008 verbinden.

Die gespeicherten Prozeduren werden nach Miningmodelltyp gruppiert. Das erste Paar der Prozeduren funktioniert nur mit Clustermodellen. Das zweite Paar der Prozeduren funktioniert mit anderen Miningmodellen.

Hinweis
Die übergreifende Überprüfung kann nicht mit Modellen verwendet werden, die eine KEY TIME- oder KEY SEQUENCE-Spalte enthalten.

Für jeden Typ des Miningmodells gibt es zwei gespeicherte Prozeduren. Die erste Prozedur erstellt so viele Partitionen, wie Sie im Dataset festgelegt haben, und gibt Genauigkeitsergebnisse für jede Partition zurück. Für jede Metrik berechnet Analysis Services die mittlere und die Standardabweichung für die Partitionen.

Die zweite gespeicherte Prozedur partitioniert nicht das Dataset, sondern generiert Genauigkeitsergebnisse für das festgelegte Dataset als Ganzes. Sie können die zweite gespeicherte Prozedur auch verwenden, wenn die Miningstruktur und ihre Modelle bereits partitioniert und verarbeitet wurden.

Partitionieren von Daten und Generieren von Metriken für Partitionen

SystemGetCrossValidationResults (Analysis Services - Data Mining)

SystemGetClusterCrossValidationResults (Analysis Services - Data Mining)

Generieren von Metriken für gesamtes Dataset

SystemGetAccuracyResults (Analysis Services - Data Mining)

SystemGetClusterAccuracyResults (Analysis Services - Data Mining)

Wenn Sie die Anzahl von Partitionen festlegen, bestimmen Sie, wie viele temporäre Modelle erstellt werden. Für jede Partition wird ein Querschnitt der Daten für die Verwendung als Testsatz gekennzeichnet, und ein neues Modell wird durch Training der restlichen Daten außerhalb der Partition erstellt. Dieser Prozess wird wiederholt, bis Analysis Services die festgelegte Anzahl von Modellen erstellt und getestet hat. Die Daten, die Sie als verfügbar für die übergreifende Überprüfung festgelegt haben, werden gleichmäßig über alle Partitionen verteilt.

Das Beispiel im Diagramm veranschaulicht die Verwendung der Daten, wenn drei Aufteilungen angegeben werden.

In dem Szenario in dem Diagramm enthält die Miningstruktur ein Zurückhaltungsdataset, das zu Testzwecken verwendet wird, das Testdataset wurde jedoch noch nicht für die übergreifende Überprüfung hinzugefügt. Als Ergebnis werden alle Daten in dem Trainingsdataset, d. h. 70 Prozent der Daten in der Miningstruktur, für die übergreifende Überprüfung verwendet. Der Bericht für die übergreifende Überprüfung zeigt die Gesamtzahl der in jeder Partition verwendeten Fälle an.

Sie können auch die Anzahl der Daten festlegen, die während der übergreifenden Überprüfung verwendet werden, indem Sie die Anzahl der insgesamt zu verwendenden Fälle angeben. Die Fälle werden gleichmäßig über alle Aufteilungen verteilt.

Wenn die Miningstruktur in einer Instanz von SQL Server Analysis Services gespeichert ist, beträgt der für die Anzahl der Aufteilungen festzulegende Höchstwert 256. Alternativ entspricht er der Anzahl der Fälle (je nachdem, welcher Wert der niedrigere ist). Wenn Sie eine Sitzungsminingstruktur verwenden, ist die maximale Anzahl der Aufteilungen 10.

Hinweis
Wenn Sie die Anzahl der Aufteilungen erhöhen, verlängert sich auch die für die Ausführung der übergreifenden Überprüfung erforderliche Zeit entsprechend, da für jede Aufteilung ein Modell erzeugt und getestet werden muss. Wenn die Anzahl der Aufteilungen zu hoch ist, stellen Sie möglicherweise Leistungsprobleme fest.

Wenn Sie die gespeicherten Prozeduren ausführen, die die Genauigkeit berechnen, SystemGetAccuracyResults (Analysis Services - Data Mining) oder SystemGetClusterAccuracyResults (Analysis Services - Data Mining), können Sie die Quelle der Daten festlegen, die während der übergreifenden Überprüfung für den Test verwendet werden, indem Sie Kombinationen der folgenden Optionen verwenden:

• Nur die Trainingsdaten verwenden

• Ein vorhandenes Testdataset einschließen

• Nur das Testdataset verwenden

• Vorhandene Filter auf jedes Modell anwenden

• Alle Kombination des Trainingssatzes, Testsatzes und der Modellfilter

Sie steuern die Zusammensetzung des Testdatasets, indem Sie einen Wert für den DataSet-Parameter angeben.

Wenn Sie die übergreifende Überprüfung mithilfe des Berichts Übergreifende Überprüfung im Data Mining-Designer ausführen, können Sie das verwendete Dataset nicht ändern. Standardmäßig werden die Trainingsfälle für jedes Modell verwendet. Wenn einem Modell ein Filter zugeordnet ist, wird der Filter angewendet.

Übergreifende Überprüfung gefilterter Miningmodelle

Mithilfe des Statusschwellenwerts können Sie die Genauigkeitsleiste für Vorhersagen festlegen. Für jeden Fall berechnet das Modell eine als Wahrscheinlichkeitsvorhersage bezeichnete Wahrscheinlichkeit, dass der vorhergesagte Status korrekt ist. Wenn die Wahrscheinlichkeitsvorhersage die Genauigkeitsleiste überschreitet, wird die Vorhersage als korrekt gewertet, andernfalls wird die Vorhersage als inkorrekt gewertet. Sie steuern diesen Wert, indem Sie für Statusschwellenwert eine Zahl zwischen 0,0 und 1,0 festlegen. Dabei kennzeichnen Zahlen näher bei 1 ein stärkeres Vertrauen in die Vorhersage, und Zahlen näher bei 0 geben an, dass die Vorhersage eher nicht wahr ist. Der Standardwert für den Statusschwellenwert ist NULL, was bedeutet, dass der vorhergesagte Status mit der höchsten Wahrscheinlichkeit als Zielwert betrachtet wird.

Hinweis
Sie können einen Wert von 0,0 festlegen, doch ist dies bedeutungslos, da jede Vorhersage als korrekt gewertet wird, selbst solche mit einer Wahrscheinlichkeit von NULL. Achten Sie darauf, dass Sie für Statusschwellenwert nicht versehentlich 0,0 festlegen.

Angenommen, Sie haben drei Modelle, die die Spalte [Bike Buyer] vorhersagen, und der Wert, den Sie vorhersagen möchten, ist 1, was bedeutet "ja, wird kaufen". Die drei Modelle geben Vorhersagen mit den Vorhersagewahrscheinlichkeiten von 0,05, 0,15 und 0,8 zurück. Wenn Sie für den Statusschwellenwert 0,10 festgelegt haben, werden zwei der Vorhersagen als korrekt gewertet. Wenn Sie für den Statusschwellenwert 0,5 festgelegt haben, wird nur ein Modell als korrekte Vorhersage gewertet. Wenn Sie den Standardwert NULL verwenden, wird die wahrscheinlichste Vorhersage als richtig gewertet. In diesem Fall würden alle drei Vorhersagen als korrekt gewertet werden.