• Artikel

Bericht für die Kreuzvalidierung (Analysis Services – Data Mining)

Mithilfe der Kreuzvalidierung können Sie eine Miningstruktur in Querschnitte partitionieren und Modelle anhand der einzelnen Datenquerschnitte iterativ trainieren und testen. Sie geben mehrere Partitionen an, in die die Daten aufgeteilt werden sollen. Die einzelnen Partitionen werden der Reihe nach als Testdaten verwendet, während mit den jeweils verbleibenden Daten ein neues Modell trainiert wird. Analysis Services generiert dann eine Gruppe vorgegebener Genauigkeitsmetriken für jedes Modell. Durch den Vergleich der Metriken für die Modelle, die für die einzelnen Querschnitte generiert wurden, erhalten Sie Aufschluss über die Zuverlässigkeit des Miningmodells für das ganze Dataset.

HinweisHinweis

Die Kreuzvalidierung kann nicht mit Modellen verwendet werden, die eine KEY TIME- oder KEY SEQUENCE-Spalte enthalten.

Dieser Abschnitt erläutert die Informationen, die im Bericht Kreuzvalidierung auf der Registerkarte Mininggenauigkeitsdiagramm des Data Mining-Designers dargestellt werden. Informationen zum Erstellen eines Berichts finden Sie unter Übergreifende Überprüfung (Registerkarte, Mininggenauigkeitsdiagramm-Sicht).

Erstellen eines Berichts für die Kreuzvalidierung

Um das mit einer Miningstruktur verbundene Miningmodell per Kreuzvalidierung zu überprüfen, können Sie entweder die Registerkarte Kreuzvalidierung der Mininggenauigkeits-Sicht im Data Mining-Designer oder die gespeicherten Prozeduren für die Kreuzvalidierung verwenden, um die folgenden Optionen zu konfigurieren:

  • Geben Sie die Anzahl von Aufteilungen an.

  • Geben Sie die maximale Anzahl von Fällen an, die für die Kreuzvalidierung zu verwenden sind. Diese Zahl wird durch die Anzahl der Aufteilungen geteilt.

  • Geben Sie die vorhersagbare Spalte an. Geben Sie optional einen vorhersagbaren Status an.

HinweisHinweis

Wenn die Miningstruktur Clusteringmodelle enthält, geben Sie #Cluster an, statt eine vorhersagbare Spalte auszuwählen. Der Bericht gibt nur Ergebnisse für Clusteringmodelle zurück.
  • Legen Sie optional Parameter fest, mit denen gesteuert wird, wie die Genauigkeit der Vorhersage bewertet wird.

Auswählen eines Datasets für die Kreuzvalidierung

Wenn Sie die Registerkarte Kreuzvalidierung der Mininggenauigkeitsdiagramm-Sicht verwenden, gibt es zwei Möglichkeiten, die Menge und den Typ der Daten zu steuern, die während der Kreuzvalidierung verwendet werden: Sie können die Anzahl der Aufteilungen angeben, und Sie können die Zahl der Fälle beschränken. Standardmäßig verwendet die Kreuzvalidierung in Business Intelligence Development Studio die Trainingsfälle für jedes Modell. Wenn einem Modell ein Filter zugeordnet ist, wird der Filter angewendet.

Der Wert von Aufteilungsanzahl gibt die Anzahl der zu erstellenden Querschnitte des Datasets an. Jede Aufteilung wird als Testdataset verwendet, während mit den Daten in den verbleibenden Aufteilungen ein neues Modell trainiert wird. Haben Sie daher 2 als Minimalwert angegeben, wird die eine Hälfte des Datasets zum Testen und die andere zum Trainieren verwendet.

Wenn die Miningstruktur nicht in einer Instanz von Analysis Services gespeichert ist, sondern als temporäre oder Sitzungsstruktur erstellt wird, ist die Anzahl der Aufteilungen, die Sie verwenden können, auf 10 beschränkt. Ist die Miningstruktur in einer Instanz von Analysis Services gespeichert, können Sie nicht mehr Aufteilungen erstellen, als es Fälle gibt. Wenn die Zahl der Fälle kleiner als der Wert ist, den Sie für Aufteilungsanzahl festgelegt haben, wird der kleinere Wert verwendet. 

HinweisHinweis

Wenn Sie die Anzahl der Aufteilungen erhöhen, verlängert sich entsprechend auch die für die Ausführung der Kreuzvalidierung erforderliche Zeit, da für jede Aufteilung ein Modell erzeugt und getestet werden muss. Wenn die Anzahl der Aufteilungen zu hoch ist, können möglicherweise Leistungsprobleme auftreten.

Der Wert für Maximale Anzahl von Fällen gibt die Gesamtzahl der Fälle für alle Aufteilungen an, die für die Kreuzvalidierung verwendet werden können. Daher entspricht die Anzahl von Fällen in einer bestimmten Aufteilung dem Wert Maximale Anzahl von Fällen geteilt durch den Wert Aufteilungsanzahl. Der Standardwert ist 0, was bedeutet, dass alle Fälle in der Miningstruktur verwendet werden.

Wenn Sie die Kreuzvalidierung mithilfe einer der gespeicherten Prozeduren durchführen, geben Sie die Werte für die Eigenschaften FoldCount und MaxCases als Parameter für die gespeicherte Prozedur an.

HinweisHinweis

Wenn Sie die gespeicherten Prozeduren für die Kreuzvalidierung verwenden, können Sie auch den Datasetparameter festlegen, um das Dataset zu definieren, das für die Überprüfung der Modelle verwendet wird. Mithilfe der Optionen für das Dataset können Sie festlegen, dass das Dataset nur als Trainingssatz, als Test- und Trainingssatz oder als Kombination von Trainings- und Testsatz mit Miningmodellfiltern verwendet wird. Weitere Informationen finden Sie unter SystemGetCrossValidationResults (Analysis Services – Data Mining).

Auswählen von Modellen und Spalten zur Überprüfung

Wenn Sie die Registerkarte Kreuzvalidierung im Data Mining-Designer verwenden, müssen Sie zunächst aus einer Liste eine vorhersagbare Spalte auswählen. Eine einzelne Miningstruktur kann in der Regel mehrere Miningmodelle unterstützen, von denen nicht alle die gleiche vorhersagbare Spalte verwenden. Wenn Sie die Kreuzvalidierung ausführen, können nur die Modelle in den Bericht aufgenommen werden, die die gleiche vorhersagbare Spalte verwenden.

Um ein vorhersagbares Attribut auszuwählen, klicken Sie auf Zielattribut, und wählen Sie die Spalte aus der Liste aus. Ist das Zielattribut eine geschachtelte Spalte oder eine Spalte in einer geschachtelten Tabelle, müssen Sie den Namen der geschachtelten Spalte im Format <Name der geschachtelten Tabelle>(Schlüssel).<geschachtelte Spalte> eingeben. Ist die Spalte der geschachtelten Tabelle auch die Schlüsselspalte, können Sie das Format <Name der geschachtelten Tabelle>(Schlüssel). verwenden.

Hinweis   Wenn Sie die gespeicherten Prozeduren verwenden, können Sie die zu testenden Modelle genauer steuern. Weitere Informationen finden Sie unter SystemGetCrossValidationResults (Analysis Services – Data Mining).

Nachdem Sie das vorhersagbare Attribut ausgewählt haben, testet Analysis Services automatisch alle Modelle, die das gleiche vorhersagbare Attribut verwenden.

Enthält das Zielattribut nach der Auswahl der vorhersagbaren Spalte diskrete Werte, können Sie optional einen vorhergesagten Status eingeben, wenn es einen bestimmten Wert gibt, den Sie vorhersagen möchten.

Die Auswahl des vorhergesagten Status beeinflusst die Measures, die zurückgegeben werden. Wenn Sie ein Zielattribut – also einen Spaltenamen – angeben und keinen Wert auswählen, den das Modell vorhersagen soll, wird das Model standardmäßig mit seiner Vorhersage des wahrscheinlichsten Status überprüft.

Wenn Sie ein Clustermodell per Kreuzvalidierung überprüfen, gibt es keine vorhersagbare Spalte. Stattdessen wählen Sie im Listenfeld Zielattribut den Eintrag #Cluster aus der Liste der vorhersagbaren Attribute aus. Nach der Auswahl von Cluster werden alle für das Clustermodell nicht relevanten Optionen, beispielsweise Zielstatus, deaktiviert. Analysis Services testet alle Clustermodelle, die der Miningstruktur zugeordnet sind.

Festlegen des Genauigkeitsschwellenwerts

Sie können den Standardwert zum Messen der Vorhersagegenauigkeit steuern, indem Sie einen Wert für Zielschwellenwert festlegen. Ein Schwellenwert stellt eine Art von Genauigkeitsleiste dar. Jeder Vorhersage wird eine Wahrscheinlichkeit der Richtigkeit des vorhergesagten Werts zugewiesen. Wenn Sie also den Zielschwellenwert auf einen Wert festlegen, der näher an 1 liegt, muss die Wahrscheinlichkeit für eine bestimmte Vorhersage ziemlich hoch sein, damit diese als gute Vorhersage gewertet wird. Wenn Sie umgekehrt den Zielschwellenwert auf einen Wert festlegen, der näher an 0 liegt, werden auch Vorhersagen mit niedrigeren Wahrscheinlichkeitswerten als "gute" Vorhersagen gewertet.

Es gibt keinen empfohlenen Schwellenwert, da die Wahrscheinlichkeit einer Vorhersage von Ihren Daten und dem Typ der Vorhersage abhängt. Prüfen Sie einige Vorhersagen auf verschiedenen Wahrscheinlichkeitsstufen, um eine geeignete Genauigkeitsleiste für Ihre Daten zu bestimmen. Dieser Schritt ist wichtig, weil sich der Wert, den Sie als Zielschwellenwert verwenden, stark auf die gemessene Genauigkeit des Modells auswirkt.

Angenommen, Ihre Struktur enthält Modelle, die den Zielstatus mit den Wahrscheinlichkeiten 0,05, 0,15 und 0,8 vorhersagen. Wenn Sie den Schwellenwert auf 0,5 festgelegt haben, wird nur eine Vorhersage als richtig gewertet. Wenn Sie den Zielschwellenwert auf 0,10 festgelegt haben, werden zwei der Vorhersagen als richtig gewertet.

Wenn Sie den Zielschwellenwert auf null (den Standardwert) festgelegt haben, wird der wahrscheinlichste Status als Ziel verwendet. In dem angeführten Beispiel hätten alle drei Modelle richtige Vorhersagen. Daher sollten Sie beim Vergleich der Modelle den für jede Instanz der Kreuzvalidierung verwendeten Schwellenwert berücksichtigen. Sie können auch die mittleren Wahrscheinlichkeiten aller Fälle in einem bestimmten Modell bewerten, indem Sie die Measures Mittelwert der Wahrscheinlichkeit und Wurzel des mittleren Fehlers zum Quadrat verwenden, die der Bericht für die Kreuzvalidierung bietet.

Einschränkungen beim Verwenden der Registerkarte 'Kreuzvalidierung'

Wenn Sie die Kreuzvalidierung in Business Intelligence Development Studio ausführen, gelten für die Modelle, die Sie testen können, sowie für die festzulegenden Parameter einige Einschränkungen.

  • Standardmäßig werden alle mit der ausgewählten Miningstruktur verbundenen Modelle per Kreuzvalidierung überprüft. Sie können weder das Modell noch eine Liste von Modellen angeben.

  • Die Kreuzvalidierung wird bei Modellen nicht unterstützt, die auf dem Microsoft Time Series-Algorithmus oder dem Microsoft Sequence Clustering-Algorithmus basieren.

  • Der Bericht kann nicht erstellt werden, wenn Ihre Miningstruktur keine Modelle enthält, die per Kreuzvalidierung überprüft werden können.

  • Wenn die Miningstruktur sowohl Cluster- als auch Nicht-Clustermodelle enthält, und Sie die Option #Cluster nicht ausgewählt haben, werden die Ergebnisse für beide Modelltypen im gleichen Bericht angezeigt, auch wenn die Attribut-, Status und Schwellenwerteinstellungen für die Clustermodelle möglicherweise nicht passen.

  • Für die Werte einiger Parameter gelten Einschränkungen. Beispielsweise wird eine Warnung angezeigt, wenn die Anzahl der Aufteilungen den Wert 10 überschreitet, denn die Generierung so vieler Modelle könnte dazu führen, dass der Bericht sehr langsam angezeigt wird.

Wenn Sie erweiterte Einstellungen angeben möchten, müssen Sie die gespeicherten Prozeduren für die Kreuzvalidierung verwenden. Weitere Informationen finden Sie unter Data Mining-gespeicherten Prozeduren (Analysis Services – Data Mining).

Ergebnisse der Kreuzvalidierung

Nachdem Sie die Parameter angegeben und auf Aktualisieren geklickt haben, werden die Ergebnisse der Kreuzvalidierung im Ergebnisraster angezeigt. Dieser Abschnitt erläutert den Inhalt jeder Spalte im Ergebnisraster.

Zusätzlich zu einigen grundlegenden Informationen über die Anzahl der Aufteilungen für die Daten und die Menge der Daten in jeder Aufteilung zeigt Analysis Services einen nach Typ geordneten Satz von Metriken für jedes Modell an. In der folgenden Tabelle werden die Tests und die Metriken zusammen mit einer Erklärung der Bedeutung der Metrik aufgeführt.

Testtyp

Measures und Beschreibungen

Clustering
FallwahrscheinlichkeitAngabe, mit welcher Wahrscheinlichkeit ein Fall zu einem bestimmten Cluster gehört.

Klassifikation
Wahr positivAnzahl der Fälle, die diese Bedingungen erfüllen:

  • Fall enthält den Zielwert.

  • Modell hat vorhergesagt, dass der Fall den Zielwert enthält.

Falsch positivAnzahl der Fälle, die diese Bedingungen erfüllen:

  • Istwert ist gleich dem Zielwert.

  • Modell hat vorhergesagt, dass der Fall den Zielwert enthält.

Wahr negativAnzahl der Fälle, die diese Bedingungen erfüllen:

  • Fall enthält den Zielwert nicht.

  • Modell hat vorhergesagt, dass der Fall den Zielwert nicht enthält.

Falsch negativAnzahl der Fälle, die diese Bedingungen erfüllen:

  • Istwert ist ungleich dem Zielwert.

  • Modell hat vorhergesagt, dass der Fall den Zielwert nicht enthält.

Klassifikation
Erfolgreich/fehlgeschlagenAnzahl der Fälle, die diese Bedingungen erfüllen:

  • Erfolgreich, wenn der vorhergesagte Status mit der höchsten Wahrscheinlichkeit gleich dem Eingabestatus ist und die Wahrscheinlichkeit größer als der Wert von Statusschwellenwert ist.

  • Andernfalls fehlgeschlagen.

Wahrscheinlichkeit
PrognoseDas Verhältnis der tatsächlichen Vorhersagewahrscheinlichkeit zur marginalen Wahrscheinlichkeit in den Testfällen. Zeilen mit fehlenden Werten werden hierbei ausgeschlossen. Diese Metrik zeigt an, wie sich die Wahrscheinlichkeit erhöht, wenn das Modell verwendet wird.
Wurzel des mittleren Fehlers zum QuadratQuadratwurzel des mittleren Fehlers für alle Partitionsfälle, geteilt durch die Anzahl der Fälle in der Partition. Fälle mit fehlenden Werten werden hierbei ausgeschlossen.
ProtokollergebnisDer Logarithmus der tatsächlichen Wahrscheinlichkeit für jeden Fall, addiert und geteilt durch die Anzahl der Zeilen im Eingabedataset. Fälle mit fehlenden Werten werden hierbei ausgeschlossen. Da die Wahrscheinlichkeit als Bruch dargestellt wird, werden Protokollergebnisse immer als negative Zahlen angegeben. Eine Zahl, die näher an 0 liegt, führt zu einer besseren Vorhersage.

Schätzung
Wurzel des durchschnittlichen FehlerquadratsDurchschnittliche Abweichung des vorhergesagten Werts vom tatsächlichen Wert, ausgedrückt als Quadratwurzel der durchschnittlichen Summe der Fehlerquadrate.
Durchschnittlicher absoluter FehlerSumme der absoluten Fehler für alle Fälle in der Partition, geteilt durch die Anzahl der Fälle. Zeilen mit fehlenden Werten werden hierbei ausgeschlossen.
ProtokollergebnisDer Logarithmus der tatsächlichen Wahrscheinlichkeit für jeden Fall, addiert und geteilt durch die Anzahl der Zeilen im Eingabedataset. Fälle mit fehlenden Werten werden hierbei ausgeschlossen. Da die Wahrscheinlichkeit als Bruch dargestellt wird, werden Protokollergebnisse immer als negative Zahlen angegeben. Eine Zahl, die näher an 0 liegt, führt zu einer besseren Vorhersage.

Aggregate

Aggregierte Measures geben die Varianz in den Ergebnissen für jede Partition an.
DurchschnittMittelwert der Partitionswerte für ein bestimmtes Measure.
StandardabweichungDurchschnitt der Abweichung vom Mittelwert für ein bestimmtes Measure für alle Partitionen in einem Modell.
HinweisHinweis

Diese Measures für die Genauigkeit werden für jedes Zielattribut berechnet, und Sie können für jedes Attribut einen Zielwert angeben oder weglassen. Bei einigen Datensätzen fehlen möglicherweise die Werte für das Zielattribut. Dieser Sonderfall wird als "fehlender Wert" bezeichnet. Zeilen mit fehlenden Werten werden nicht gezählt, wenn das Genauigkeitsmaß für ein bestimmtes Zielattribut berechnet wird. Da die Ergebnisse für jedes Attribut einzeln berechnet werden, wird das Ergebnis des Zielattributs nicht beeinflusst, wenn Werte für das Zielattribut, jedoch nicht für andere Attribute vorliegen.