Datenprofilerstellung und Benachrichtigungen in DQS

  • Artikel

Gilt für:SQL Server

Die Datenprofilerstellung in Data Quality Services (DQS) ist der Prozess der Analyse der Daten in einer vorhandenen Datenquelle und das Anzeigen von Statistiken zu den Daten in DQS-Aktivitäten. Sie versorgt Sie mit automatischen Messungen der Datenqualität. DQS-Profilerstellung wird in DQS-Wissensverwaltung und Data Quality-Projekte integriert. es ist dynamisch und anpassbar. Die Profilerstellung hat zwei Hauptziele: erstens, Sie durch Data Quality-Prozesse zu führen und Ihre Entscheidungen zu unterstützen, und zweitens, die Effektivität der Prozesse zu bewerten. Der DQS-Profilerstellungsprozess hat die folgenden Vorteile:

  • Die Profilerstellung stellt einen Einblick in die Qualität der Quelldaten bereit und hilft Ihnen, Data Quality-Probleme zu identifizieren.

  • Die Profilerstellung bewertet die Effektivität von Data Quality-Prozessen und leitet Sie bei der Wissensermittlung, der Datenbereinigung, der Abgleichsrichtlinie und der Abgleichsarbeit.

  • Die Profilerstellung gibt Ihnen die relevantesten Informationen zum relevantesten Zeitpunkt.

  • Der Profilerstellungsprozess generiert Benachrichtigungen, die wichtige Statistiken oder Ereignisse hervorheben, die aktionen erfordern können. In vielen Fällen geben DQS-Benachrichtigungen eine Bedingung an und empfehlen die Aktion, die Sie ergreifen können, um diese Bedingung zu beheben.

Die Profilerstellung ermöglicht es Ihnen, Data Quality Services nicht nur zur Wissensermittlung, Bereinigung und zum Abgleich zu verwenden, sondern auch als Analysetool. Möglicherweise möchten Sie eine Wissensdatenbank für die Analyse erstellen und die Wissensermittlung mithilfe dieser Wissensdatenbank ausführen, um aus den Profilerstellungsstatistiken zu bestimmen, ob die Wissensdatenbank Ihren Anforderungen für Ermittlung, Bereinigung und Abgleich gerecht wird.

Funktionsweise der Profilerstellung

Die Profilerstellung misst nicht die Qualität der Wissensbasis. Sie misst die Qualität der Quelldaten. Profilerstellung bietet Ihnen Statistiken, die die Auswirkungen des spezifischen Vorgangs angeben, den Sie im Wissensmanagement oder einem Datenqualitätsprojekt für Ihre Quelldaten ausführen. Profilerstellung befindet sich immer im Kontext der spezifischen Aktivitäten, die Sie tun. Sie können auf die Registerkarte "Profilerstellung" in einem Bildschirm klicken, um Profilerstellungsdaten anzuzeigen, ohne die Phase der Aktivität zu verlassen, die Sie ausführen. Die Profilerstellungstabelle wird in Echtzeit aufgefüllt, während der Prozess ausgeführt wird, sodass Sie Datenqualitätsaufgaben während ihrer Ausführung bewerten können. Sie können bestimmen, ob Quelldaten nach Bereinigung oder Deduplizierung besser sind und um wie viel besser sie sind.

Alle Profilerstellungsnummern beziehen sich auf die Anzahl der Darstellungen eines Werts und beziehen sich in vielen Fällen auf den Prozentsatz der Summe, mit Ausnahme von Eindeutigkeitsmetriken. Eindeutigkeitsmetrik verweist auf die absolute Anzahl von Werten, unabhängig davon, wie häufig diese Werte vorkommen.

Die Profilerstellung ist Teil des wissensgesteuerten DQS-Lösung. Sie stellt Informationen zu einer Wissensdatenbank, einem Abgleichs- oder einem Datenbereinigungsprozess basierend auf der Zuordnung zwischen Datenquellenfeldern und Wissensdatenbankdomänen bereit. Sie profiliert erst nach Abschluss der Zuordnung. Während der Zuordnungsphase einer Aktivität erfolgt keine Profilerstellung. Die Profilerstellung wird immer an eine Aktivität angefügt. Der Prozess der Profilerstellung erfolgt auf den Daten, die Domänen zugeordnet sind, nicht auf den Daten in den Domänen. Sie ist in die folgenden Schritte der Aktivitäten integriert:

  • In die Schritte Ermitteln und Domänenwerte verwalten der Wissensermittlungsaktivität

  • In die Schritte Bereinigen und Ergebnisse verwalten und anzeigen der Bereinigungsaktivität

  • In die Schritte Abgleichsrichtlinie und Abgleichsergebnisse der Abgleichsrichtlinienaktivität

  • In die Schritte Abgleich und Exportieren der Abgleichsaktivität

DQS stellt keine Profilerstellungsstatistiken für die Domänenverwaltungsaktivität bereit.

Profilerstellungsdaten nach Aktivität

DQS-Profilerstellung verwendet standardmäßige Data Quality-Dimensionen, um die Qualität der Daten darzustellen: Vollständigkeit (das Ausmaß des Vorhandenseins von Daten), Genauigkeit (das Ausmaß, in dem Daten für den beabsichtigten Zweck verwendet werden können) und Eindeutigkeit (das Ausmaß, in dem verschiedene Werte verschiedene Entitäten darstellen). Standardmäßig werden NULL- und leere Werte als fehlende Werte betrachtet oder der Prozentsatz der Vollständigkeit verringert; Sie können jedoch auch andere Werte als NULL-Entsprechung definieren, in diesem Fall werden sie auch als fehlender Wert betrachtet.

Die Profilerstellung stellt Ihnen die Statistiken bereit, die Sie benötigen, um die Prozesse zu bewerten. Die Statistiken müssen Sie allerdings interpretieren. Verstehen Sie, was Ihnen die Profilerstellung mitteilt, indem Sie sich die Statistiken spaltenweise ansehen.

Die DQS-Aktivitäten verfügen über andere Sätze von Profilerstellungsstatistiken, nämliche folgende:

  • Nur die Bereinigungsaktivität weist Profilerstellungsstatistiken für Genauigkeit (in Prozent nach Domäne) auf. Genauigkeit wird durch Gültigkeit, Konsistenz, Syntaxfehler und Domänenregeln beeinflusst.

  • Nur die Bereinigungsaktivität weist Profilerstellungsstatistiken für richtig, korrigiert und vorgeschlagen in der Quelle sowie für korrigierte und vorgeschlagene Werte nach Domäne (Zahlen und Prozentwerte) auf.

  • Die Bereinigungs und Wissensermittlungsaktivitäten weisen Profilerstellungsstatistiken für Gültigkeit (Reinigen nach Datensatz, Wissensermittlung nach Datensatz und Domäne) auf. Die Übereinstimmenden Richtlinien- und Abgleichsaktivitäten verfügen nicht über Statistiken zur Gültigkeit.

  • Die Säuberungsaktivität verfügt nicht über Profilerstellungsstatistiken zur Eindeutigkeit. Die Wissensermittlungs-, Abgleichsrichtlinien- und Abgleichsaktivitäten weisen Profilerstellungsstatistiken für Eindeutigkeit in Zahlen und Prozent für die Quelle und die Domäne auf.

Weitere Informationen zu den spezifischen Profilerstellungsstatistiken im Zusammenhang mit einer Aktivität finden Sie in den Abschnitten "Profiling" in den folgenden Artikeln:

Profilerstellungsdaten bei der Aktivitätsüberwachung

Profilerstellungsinformationen für die Aktivitäten "Knowledge Discovery", "Matching Policy", "Matching", "Matching" und "Reinigung" stehen nicht nur auf den Aktivitätsseiten im Datenqualitätsclient zur Verfügung, sondern auch in der Aktivitätsüberwachung. Die Aktivitätsüberwachung stellt Ihnen eine Übersicht über aktuelle und vergangene Aktivitäten bereit. Zusätzlich zu den Eigenschaften und verknüpften Berechnungsprozessen von Aktivitäten können Sie die für jede Aktivität an einem Speicherort generierten Profilerstellungsinformationen anzeigen. Sie wählen eine Aktivität in der Aktivitätstabelle aus, um Profilerstellungsergebnisse in einer Tabelle weiter unten anzuzeigen. Sie können die Profilerstellungsergebnisse auch exportieren. Weitere Informationen finden Sie unter DQS Administration.

Benachrichtigungen

Zusätzlich zum Sammeln und Anzeigen von wichtigen Statistiken und wichtiger Metrik durch die Profilerstellung generiert DQS Benachrichtigungen (wenn aktiviert), um anzugeben, wann Sie auf Grundlage der angezeigten Profilerstellungsstatistiken eine Aktion ausführen können. DQS verwendet Benachrichtigungen, um wichtige Fakten über die Datenquelle hervorzuheben und die Wirksamkeit der aktuellen Aktivität im Vergleich zum Zweck der Ausführung darzustellen. Benachrichtigungen stellen Tipps und Empfehlungen bereit, die eine Bedingung angeben und empfehlen, wie Sie eine Wissensermittlungs-, Datenbereinigungs- oder Datenabgleichsaktivität verbessern können.

Eine DQS-Benachrichtigung wird verwendet, um ein Problem auszulösen, das Sie möglicherweise interessiert, oder um ein potenzielles Problem zu behandeln. Ob Sie auf die Benachrichtigung reagieren, hängt davon ab, ob sie für Ihre Zwecke relevant ist. Nehmen Sie zum Beispiel an, dass DQS eine Benachrichtigung ausgibt, wenn die Datenbereinigung keine korrigierten Werte oder vorgeschlagenen Werte erzeugt, während Vollständigkeit und Genauigkeit beide bei 100 % sind. Diese Benachrichtigung würde angeben, dass die Aktivität möglicherweise nicht ausgeführt werden muss. Ob Sie die Aktivität ausführen, ist jedoch Ihre Entscheidung.

Eine Benachrichtigung wird durch einen QuickInfo mit einem Ausrufezeichen auf der Registerkarte "Profilerstellung " angegeben. Statistiken, die der Benachrichtigung zugeordnet sind, werden rot gefärbt, um die statistische Begründung für die Benachrichtigung anzugeben.

Sie können Benachrichtigungen auf der Registerkarte Allgemeine Einstellungen des Abschnitts Verwaltung der Data Quality-Clientstartseite aktivieren (Standard) oder deaktivieren. Wenn die Benachrichtigung deaktiviert ist, werden QuickInfos nicht angezeigt, und Statistiken werden nicht rot gefärbt. Es gibt keine signifikante Verbesserung der Leistung, indem Benachrichtigungen deaktiviert werden. Die Profilerstellung ist immer noch funktionstüchtig, wenn Sie Benachrichtigungen deaktivieren.

Spezifische Bedingungen, die Benachrichtigungen für eine Aktivität zugeordnet sind, finden Sie in den folgenden Artikeln:

Taskbeschreibung Artikel
Beschreibt, wie Benachrichtigungen in DQS aktiviert und deaktiviert werden. Aktivieren oder Deaktivieren von Profilerstellungsbenachrichtigungen in DQS