DQS (内部) ナレッジを使用したデータのクレンジング

このトピックでは、Data Quality Services (DQS) のデータ品質プロジェクトを使用してデータをクレンジングする方法について説明します。 データ クレンジングは、DQS で高品質なデータ セットに対して作成されたナレッジ ベースを使用して、ソース データに対して実行されます。 詳細については、「ナレッジ ベースの作成」を参照してください。

データ クレンジングを実行する手順は、クレンジングするデータ ソースを指定してナレッジ ベースの必要なドメインにマップするマップ ステージ、DQS によってクレンジング対象のデータにナレッジ ベースが適用され、ソース データに対する変更が提示または適用されるコンピューター支援型のクレンジング ステージ、それらのデータ変更をデータ スチュワードが分析して承認または拒否するインタラクティブなクレンジング ステージ、およびクレンジングされたデータをエクスポートできるエクスポート ステージの 4 つのステージで構成されます。 クレンジング アクティビティのウィザードでは、これらの各プロセスをそれぞれ異なるページで実行します。前後の各ページに移動したり、プロセスを再実行したり、特定のクレンジング プロセスを完了した後にそのプロセスの同じステージに戻ることも可能です。 DQS では、ソース データとクレンジング結果に関する統計情報が提供されるため、データ クレンジングに関する決定を情報に基づいて行うことができます。

このトピックの内容

• 作業を開始する準備:

  前提条件

  セキュリティ

• クレンジング データ品質プロジェクトの作成

• マップ ステージ

• コンピューター支援型のクレンジング ステージ

• インタラクティブなクレンジング ステージ

• エクスポート ステージ

• プロファイラーの統計情報

作業を開始する準備

前提条件

• クレンジング アクティビティの適切なしきい値を指定しておく必要があります。 詳細については、「クレンジングと照合のしきい値の構成」を参照してください。

• ソース データの比較およびクレンジングに使用する DQS ナレッジ ベースが Data Quality サーバー で使用可能になっている必要があります。 また、クレンジングするデータの種類に関するナレッジがナレッジ ベースに含まれている必要があります。 たとえば、米国の住所が格納されたソース データをクレンジングする場合は、米国の住所に関する "高品質な" サンプル データに対して作成されたナレッジ ベースが必要です。

• クレンジングするソース データが Excel ファイルに含まれている場合は、Data Quality クライアント コンピューターに Microsoft Excel がインストールされている必要があります。 Excel がインストールされていないと、マップ ステージで Excel ファイルを選択できません。 Microsoft Excel で作成されるファイルの拡張子は、.xlsx、.xls、または .csv です。 64 ビット バージョンの Excel を使用する場合は、Excel 2003 ファイル (.xls) のみがサポートされます。Excel 2007 または 2010 ファイル (.xlsx) はサポートされません。 64 ビット バージョンの Excel 2007 または 2010 を使用している場合は、ファイルを .xls ファイルまたは .csv ファイルとして保存するか、32 ビット バージョンの Excel をインストールしてください。

セキュリティ

権限

データ クレンジングを実行するには、DQS_MAIN データベースの dqs_kb_editor ロールまたは dqs_kb_operator ロールが必要です。

[先頭に戻る]

クレンジング データ品質プロジェクトの作成

データ クレンジング操作を実行するには、データ品質プロジェクトを使用する必要があります。 クレンジング データ品質プロジェクトを作成するには、次の手順に従います。

1. 「データ品質プロジェクトの作成」の手順 1. ～ 3. に従います。

2. 手順 3.d で、[クレンジング] アクティビティを選択します。

3. [作成] をクリックし、クレンジング データ品質プロジェクトを作成します。

クレンジング データ品質プロジェクトが作成され、クレンジング データ品質ウィザードの [マップ] ページが表示されます。

[先頭に戻る]

マップ ステージ

マップ ステージでは、クレンジング対象のソース データへの接続を指定し、ソース データの列を、選択されたナレッジ ベース内の適切なドメインにマップします。

1. クレンジング データ品質ウィザードの [マップ] ページで、クレンジングするソース データを選択します ([SQL Server] または [Excel ファイル])。

   1. [SQL Server] の場合: ソース データを DQS_STAGING_DATA にコピーしてある場合は、このデータベースをソース データベースとして選択し、ソース データを含む適切なテーブルまたはビューを選択します。 それ以外の場合は、ソース データベースと、適切なテーブルまたはビューを選択します。 ソース データベースは、Data Quality サーバー と同じ SQL Server インスタンス上に存在する必要があります。存在しない場合は、[データベース] ボックスの一覧に表示されません。

   2. [Excel ファイル] の場合: [参照] をクリックし、クレンジングするデータを含む Excel ファイルを選択します。 Excel ファイルを選択するには、Data Quality クライアント コンピューターに Microsoft Excel がインストールされている必要があります。 インストールされていない場合は、[参照] ボタンを使用できません。Microsoft Excel がインストールされていないことを通知するメッセージが、このテキスト ボックスの下に表示されます。 Excel ファイルの最初の行に見出しのデータが含まれている場合は、[先頭の行を見出しとして使用] チェック ボックスをオンのままにします。

2. [マッピング] で、ソース データのデータ列をナレッジ ベースの適切なドメインにマップします。そのためには、[ソース列] ボックスの一覧からソース列を選択し、同じ行の [ドメイン] ボックスの一覧からドメインを選択します。 この手順を繰り返して、ソース データのすべての列をナレッジ ベースの適切なドメインにマップします。 必要に応じて、[列マッピングの追加] アイコンをクリックしてマッピング テーブルに行を追加することもできます。

   注
   ソース データを DQS ドメインにマッピングし、データ クレンジングを実行できるのは、ソースのデータ型が DQS でサポートされていて、なおかつ DQS ドメインのデータ型と一致する場合だけです。 サポートされているソース データ型については、「DQS ドメインに対してサポートされる SQL Server のデータ型と SSIS のデータ型」を参照してください。

3. 選択した SQL Server のテーブルやビューのデータ、または選択した Excel ワークシートのデータを表示するには、[データ ソースのプレビュー] アイコンをクリックします。

4. ソース列にマップされている複合ドメインの一覧を表示するには、[複合ドメインの表示と選択] をクリックします。 このボタンは、ソース列に少なくとも 1 つの複合ドメインがマップされている場合にのみ使用できます。

5. [次へ] をクリックしてコンピューター支援型のクレンジング ステージ ([最適化] ページ) に進みます。

[先頭に戻る]

コンピューター支援型のクレンジング ステージ

コンピューター支援型のクレンジング ステージでは、自動化されたデータ クレンジング プロセスを実行します。このプロセスでは、ナレッジ ベース内のマップされたドメインに対してソース データが分析され、データの変更が適用または提示されます。

1. データ品質ウィザードの [最適化] ページで、[開始] をクリックしてコンピューター支援型のクレンジング プロセスを実行します。 高度なアルゴリズムと、指定したしきい値に基づく信頼レベルを使用して、選択したナレッジ ベースに対してデータが分析され、データのクレンジングが行われます。 DQS のコンピューター支援型のクレンジング プロセスの詳細については、「データ クレンジング」の「コンピューター支援型のクレンジング」を参照してください。

   重要

   データの分析が完了すると、[開始] ボタンが [再起動] ボタンに変わります。 前回の分析の結果がまだ保存されていない場合は、[再起動] をクリックすると前のデータが失われます。 分析の実行中にページを移動しないでください。ページを移動すると、分析プロセスが終了します。 クレンジング プロジェクトで使用しているナレッジ ベースがクレンジング プロジェクトの作成後に更新および発行された場合、[開始] をクリックすると、クレンジングに最新のナレッジ ベースを使用するかどうかを確認するメッセージが表示されます。 たとえば、ナレッジ ベースを使用してデータ品質プロジェクトを作成し、途中で [閉じる] をクリックしてクレンジング プロジェクトを閉じた後、再びそのデータ品質プロジェクトを開いてクレンジングを実行した場合などに、この状況になることがあります。 その場合は、クレンジング プロジェクトで使用しているナレッジ ベースがその間に更新および発行されたことになります。 クレンジング プロジェクトで使用しているナレッジ ベースが前回のコンピューター支援型のクレンジングの実行後に更新および発行された場合も、[再起動] をクリックすると、クレンジングに最新のナレッジ ベースを使用するかどうかを確認するメッセージが表示されます。 どちらの場合も、[はい] をクリックして、更新されたナレッジ ベースを使用してコンピューター支援型のクレンジングを実行します。 現在のマッピングと更新されたナレッジ ベースの間に競合がある場合は (ドメインが削除された場合、ドメインのデータ型が変更された場合など)、さらに、更新されたナレッジ ベースを使用するように現在のマッピングを修正するかどうかを確認するメッセージも表示されます。 [はい] をクリックすると、[マップ] ページに移動します。そこで、コンピューター支援型のクレンジングを続行する前にマッピングを修正できます。

2. コンピューター支援型のクレンジング ステージの実行中に [プロファイラー] タブをクリックしてプロファイラーをオンにすると、データ プロファイルと通知をリアルタイムで確認できます。 詳細については、「プロファイラーの統計情報」を参照してください。

3. 結果に満足できない場合は、[戻る] をクリックして [マップ] ページに戻り、必要に応じてマッピングを変更します。その後、[最適化] ページに戻って [再起動] をクリックします。

4. コンピューター支援型のクレンジング プロセスが完了したら、[次へ] をクリックしてインタラクティブなクレンジング ステージ ([結果の管理と表示] ページ) に進みます。

[先頭に戻る]

インタラクティブなクレンジング ステージ

インタラクティブなクレンジング ステージでは、DQS が提示した変更内容を確認し、その変更を適用するかどうかを判断できます。適用する場合は変更を承認し、適用しない場合は拒否します。 [結果の管理と表示] ページの左側のペインに、マップ ステージでマップしたすべてのドメインの一覧と、コンピューター支援型のクレンジング ステージで各ドメインに対して分析されたソース データの値の数が表示されます。 [結果の管理と表示] ページの右側のペインでは、ドメイン ルールへの準拠、構文エラー規則、および高度なアルゴリズムに基づいて、データが信頼レベルを使用して 5 つのタブに分類されます。 信頼レベルは、DQS の修正または提案に対する確実性の度合いを示すもので、以下のしきい値に基づいています。

• 自動修正しきい値: 信頼レベルがこのしきい値を超える値は DQS によって自動的に修正されます。 ただし、データ スチュワードは、インタラクティブなクレンジング中に変更をオーバーライドできます。 自動修正しきい値は、[構成] 画面の [全般設定] タブで指定できます。 詳細については、「クレンジングと照合のしきい値の構成」を参照してください。

• 自動提案しきい値: 信頼レベルがこのしきい値を超える一方で自動修正しきい値を下回る値は、置換値として提示されます。 DQS では、データ スチュワードによって承認された場合にのみ、その変更が適用されます。 自動提案しきい値は、[構成] 画面の [全般設定] タブで指定できます。 詳細については、「クレンジングと照合のしきい値の構成」を参照してください。

• その他: 自動提案しきい値を下回る値に対しては、DQS による変更は行われません。

値は、信頼レベルに基づいて次の 5 つのタブに表示されます。

インタラクティブなデータ クレンジングを実行するには、次の手順に従います。

1. クレンジング データ品質ウィザードの [結果の管理と表示] ページの左ペインで、ドメイン名をクリックします。

2. 5 つのタブのドメイン値を確認し、上の説明に従って適切に処理します。

   • 右上のペインには、選択したドメインの各値に関する情報が表示されます。表示される情報は、元の値、インスタンス (レコード) の数、別の (適切な) 値を指定するためのボックス、信頼レベル ([適切] タブの値に対しては表示されません)、その値に対して実行された DQS のアクションの理由、およびその値に対する修正と提案を承認および拒否するためのオプションです。

     ヒント
     選択したドメインのすべての値を承認または拒否するには、右上のペインで [すべての用語を承認します] または [すべての用語を拒否します] をクリックします。 または、選択したドメインの任意の値を右クリックし、ショートカット メニューの [すべてを承認] または [すべてを拒否] をクリックします。

   • 下のペインには、右上のペインで選択したドメイン値の個々のインスタンスが表示されます。 表示される情報は、別の (適切な) 値を指定するためのボックス、信頼レベル ([適切] タブの値に対しては表示されません)、その値に対して実行された DQS のアクションの理由、その値に対する修正と提案を承認および拒否するためのオプション、および元の値です。

3. ドメインの作成時にスペル チェック機能を有効にした場合は、エラーの可能性があることが検出されたドメイン値の下に赤い波線が表示されます。 この下線は値全体に表示されます。 たとえば、"New York" のスペルが誤って "Neu York" になっている場合、"Neu" だけでなく "Neu York" 全体に赤い下線が表示されます。 値を右クリックすると、修正案が表示されます。 修正案が 6 つ以上ある場合は、ショートカット メニューの [詳しいヒント] をクリックすると、残りの修正案が表示されます。 エラーの表示と同様に、修正案も値全体が対象になります。 たとえば、前の例では、"New" ではなく "New York" が修正案として表示されます。 いずれかの修正案を選択したり、元の値に対して表示されるように値を辞書に追加したりできます。 値は、ユーザー アカウント レベルの辞書に格納されます。 スペル チェックのショートカット メニューから修正案を選択すると、選択した修正案が [次に修正] 列に追加されます。 ただし、[次に修正] 列で修正案を選択すると、列の値が選択した修正案に置き換えられます。

   インタラクティブなクレンジング ステージでは、スペル チェック機能が既定で有効になります。 インタラクティブなクレンジング ステージでスペル チェックを無効にするには、[スペル チェックを有効/無効にします] アイコンをクリックするか、ドメイン値の領域を右クリックし、ショートカット メニューの [スペル チェック] をクリックします。 再び有効にする場合は、同じ操作を行います。

   注
   スペル チェック機能は、上のペイン (ドメイン値) でのみ使用できます。 また、複合ドメインに対してスペル チェックの有効/無効を切り替えることはできません。 複合ドメインに文字列型の子ドメインが含まれていて、スペル チェック機能が有効になっている場合は、インタラクティブなクレンジング ステージでもスペル チェックが既定で有効になります。

4. インタラクティブなクレンジング ステージの実行中に [プロファイラー] タブをクリックしてプロファイラーをオンにすると、データ プロファイルと通知をリアルタイムで確認できます。 詳細については、「プロファイラーの統計情報」を参照してください。

5. すべてのドメイン値の確認が完了したら、[次へ] をクリックしてエクスポート ステージに進みます。

[先頭に戻る]

エクスポート ステージ

エクスポート ステージでは、クレンジングされたデータをエクスポートするためのパラメーター (エクスポートする内容とエクスポート先) を指定します。

1. クレンジング データ品質ウィザードの [エクスポート] ページで、クレンジングされたデータのエクスポート先の種類を選択します ([SQL Server]、[CSV ファイル]、または [Excel ファイル])。

   重要
   Excel の 64 ビット版を使用している場合、クレンジングされたデータは Excel ファイルにエクスポートできません。SQL Server データベースまたは .csv ファイルにのみエクスポートできます。

   1. [SQL Server] の場合: データを DQS_STAGING_DATA にエクスポートする場合は、このデータベースをエクスポート先データベースとして選択し、エクスポートされたデータを格納するために作成するテーブルの名前を指定します。 データを別のデータベースにエクスポートする場合は、そのデータベースを選択し、エクスポートされたデータを格納するために作成するテーブルの名前を指定します。 エクスポート先データベースは、Data Quality サーバー と同じ SQL Server インスタンス上に存在する必要があります。存在しない場合は、[データベース] ボックスの一覧に表示されません。

   2. [CSV ファイル] の場合: [参照] をクリックし、クレンジングされたデータをエクスポートする .csv ファイルの名前と場所を指定します。 クレンジングされたデータをエクスポートする場所の完全なパスと .csv ファイルのファイル名を入力することもできます。 たとえば、「c:\ExportedData.csv」と入力します。 ファイルは、Data Quality サーバー がインストールされているコンピューターに保存されます。

   3. [Excel ファイル] の場合: [参照] をクリックし、クレンジングされたデータをエクスポートする Excel ファイルの名前と場所を指定します。 クレンジングされたデータをエクスポートする場所の完全なパスと Excel ファイルのファイル名を入力することもできます。 たとえば、「c:\ExportedData.xlsx」と入力します。 ファイルは、Data Quality サーバー がインストールされているコンピューターに保存されます。

2. ドメインに対して選択されている出力形式に基づいて出力を標準化するには、[出力の標準化] チェック ボックスをオンにします。 たとえば、文字列値を大文字に変更したり、単語の最初の文字を大文字にしたりすることができます。 ドメインの出力形式の指定については、「ドメインのプロパティの設定」の「形式の出力先」を参照してください。

3. 次に、データの出力を選択します。クレンジングされたデータのみをエクスポートするか、クレンジングされたデータとクレンジング情報をエクスポートするかを選択します。

   • [データのみ]: クレンジングされたデータのみをエクスポートする場合は、このオプション ボタンをクリックします。

   • [データとクレンジング情報]: 各ドメインについて次のデータをエクスポートする場合は、このオプション ボタンをクリックします。

     • <Domain>_Source: ドメインの元の値。

     • <Domain>_Output: ドメインのクレンジングされた値。

     • <Domain>_Reason: 値の修正に対して指定された理由。

     • <Domain>_Confidence: 修正されたすべての用語の信頼レベル。 信頼度は、パーセント値に対応する 10 進数値として表示されます。 たとえば、95% の信頼度は .9500000 として表示されます。

     • <Domain>_Status: データ クレンジングした後のドメイン値の状態 (例: "提案"、"新規"、"無効"、"修正済み"、"適切")。

     • [レコードの状態]: マップされたドメインごとの状態フィールド (<DomainName>_Status) とは別に、[レコードの状態] フィールドにはレコードの状態が表示されます。 レコード内のいずれかのドメインの状態が "新規" または "適切" の場合、[レコードの状態] は "適切" に設定されます。 レコード内のいずれかのドメインの状態が "提案"、"無効"、または "修正済み" の場合、[レコードの状態] はそれぞれの値に設定されます。 たとえば、レコード内のいずれかのドメインの状態が "提案" の場合、[レコードの状態] は "提案" に設定されます。

       注
       クレンジング操作に参照データ サービスを使用する場合は、ドメイン値についてエクスポートできるデータがほかにもあります。 詳細については、「参照データ (外部) のナレッジを使用したデータのクレンジング」を参照してください。

4. [エクスポート] をクリックして、選択したデータのエクスポート先にデータをエクスポートします。 次に例を示します。

   • [SQL Server] をデータのエクスポート先として選択した場合、選択したデータベースに指定した名前の新しいテーブルが作成されます。

   • [CSV ファイル] をデータのエクスポート先として選択した場合、[CSV ファイル名] ボックスに指定したファイル名を持つ .csv ファイルが Data Quality サーバー コンピューター上に作成されます。

   • [Excel ファイル] をデータのエクスポート先として選択した場合、[Excel ファイル名] ボックスに指定したファイル名を持つ Excel ファイルが Data Quality サーバー コンピューター上に作成されます。

5. [完了] をクリックしてデータ品質プロジェクトを閉じます。

[先頭に戻る]

プロファイラーの統計情報

[プロファイラー] タブには、ソース データの品質を示す統計情報が表示されます。 データ クレンジング アクティビティの有効性を評価したり、データ クレンジングによりデータ品質がどの程度向上したかを計測したりするのに、プロファイリングが役立ちます。

[プロファイラー] タブには、ソース データの以下の統計情報がフィールド別およびドメイン別に表示されます。

• レコード: データ クレンジング アクティビティのために分析されたデータ サンプルのレコードの数

• 適正なレコード: 適切であることが判明したレコードの数

• 修正されたレコード: 修正されたレコードの数

• 提示されたレコード: 提示されたレコードの数

• 無効なレコード: 無効だったレコードの数

フィールドの統計情報には、次の情報が含まれます。

• フィールド: ソース データのフィールドの名前

• ドメイン: フィールドにマップされるドメインの名前

• 修正された値: 修正されたドメイン値の数

• 提案された値: 提案されたドメイン値の数

• 完全: クレンジング アクティビティのためにマップされた各ソース フィールドの完全性

• 精度: クレンジング アクティビティのためにマップされた各ソース フィールドの精度

DQS プロファイルでは、完全性 (データがどの程度存在するか) と精度 (データがどの程度意図されたとおりに使用できるか) の 2 つのデータ品質ディメンションを提供します。 プロファイリングの結果、比較的不完全であることがわかったフィールドは、データ品質プロジェクトのナレッジ ベースから削除することができます。 複合ドメインでは、プロファイリングから得られる完全性の統計情報を必ずしも信頼できません。 完全性の統計情報が必要な場合は、複合ドメインの代わりに単一ドメインを使用します。 複合ドメインを使用する必要がある場合は、プロファイリング用に単一ドメインのナレッジ ベースを作成して完全性を確認し、クレンジング プロセス用に複合ドメインのドメインを別途作成します。 たとえば、複合ドメインを使用したプロファイリングで住所レコードの完全性が 95% と示されたとしても、それよりはるかに不完全な列 (郵便番号の列など) がレコードに含まれている可能性があります。 この例では、単一ドメインを使用して郵便番号の列の完全性を測定することができます。 精度は複数の列でまとめて測定できるため、プロファイリングから得られる複合ドメインの精度の統計情報は信頼できます。 このデータの値は合成集約に含まれるため、複合ドメインで精度を測定できます。

参照データ サービスを使用しない場合は、精度の統計情報でより多くの解釈が必要になります。 データ クレンジングに参照データ サービスを使用すると、精度の統計情報をある程度信頼できるようになります。 参照データ サービスを使用したデータ クレンジングの詳細については、「参照データ (外部) のナレッジを使用したデータのクレンジング」を参照してください。

クレンジングの通知

以下の状況で通知が生成されます。

• フィールドに関する修正または提案がない場合。 そのフィールドをマッピングから削除するか、先にナレッジ検出を実行するか、別のナレッジ ベースを使用することができます。

• フィールドに関する修正または提案がほとんどない場合。 そのフィールドをマッピングから削除するか、先にナレッジ検出を実行するか、別のナレッジ ベースを使用することができます。

• フィールドの精度レベルが非常に低い場合。 マッピングを確認するか、先にナレッジ検出を実行することを検討できます。

プロファイリングの詳細については、「DQS でのデータ プロファイルと通知」を参照してください。

[先頭に戻る]