Очистка данных с использованием набора знаний служб DQS (внутренних)

В этом разделе описывается очистка данных с использованием проекта служб DQS в Службы Data Quality Services (DQS). Очистка данных выполняется для исходных данных с использованием базы знаний, построенной в DQS по набору высококачественных данных. Дополнительные сведения см. в разделе Построение базы знаний.

Очистка данных выполняется в четыре этапа: этап сопоставления, когда идентифицируется источник данных, подлежащих очистке, и сопоставляется с требуемыми доменами в базе знаний; этап автоматизированной очистки, когда службы DQS применяют базу знаний к данным, подлежащим очистке, а также предлагаются и вносятся изменения в исходные данные; этап интерактивной очистки, когда диспетчеры данных могут анализировать изменения данных, а также принимать/отклонять эти изменения данных; наконец, этап экспорта, на котором очищенные данные экспортируются. Каждый из этих процессов выполняется на отдельной странице мастера действия очистки, что позволяет переходить вперед и назад по различным страницам, повторно запускать процесс и завершать конкретный процесс очистки, а затем возвращаться к одному и тому же этапу процесса. Службы DQS предоставляют статистические сведения об исходных данных и результаты очистки, что позволяет принимать информированные решения по отношению к очистке данных.

В этом разделе

• Перед началом работы выполните следующие действия.

  Предварительные требования

  Безопасность

• Создание проекта качества очистки данных

• Стадия сопоставления

• Этап автоматизированной очистки

• Этап интерактивной очистки

• Этап экспорта

• Статистические данные профилировщика

Перед началом работы

Предварительные требования

• Для осуществления действия очистки необходимо задать соответствующие пороговые значения. Дополнительные сведения об этой процедуре см. в разделе Настройка пороговых значений для очистки и сопоставления.

• Должна быть доступна база знаний DQS на Сервер DQS, для которой необходимо произвести сравнение и очистку исходных данных. Кроме того, база знаний должна содержать набор знаний о типе данных, которые требуется очистить. Например, если требуется очистить исходные данные, содержащие адреса в США, необходимо иметь базу знаний, которая была создана по «высококачественному» образцу данных с адресами в США.

• На компьютере Клиент Data Quality должна быть установлена программа Microsoft Excel, если исходные данные, подлежащие очистке, находятся в файле Excel. В противном случае на стадии сопоставления невозможно будет выбрать файл Excel. Файлы, созданные Microsoft Excel, могут иметь расширение XLSX, XLS или CSV. При использовании 64-разрядной версии Excel поддерживаются только файлы Excel 2003 (.xls), файлы Excel 2007 и 2010 (.xlsx) не поддерживаются. При использовании 64-разрядной версии Excel 2007 или 2010 сохраните файл как XLS- или CSV-файл либо вместо этого установите 32-разрядную версию Excel.

Безопасность

Разрешения

Для выполнения очистки данных необходимо иметь роль dqs_kb_editor или dqs_kb_operator в базе данных DQS_MAIN.

[В начало]

Создание проекта качества очистки данных

Для выполнения операции очистки данных необходимо использовать проект служб DQS. Создание проекта качества очистки данных

1. Выполните шаги 1–3 в разделе Создание проекта служб DQS.

2. В шаге 3.d выберите действие Очистка.

3. Щелкните Создать, чтобы создать проект служб DQS.

В результате создается проект служб DQS и открывается страница Сопоставление мастера служб DQS.

[В начало]

Стадия сопоставления

На стадии сопоставления задается соединение с источником данных, подлежащих очистке, и столбцы в исходных данных сопоставляются с соответствующими доменами в выбранной базе знаний.

1. На странице Сопоставление мастера служб DQS выберите исходные данные, подлежащие очистке: SQL Server или Файл Excel:

   1. SQL Server: Выберите DQS_STAGING_DATA в качестве базы данных-источника, если вы скопировали исходные данные в эту базу данных, а затем выберите соответствующую таблицу или представление, которая содержит исходные данные. В противном случае выберите свою базу данных-источник и соответствующую таблицу или представление. Эта база данных-источник должна присутствовать в том же экземпляре SQL Server, что и Сервер DQS, так как в противном случае она не будет доступна в раскрывающемся списке База данных.

   2. Файл Excel: Щелкните Обзор и выберите файл Excel, который содержит данные, подлежащие очистке. На компьютере Клиент Data Quality должна быть установлена программа Microsoft Excel, чтобы выбрать файл Excel. В противном случае кнопка «Обзор» будет недоступна, и под текстовым полем появится уведомление о том, что не установлен Microsoft Excel. Кроме того, оставьте выбранным флажок Использовать первую строку как верхний колонтитул, если первая строка файла Excel содержит данные верхнего колонтитула.

2. В области Сопоставления сопоставьте столбцы данных из исходных данных с соответствующими доменами в базе знаний, выбирая исходный столбец из раскрывающегося списка в столбце Исходный столбец, а затем выбирая домен из раскрывающегося списка в столбце Домен в той же строке. Повторяйте этот шаг для сопоставления всех столбцов в исходных данных с соответствующими доменами в базе знаний. При необходимости вы можете щелкнуть значок Добавить сопоставление столбцов, чтобы добавить строки в таблицу сопоставления.

   Примечание
   Сопоставление исходных данных с доменом служб DQS для проведения очистки данных возможно, только если исходный тип данных поддерживается службами DQS и совпадает с типом данных домена DQS. Дополнительные сведения о поддерживаемых исходных типах данных см. в разделе Типы данных SQL Server и службы SSIS, поддерживаемые для доменов DQS.

3. Щелкните значок Предварительный просмотр источника данных для просмотра данных в выбранной таблице или представлении SQL Server либо в выбранном листе Excel.

4. Щелкните Просмотр/выбор составных доменов для просмотра списка составных доменов, сопоставленных с исходным столбцом. Эта кнопка доступна, только если имеется по крайней мере один составной домен, сопоставленный с исходным столбцом.

5. Нажмите кнопку Далее, чтобы перейти к компьютерной стадии очистки (страница Очистить).

[В начало]

Этап автоматизированной очистки

В компьютерной стадии очистки запускается автоматизированный процесс очистки данных, в котором исходные данные анализируются по сопоставленным доменам в базе знаний, а также выполняются и предлагаются изменения в данных.

1. На странице Очистка мастера качества данных нажмите кнопку Пуск, чтобы запустить процесс автоматизированной очистки. Службы DQS используют мощные алгоритмы и степени достоверности на основе пороговых уровней, позволяющие анализировать данные по выбранной базе знаний и затем выполнять очистку. Подробные сведения о том, как происходит автоматизированная очистка в службах DQS, см. в подразделе Автоматизированная очистка раздела Очистка данных.

   Важно!

   После завершения анализа данных кнопка Пуск заменяется кнопкой Перезапуск. Если результаты предыдущего анализа еще не были сохранены, то после нажатия кнопки Перезапустить происходит потеря ранее полученных данных. Во время выполнения анализа не уходите с этой страницы, поскольку процесс анализа будет прекращен. Если база знаний, используемая для проекта очистки, обновлена и опубликована после того, как был создан проект очистки, то нажатие кнопки Пуск приводит к выводу приглашения, в котором нужно указать, следует ли использовать новейшую базу знаний для очистки. Такая ситуация может, как правило, возникнуть, если проект служб DQS создан с использованием базы знаний, после этого закрыт проект очистки с помощью кнопки Закрыть, затем проект служб DQS открыт повторно в последующий момент времени для выполнения очистки. Тем временем база знаний, используемая в проекте очистки, была обновлена и опубликована. Аналогичным образом, если база знаний, используемая для проекта очистки, обновлена и опубликована после того, как в последний раз была выполнена компьютерная очистка, то нажатие кнопки Перезапуск приводит к выводу приглашения, в котором следует указать, должна ли использоваться для очистки новейшая база знаний. В обоих случаях выберите Да, чтобы использовать обновленную базу знаний для автоматизированной очистки. Кроме того, если имеются какие-либо конфликты между текущими сопоставлениями и обновленной базы знаний (например, удаление доменов или изменения типа данных домена), в этом сообщении также будет приглашение, в котором нужно указать, следует ли исправить текущие сопоставления для использования обновленной базы знаний. Нажатие кнопки Да приводит к переходу на страницу Сопоставление, на которой вы можете исправить сопоставления, прежде чем продолжить автоматизированную очистку.

2. На этапе автоматизированной очистки вы можете включить профилировщик, щелкнув вкладку «Профилировщик» для просмотра данных профилирования и уведомлений в реальном времени. Дополнительные сведения см. в разделе Статистические данные профилировщика.

3. Если вы не удовлетворены результатами, нажмите кнопку Назад, чтобы вернуться к странице Сопоставление, измените необходимые сопоставления, возвратитесь к странице Очистить и нажмите кнопку Перезапустить.

4. После завершения процесса автоматизированной очистки нажмите кнопку Далее, чтобы перейти к этапу интерактивной очистки (страница Управление и просмотр результатов).

[В начало]

Этап интерактивной очистки

На этапе интерактивной очистки вы можете просматривать изменения, предлагаемые службами DQS, и принимать решения о том, вносить их или нет, утверждая или отклоняя изменения. На левой панели страницы Управление результатами и просмотр результатов служб DQS отображается список всех доменов, которые были ранее на этапе сопоставления, наряду с количеством значений в исходных данных, проанализированных по отношению к каждому домену на этапе автоматизированной очистки. В правой панели страницы Управление результатами и просмотр результатов службы DQS проводят разбиение данных по категориям на пяти вкладках с использованием степени достоверности, учитывая соблюдение правил домена, правил определения синтаксических ошибок, на основе развитых алгоритмов. Степень достоверности указывает, какова величина достоверности в службах DQS в отношении исправления или подсказки. Этот показатель основывается на следующих пороговых значениях:

• Пороговое значение для автоматического исправления. Любое значение, уровень достоверности которого выше данного порогового значения, автоматически исправляется службами DQS. Тем не менее диспетчер данных может переопределить это изменение во время интерактивной очистки. Пороговое значение автоматического исправления вы можете задать на вкладке Общие параметры экрана Конфигурация. Дополнительные сведения см. в разделе Настройка пороговых значений для очистки и сопоставления.

• Пороговое значение для автоматической подсказки. Любое значение, уровень достоверности которого превышает данное пороговое значение, но находится ниже порогового значения автоматического исправления, автоматически предлагается в качестве заменяющего значения. Службы DQS внесут это изменение, как только диспетчер данных его утвердит. Пороговое значение автоматической рекомендации вы можете задать на вкладке Общие параметры экрана Конфигурация. Дополнительные сведения см. в разделе Настройка пороговых значений для очистки и сопоставления.

• Другое значение. Службы DQS оставляют неизменным любое значение ниже порогового значения автоматической подсказки.

В зависимости от уровня достоверности и описанных выше пороговых значений, значения отображаются на следующих пяти вкладках.

Очистка данных в интерактивном режиме:

1. На странице Управление и просмотр результатов мастера качества очистки данных щелкните имя домена в левой панели.

2. Просмотрите значения домена на пяти вкладках и предпримите соответствующее действие, как было описано выше.

   • В правой верхней панели отображаются следующие сведения для каждого значения в выбранном домене: исходное значение; количество экземпляров (записей); поле для указания другого (правильного) значения; уровень достоверности (не доступна для значений на вкладке Правильное); причина выполнения действия служб DQS применительно к значению; а также параметр для утверждения и отклонения исправлений и подсказок для значения.

     Совет
     Вы можете утвердить или отклонить все значения в выбранном домене в правой верхней панели, щелкнув значок Утвердить все термины или Отклонить все термины соответственно. Еще один вариант состоит в том, что вы можете щелкнуть правой кнопкой мыши значение в выбранном домене, затем щелкнуть Утвердить все или Отклонить все в контекстном меню.

   • В нижней панели отображаются отдельные вхождения значения домена, выбранного в правой верхней панели. Доступна следующая информация: поле для указания другого (правильного) значения; уровень достоверности (не доступно для значений на вкладке Правильное); причина выполнения действия DQS применительно к значению; параметр для утверждения и отклонения исправлений и подсказок для значения; а также исходное значение.

3. Если для домена во время его создания включена функция Средство проверки орфографии, то каждое значение домена, которое идентифицируется как потенциально ошибочное, подчеркивается волнистой красной линией. Подчеркиванием обозначается все значение. Например, если словосочетание «New York» будет неправильно записано как «Neu York», то средство проверки орфографии подчеркнет красной линией «Neu York», а не только «Neu». Если щелкнуть значения правой кнопкой мыши, будут показаны предложенные исправления. Если количество подсказок больше 5, вы можете щелкнуть Больше подсказок в контекстном меню, чтобы просмотреть остальные подсказки. Как и в случае отображения ошибок, подсказки служат для замены целого значения. В частности, в предыдущем примере в качестве подсказки будет показано «New York», а не только «New». Вы можете выбрать одну из подсказок или добавить значение к словарю, который будет отображаться для этого значения. Значения хранятся в словаре на уровне учетной записи пользователя. После выбора подсказки из контекстного меню средства проверки орфографии выбранная подсказка добавляется к столбцу Исправить на. Но при выборе подсказки в столбце Исправить на значение в столбце заменяется в соответствии с выбранной подсказкой.

   Функция средства проверки орфографии включается по умолчанию на стадии интерактивной очистки. Вы можете отключить средство проверки орфографии на стадии интерактивной очистки, щелкнув значок Включить/отключить средство проверки орфографии. Кроме того, можно щелкнуть правой кнопкой мыши в области значений домена, затем Средство проверки орфографии в контекстном меню. Чтобы включить его снова, сделайте то же самое.

   Примечание

   Функция средства проверки орфографии доступна только в верхней панели (значения домена). Кроме того, нельзя включить или отключить средство проверки орфографии для составных доменов. Для дочерних доменов в составном домене, имеющих тип строки и включенных для функции средства проверки орфографии, функциональные возможности средства проверки орфографии включаются на стадии интерактивной очистки по умолчанию.

4. На этапе интерактивной очистки вы можете включить профилировщик для просмотра в реальном времени данных профилирования и уведомлений, щелкнув вкладку Профилировщик. Дополнительные сведения см. в разделе Статистические данные профилировщика.

5. После просмотра всех значений домена щелкните Далее, чтобы перейти к этапу экспорта.

[В начало]

Этап экспорта

На этапе экспорта можно задать параметры для экспорта очищенных данных: что и куда экспортировать.

1. На странице Экспорт мастера качества очистки данных выберите целевой тип для экспорта очищенных данных: SQL Server, CSV-файл или Файл Excel.

   Важно!
   Если используется 64-разрядная версия Excel, то нельзя экспортировать очищенные данные в файл Excel. Можно экспортировать данные только в базу данных SQL Server или в CSV-файл.

   1. SQL Server: Выберите DQS_STAGING_DATA в качестве целевой базы данных, если необходимо экспортировать данные в эту базу данных, затем укажите имя таблицы, которая должна быть создана для сохранения экспортированных данных. В противном случае выберите другую базу данных, если необходимо экспортировать данные в отличную от нее базу данных, затем укажите имя таблицы, которая должна быть создана для сохранения экспортированных данных. Целевая база данных должна присутствовать в том же экземпляре SQL Server, что и Сервер DQS, чтобы быть доступной в раскрывающемся списке База данных.

   2. CSV-файл: Нажмите кнопку Обзор и укажите имя и местоположение CSV-файла, в который необходимо экспортировать очищенные данные. Вы можете также ввести имя CSV-файла наряду с указанием полного пути, по которому необходимо экспортировать очищенные данные. Например, «c:\ExportedData.csv». Файл сохраняется на компьютере, на котором установлен Сервер DQS.

   3. Файл Excel: Нажмите кнопку Обзор и укажите имя и расположение файла Excel, куда необходимо экспортировать очищенные данные. Вы можете также ввести имя файла Excel наряду с указанием полного пути, по которому необходимо экспортировать очищенные данные. Например, «c:\ExportedData.xlsx». Файл сохраняется на компьютере, на котором установлен Сервер DQS.

2. Выберите флажок Стандартизировать вывод, чтобы стандартизировать вывод на основе выходного формата, выбранного для домена. Например, можно перевести строковое значение в верхний регистр или преобразовать в прописную первую букву слова. Для получения сведений об определении выходного формата домена см. список Формат вывода в в Установка свойств домена.

3. Далее выберите выходные данные: экспортировать только очищенные данные или экспортировать очищенные данные наряду с информацией очистки.

   • Только данные: Щелкните переключатель, чтобы экспортировать только очищенные данные.

   • Информация по данным и очистке: Щелкните переключатель, чтобы экспортировать следующие данные для каждого домена:

     • <Domain>_Source: Исходное значение в домене.

     • <Domain>_Output: Очищенные значения в домене.

     • <Domain>_Reason: Указанная причина исправления значения.

     • <Domain>_Confidence: Уровень достоверности для всех терминов, которые были исправлены. Она отображается в виде десятичного значения, эквивалентного соответствующим процентным значениям. Например, степень достоверности 95 % отображается как 0,9500000.

     • <Domain>_Status: Состояние значения домена после очистки данных. В качестве примера можно назвать Предложенное, Новое, Недействительное, Исправленное или Правильное.

     • Состояние записи: Помимо поля состояния для каждого сопоставленного домена (<DomainName>_Status), поле Состояние записи отображает состояние для записи. Если состояние домена в записи Новый или Правильный, Состояние записи устанавливается в значение Правильный. Если состояние домена в записи Предложенный, Недопустимый или Исправленный, Состояние записи устанавливается в соответствующее значение. Например, если состояние домена в записи имеет значение Предложенный, Состоянию записи присваивается значение Предложенный.

       Примечание
       Если для операции очистки используется служба эталонных данных, то для экспорта доступны также некоторые дополнительные данные о значении домена. Дополнительные сведения см. в разделе Очистка данных с использованием знаний о справочных данных (внешних знаний).

4. Щелкните Экспорт, чтобы экспортировать данные в выбранное место назначения. Если выбран вариант:

   • SQL Server — в выбранной базе данных будет создана новая таблица с указанным именем;

   • CSV-файл в качестве назначения данных, то CSV-файл будет создан в этом расположении на компьютере Сервер DQS с именем файла, указанном ранее в поле Имя CSV-файла.

   • Файл Excel в качестве назначения данных, файл Excel будет создан в этом расположении на компьютере Сервер DQS с именем файла, указанном ранее в поле Имя файла Excel.

5. Щелкните Готово, чтобы закрыть проект служб DQS.

[В начало]

Статистические данные профилировщика

На вкладке Профилировщик представлены статистические данные, которые указывают качество исходных данных. Профилирование позволяет оценить эффективность действия по очистке данных и с его помощью можно определить, в какой степени очистка данных способствовала улучшению качества данных.

На вкладке Профилировщик предоставлены следующие статистические данные для исходных данных, по полю и домену:

• Записи. Сколько записей в образце данных было проанализировано для действия по очистке данных.

• Правильные записи. Сколько найденных записей оказалось правильными.

• Исправленные записи. Сколько записей было исправлено.

• Предложенные записи. Сколько записей было предложено.

• Недействительные записи. Сколько записей оказалось недействительными.

Статистические данные поля включают следующее:

• Поле. Имя поля в исходных данных.

• Домен. Имя домена, который сопоставляется с полем.

• Исправленные значения. Количество значений домена, которые были исправлены.

• Предложенные значения. Количество значений домена, которые были предложены.

• Полнота. Полнота каждого исходного поля, которое сопоставлено для действия очистки.

• Точность. Точность каждого исходного поля, которое сопоставлено для действия очистки.

Профилирование DQS предоставляет два измерения качества данных: полнота (степень, в которой представлены данные) и точность (степень, в которой данные могут использоваться по намеченному назначению). Если профилирование указывает, что поле является относительно неполным, то может потребоваться удалить его из базы знаний проекта служб DQS. Профилирование может не предоставлять надежных статистических данных по полноте для составных доменов. Если требуются статистические данные по полноте, используйте одиночные домены вместо составных. Если необходимо использовать составные домены, то, возможно, потребуется создать одну базу знаний с одиночными доменами для профилирования в целях определения полноты и другой домен с составным доменом для процесса очистки. Например, профилирование может показать полноту 95% для записей адреса в составном домене, но для одного из столбцов (например, столбца почтового индекса) уровень неполноты может оказаться гораздо больше. В этом примере может потребоваться измерить полноту столбца почтового индекса с помощью одиночного домена. Профилирование с большей вероятностью вы можете предоставить надежные статистические данные по точности для составных доменов, поскольку позволяет измерить точность для нескольких столбцов вместе. Значение этих данных находится в составном агрегате, поэтому может потребоваться измерить точность с помощью составного домена.

Статистические данные по точности, вероятно, потребуют дополнительной интерпретации, если не используется служба справочных данных. Если для очистки данных используется служба справочных данных, то достигается определенный уровень доверия к статистическим данным по точности. Дополнительные сведения об очистке данных с использованием службы справочных данных см. в разделе Очистка данных с использованием знаний о справочных данных (внешних знаний).

Уведомления об очистке

К появлению уведомлений приводят следующие условия:

• Для поля отсутствуют исправления или подсказки. Может потребоваться удалить его из сопоставления, вначале запустить обнаружение знаний или применить другую базу знаний.

• Количество исправлений или подсказок для поля относительно невелико. Может потребоваться удалить его из сопоставления, вначале запустить обнаружение знаний или применить другую базу знаний.

• Уровень точности поля является очень низким. Может потребоваться проверить сопоставление или рассмотреть возможность сначала выполнить обнаружение знаний.

Дополнительные сведения о профилировании см. в разделе Профилирование данных и уведомления в DQS.

[В начало]