Службы эталонных данных в DQS

Эталонными данными называется точный и полный набор взаимосвязанных или категорированных глобальных данных (выходящих за пределы предприятия), доступных в доверенных общедоступных доменах или у поставщиков дополнительного коммерческого содержания.

Служба эталонных данных в службах Data Quality Services (DQS) позволяет подписываться на сторонних поставщиков эталонных данных, а также легко очищать и обогащать бизнес-данные, проверяя их на соответствие их высококачественным данным. С помощью служб, предоставляемых ведущими поставщиками, из DQS вы можете выполнять стандартизацию, исправление и дополнение данных в процессе очистки. Например, для проверки адресов клиентов вы можете использовать список телефонных кодов или почтовых индексов относительно эталонных данных.

Функция службы эталонных данных предоставляет следующие преимущества.

• Эталонные данные позволяют обеспечить качество данных путем сравнения их с данными, качество которых гарантируется сторонней компанией.

• Процесс эталонных данных встроен в процесс создания базы знаний DQS и проекта служб DQS и позволяет создать комплексный процесс служб DQS.

• Поддерживает использование эталонных данных из Azure Marketplace а также непосредственно от сторонних поставщиков эталонных данных.

Использование эталонных данных из Azure Marketplace

DQS поддерживает использование эталонных данных из Azure Marketplace, чтобы поставщики содержимого могли предоставлять службы эталонных данных через Marketplace. Marketplace — это служба Microsoft, которая предоставляет отдельный рынок и канал доставки для высококачественных данных и приложений в виде облачных служб. Дополнительные сведения о Marketplace см. в статье Сведения о Azure Marketplace.

Органичная интеграция между Marketplace и DQS упрощает шаги, связанные с обнаружением, исследованием и получением информации для проектов служб DQS из среды служб DQS. Данные из DQS обрабатываются, что помогает пользователям DQS обеспечивать высокое качество данных за счет нового подхода — использования DQS, Marketplace и поставщиков служб ссылочных данных вместе друг с другом.

Чтобы использовать эталонные данные из Marketplace в DQS для очистки, требуется наличие ключа учетной записи Marketplace. Ключ учетной записи Marketplace создается бесплатно. Платить нужно только за подписку на платные наборы данных. Сама подписка является бесплатной, также не требуется платить за использование бесплатных наборов данных. Подробные сведения о создании ключа учетной записи Marketplace см. в статье Создание учетной записи (https://go.microsoft.com/fwlink/?LinkId=212936).

Кроме того, в рамках DQS вы можете выполнить следующие операции Marketplace:

• Просмотр наборов данных в Marketplace.

• Создание ключа учетной записи Marketplace.

• Управление подробными сведениями учетной записи Marketplace, например ключами учетной записи и подпиской на услуги поставщиков данных.

Эти действия можно выполнить на вкладке Эталонные данные на экране Конфигурация в Data Quality Client.

Использование эталонных данных, получаемых непосредственно от сторонних поставщиков эталонных данных

Если отсутствует подключение к Интернету и, следовательно, использовать Marketplace невозможно, DQS также поддерживает прямое соединение с поставщиками данных, доступ к которым возможен в сети организации. Чтобы использовать эталонные данные от сторонних поставщиков эталонных данных, получаемых в результате прямого подключения, необходимо создать запись для поставщиков данных в DQS.

Как очистить данные с помощью эталонных данных

Очистка данных в DQS с использованием ссылочных данных включает в себя следующие три шага.

1. Настройка сведения о поставщиках ссылочных данных в DQS.Перед тем как использовать ссылочные данные в DQS, необходимо настроить подробные сведения о службах ссылочных данных в DQS.

   1. Если используется Marketplace, потребуется действующий ключ учетной записи Marketplace. Перейдите к категории данных Службы Data Quality Services в Marketplace и подпишитесь на службы необходимых поставщиков.

   2. При использовании прямого подключения к поставщику эталонных данных перед использованием этих данных необходимо в DQS добавить подробные сведения о поставщике эталонных данных, к которому выполняется прямое подключение.

   Настройка подробных сведений о поставщиках эталонных данных в DQS выполняется для определенного поставщика данных один раз. Настраивать параметры эталонных данных в DQS могут только администраторы DQS.

2. Сопоставление домена/составного домена в базе знаний со службой ссылочных данных. Сопоставьте домен/составной домен с соответствующей службой ссылочных данных, на которую выполнена подписка или которая добавлена в шаге 1.

3. Использование сопоставленных доменов для операции очистки в проекте качества данных. При создании проекта качества данных для операции Очистка выберите базу знаний, которая содержит домены/составные домены, сопоставленные со службами ссылочных данных в шаге 2, и выполните операцию очистки.

Связанные задачи