Что такое каталог данных Azure?

  • Статья

Внимание

Azure Каталог данных была прекращена 15 мая 2024 г.

Для функций каталога данных используйте службу Microsoft Purview , которая обеспечивает унифицированное управление данными для всего пространства данных.

Каталог данных Azure — это полностью управляемая облачная служба, которая позволяет пользователям обнаруживать нужные им источники данных и распознавать их. В то же время каталог данных помогает организациям получать большую отдачу от своих вложений.

С помощью Каталог данных любой пользователь (аналитик, специалист по обработке и анализу данных или разработчик) может обнаруживать, понимать и использовать источники данных в их ландшафте данных. Каталог данных включает в себя модель краудсорсинга метаданных и заметок, поэтому каждый может внести свой вклад в создание возможности обнаружения и использования данных. Это единственное, центральное место для всех пользователей организации, чтобы внести свой вклад в свои знания и создать сообщество и культуру данных.

Сложности обнаружения для потребителей данных

Как правило, обнаружение корпоративных источников данных является неотъемлемым процессом, основанным на общей информации, известной ограниченной группе лиц внутри компании. Для компаний, которые хотят получить большую ценность из своих информационных активов, этот подход представляет множество проблем:

  • Пользователи могут не знать о существовании источников данных, пока не столкнутся с ними в рамках другого процесса. Нет центрального расположения, где зарегистрированы источники данных.
  • Если пользователи не знают расположение источника данных, они не могут подключаться к данным с помощью клиентского приложения. Для работы с данными пользователям необходимо знать строку подключения или путь.
  • Если пользователи не знают расположение документации источника данных, они не могут понять предполагаемое использование данных. Источники данных и документация могут жить в различных местах и использовать их с помощью различных возможностей.
  • Если у пользователя есть вопросы по поводу информационного ресурса, он должен отыскать специалиста или команду, ответственную за эти данные, и подключить их к работе вне сети. Явная связь между данными и специалистами, которые могли бы их применить, отсутствует.
  • Если пользователи не понимают процесс запроса доступа к источнику данных, обнаружение источника данных и его документация по-прежнему не помогает им получить доступ к данным.

Сложности обнаружения для поставщиков данных

Хотя потребители данных сталкиваются с перечисленными ранее сложностями, пользователи, ответственные за создание и обслуживание информационных ресурсов, вынуждены решать собственные проблемы:

  • Комментирование источников данных с помощью описательных метаданных зачастую оказывается напрасным. Клиентские приложения обычно пропускают описания, хранящиеся в источнике данных.
  • Создание документации для источников данных часто является напрасным занятием. Синхронизировать документацию с источниками данных нужно постоянно. Пользователи могут не доверять документации, которая воспринимается как устаревшая.
  • Создание и обслуживание документации для источников данных является сложной и трудоемкой задачей. Обеспечение доступности этой документации для всех пользователей определенного источника данных — еще более сложной.
  • Постоянной задачей является ограничение доступа к источникам данных и обеспечение того, чтобы потребители данных знали, как запрашивать доступ.

Вместе эти трудности образуют серьезный барьер для компаний, желающих способствовать и содействовать использованию и осмыслению данных предприятия.

Решение проблем с помощью каталога данных Azure

Каталог данных предназначен для того, чтобы решать эти проблемы и помогать предприятиям извлекать максимальную пользу из существующих у них информационных ресурсов. Благодаря каталогу данных источники данных легко обнаруживаются и являются понятными для пользователей, которые управляют данными.

Каталог данных предоставляет облачную службу, в которой можно зарегистрировать источник данных. Эти данные остаются в существующем расположении, однако копия этих метаданных добавляется в каталог данных вместе со ссылкой на расположение источника данных. Кроме того, чтобы облегчить обнаружение каждого источника данных с помощью функции поиска и сделать их доступными для пользователей, метаданные индексируются.

После регистрации источника данных его метаданные можно дополнить. Это может сделать пользователь, зарегистрировавший метаданные, или другие пользователи на предприятии. Любой пользователь может добавить комментарий к источнику данных, предоставляя описания, теги и другие метаданные, например документацию и инструкции по запросу доступа к источнику данных. Эти описательные метаданные дополняют структурные метаданные (например, имена столбцов и типы данных), зарегистрированные из источника данных.

Основной целью регистрации источников являются обнаружение, понимание и использование источников данных. Корпоративным пользователям могут потребоваться данные для бизнес-аналитики, разработки приложений, обработки и анализа данных или любой другой задачи, требующей корректных данных. Они могут использовать интерфейс обнаружения каталога данных, чтобы быстро найти соответствующие требованиям данные, оценить их целевую пригодность и использовать, открыв источник данных в выбранном средстве.

В то же время пользователи каталога данных могут дополнять его, помечая, документируя и добавляя комментарии к уже зарегистрированным источникам данных. Они также могут регистрировать новые источники данных, которые сообщество пользователей каталога сможет обнаруживать, распознавать и использовать.

Возможности каталога данных

Подробнее о каталоге данных

Чтобы получить дополнительные сведения о возможностях каталога данных, см. следующие статьи:

Следующие шаги