Управление поставщиками разностного общего доступа (для получателей данных)

  • Статья

В этой статье описывается, как использовать каталог Unity для получения сведений о поставщиках данных, которые совместно используют данные с помощью Delta Sharing. В нем также описывается, что такое объект поставщика и когда может потребоваться создать объект поставщика в хранилище метаданных каталога Unity, задача, которую большинство получателей никогда не должны делать.

Внимание

Получатели данных должны иметь доступ к рабочей области Databricks, которая включена для использования функциональных возможностей каталога Unity, описанных в этой статье. Эта статья не относится к получателям, у которых нет рабочих областей с поддержкой каталога Unity.

Нужно ли получателям создавать объекты поставщика?

В Delta Sharing on Databricks термин "поставщик" может означать как организацию, которая предоставляет общий доступ к данным с вами, так и защищаемый объект в хранилище метаданных каталога Unity получателя, представляющего эту организацию. Существование этого защищаемого объекта в хранилище метаданных каталога Unity получателя позволяет получателям управлять доступом своей команды к общим данным с помощью каталога Unity.

Как получатель с доступом к хранилищу метаданных каталога Unity обычно не требуется создавать объекты поставщика. Это связано с тем, что данные должны предоставляться вам с помощью общего доступа Databricks к Databricks, а объекты поставщика создаются автоматически в хранилище метаданных каталога Unity.

Примечание.

Если вы являетесь редким получателем в каталоге Unity, который получает данные от поставщика, который не предоставляет общий доступ из рабочей области Databricks с поддержкой каталога Unity, вы можете создать объекты поставщика в каталоге Unity, чтобы управлять данными с помощью каталога Unity. Если вы находитесь в этой категории, можно использовать вызов REST API /API/2.1/unity-catalog/providers или интерфейс командной строки Databricks для создания объекта поставщика каталога Unity. Вы должны быть администратором хранилища метаданных или пользователем с CREATE_PROVIDER привилегиями для хранилища метаданных.

Подготовка к работе

Чтобы управлять поставщиками в рабочей области Azure Databricks, выполните следующие действия.

  • Рабочая область должна быть включена для каталога Unity.
  • Чтобы просмотреть поставщика, необходимо быть администратором хранилища метаданных или администратором хранилища метаданных необходимо предоставить вам привилегию USE PROVIDER .
  • Чтобы создать поставщика, необходимо быть администратором хранилища метаданных или администратором хранилища метаданных необходимо предоставить вам привилегию CREATE PROVIDER .
  • Чтобы обновить поставщика, необходимо быть владельцем объекта поставщика и иметь привилегии CREATE PROVIDER . Дополнительные сведения см. в разделе "Обновление поставщика" (переименование, изменение владельца, комментарий).

По этой причине, если ваша рабочая область была создана без администратора хранилища метаданных, администратор учетной записи Azure Databricks должен предоставить пользователю или группе роль администратора хранилища метаданных, прежде чем вы сможете работать с объектами поставщика в Azure Databricks. См . раздел "Автоматическое включение каталога Unity" и (необязательно) Назначение роли администратора хранилища метаданных.

Просмотр поставщиков

Чтобы просмотреть список доступных поставщиков данных, можно использовать обозреватель каталогов, интерфейс командной строки каталога Databricks Unity или SHOW PROVIDERS команду SQL в записной книжке Azure Databricks или редакторе SQL-запросов Databricks.

Необходимые разрешения: вы должны быть администратором хранилища метаданных или иметь USE PROVIDER право просматривать всех поставщиков в хранилище метаданных. Другие пользователи имеют доступ только к поставщикам, которым они владеет.

Обозреватель каталогов

  1. В рабочей области Azure Databricks щелкните Значок каталога "Каталог".

  2. В верхней части области каталога щелкните Значок шестеренки значок шестеренки и выберите delta Sharing.

    Кроме того, на странице быстрого доступа нажмите кнопку "Разностный общий доступ>".

  3. На вкладке "Общий доступ со мной " просмотрите все доступные поставщики.

SQL

Выполните следующую команду в записной книжке или редакторе sql-запросов Databricks. При необходимости замените <pattern> предикатом LIKE.

SHOW PROVIDERS [LIKE <pattern>];

CLI

Выполните следующую команду с помощью интерфейса командной строки Databricks.

databricks providers list

Просмотр сведений о поставщике

Для просмотра сведений о поставщике можно использовать обозреватель каталогов, интерфейс командной строки каталога Databricks Unity или DESCRIBE PROVIDER команду SQL в записной книжке Azure Databricks или редакторе sql-запросов Databricks.

Необходимые разрешения: администратор хранилища метаданных, пользователь с USE PROVIDER привилегиями или владелец объекта поставщика.

Вы сможете ознакомиться со следующими сведениями.

  • Общие папки, предоставляемые поставщиком (см. раздел "Просмотр общих папок", к которым предоставлен общий доступ поставщику).
  • Создатель поставщика, метка времени создания, комментарии и тип проверки подлинности (TOKEN или DATABRICKS). TOKEN представляет поставщиков, которым предоставлен общий доступ к данным с помощью протокола открытого общего доступа Delta Sharing. DATABRICKS представляет поставщиков, которым предоставлен общий доступ к данным с помощью протокола общего доступа Databricks to Databricks.
  • Если поставщик использует общий доступ Databricks to Databricks: облако, регион и идентификатор хранилища метаданных каталога Unity поставщика.
  • Если поставщик использует открытый общий доступ: конечная точка профиля получателя, которая является местом размещения сервера общего доступа Delta Sharing.

Обозреватель каталогов

  1. В рабочей области Azure Databricks щелкните Значок каталога "Каталог".

  2. В верхней части области каталога щелкните Значок шестеренки значок шестеренки и выберите delta Sharing.

    Кроме того, на странице быстрого доступа нажмите кнопку "Разностный общий доступ>".

  3. На вкладке "Общий доступ со мной " найдите и выберите поставщика.

SQL

Выполните следующую команду в записной книжке или редакторе sql-запросов Databricks.

DESC PROVIDER <provider-name>;

CLI

Выполните следующую команду с помощью интерфейса командной строки Databricks.

databricks providers get <provider-name>

Просмотр общих папок, к которым предоставлен общий доступ поставщику

Чтобы просмотреть общие папки, к которым предоставлен общий доступ поставщику, можно использовать обозреватель каталогов, интерфейс командной строки каталога Databricks Unity или SHOW SHARES IN PROVIDER команду SQL в записной книжке Azure Databricks или редакторе sql-запросов Databricks.

Необходимые разрешения: администратор хранилища метаданных, пользователь с USE PROVIDER привилегиями или владелец объекта поставщика.

Обозреватель каталогов

  1. В рабочей области Azure Databricks щелкните Значок каталога "Каталог".

  2. В верхней части области каталога щелкните Значок шестеренки значок шестеренки и выберите delta Sharing.

    Кроме того, на странице быстрого доступа нажмите кнопку "Разностный общий доступ>".

  3. На вкладке "Общий доступ со мной " найдите и выберите поставщика.

SQL

Выполните следующую команду в записной книжке или редакторе sql-запросов Databricks. При необходимости замените <pattern> предикатом LIKE.

SHOW SHARES IN PROVIDER [LIKE <pattern>];

CLI

Выполните следующую команду с помощью интерфейса командной строки Databricks.

 databricks providers list-shares <provider-name>

Обновление поставщика (переименование, изменение владельца, комментарий)

Вы можете использовать обозреватель каталогов, интерфейс командной строки каталога Databricks Unity или команду SQL в записной книжке Azure Databricks или ALTER PROVIDER редакторе запросов SQL Databricks для изменения объекта поставщика в хранилище метаданных каталога Unity:

  • Переименуйте поставщика, чтобы изменить способ просмотра объекта поставщика в интерфейсах Databricks.
  • Измените владельца объекта поставщика.
  • Добавление или изменение комментариев.

Необходимые разрешения: для обновления владельца необходимо быть владельцем объекта поставщика. Для обновления имени поставщика необходимо быть администратором хранилища метаданных (или пользователем с CREATE_PROVIDER привилегиями) и владельцем поставщика. Чтобы обновить комментарий, необходимо быть владельцем. Первоначальный владелец — администратор хранилища метаданных.

Обозреватель каталогов

  1. В рабочей области Azure Databricks щелкните Значок каталога "Каталог".

  2. В верхней части области каталога щелкните Значок шестеренки значок шестеренки и выберите delta Sharing.

    Кроме того, на странице быстрого доступа нажмите кнопку "Разностный общий доступ>".

  3. На вкладке "Общий доступ со мной " найдите и выберите поставщика.

  4. На странице сведений обновите владельца, комментарий или имя поставщика.

    Чтобы переименовать поставщика, щелкните меню кебаб и выберите Меню Кебаб "Переименовать".

SQL

Выполните следующую команду в записной книжке или редакторе sql-запросов Databricks.

ALTER PROVIDER <provider-name> RENAME TO <new-provider-name>
OWNER TO <new-owner>
COMMENT "<comment>";

CLI

Выполните следующую команду с помощью интерфейса командной строки Databricks. Замените <provider-name> текущим именем поставщика и <new-provider-name> новым именем.

databricks providers update <provider-name> /
--new-name <new-provider-name> /
--comment "<new comment>" /
--owner <new-owner-name>

Удаление поставщика

Чтобы удалить поставщика, можно использовать обозреватель каталогов, интерфейс командной строки каталога Databricks Unity или DROP PROVIDER команду SQL в записной книжке Azure Databricks или редакторе sql-запросов Databricks. Чтобы удалить поставщика, необходимо быть владельцем объекта поставщика.

При удалении поставщика вы и пользователи в организации (получатель) больше не могут получить доступ к данным, к которым предоставлен доступ поставщику.

Необходимые разрешения: владелец объекта поставщика.

Обозреватель каталогов

  1. В рабочей области Azure Databricks щелкните Значок каталога "Каталог".

  2. В верхней части области каталога щелкните Значок шестеренки значок шестеренки и выберите delta Sharing.

    Кроме того, на странице быстрого доступа нажмите кнопку "Разностный общий доступ>".

  3. На вкладке "Общий доступ со мной " найдите и выберите поставщика.

  4. Меню Кебаб Щелкните меню кебаб и нажмите кнопку "Удалить".

  5. В диалоговом окне подтверждения нажмите кнопку "Удалить".

SQL

Выполните следующую команду в записной книжке или редакторе sql-запросов Databricks.

DROP PROVIDER [IF EXISTS] <provider-name>;

CLI

Выполните следующую команду с помощью интерфейса командной строки Databricks.

databricks providers delete <provider-name>

Если операция выполнена успешно, результаты не возвращаются.