Вывод списка продуктов данных в Databricks Marketplace

В этой статье описывается, как стать поставщиком Databricks Marketplace и как создать описание Databricks Marketplace для ваших продуктов данных.

Подготовка к работе

Чтобы вывести список продуктов в Databricks Marketplace, необходимо согласиться с политиками поставщика, а учетная запись и рабочие области должны соответствовать определенным требованиям.

Политики.

Чтобы вывести список продуктов данных на exchange Marketplace, необходимо согласиться с политиками поставщика Marketplace.

Требования к учетной записи и рабочей области:

Databricks Marketplace использует разностный общий доступ для управления безопасным доступом к продуктам данных. Разностный общий доступ, в свою очередь, требует включения рабочей области Databricks для каталога Unity. Поэтому учетная запись и рабочие области Azure Databricks должны соответствовать следующим требованиям:

• Учетную запись Azure Databricks необходимо использовать, применив план уровня «Премиум».
• Рабочая область Azure Databricks, включенная для каталога Unity. См. раздел Включение рабочей области для каталога Unity. Вам не нужно включать все рабочие области для каталога Unity. Вы можете создать его просто для управления списками Marketplace.

Если у вас есть рабочие области, соответствующие этим критериям, пользователи смогут просматривать домашнюю страницу Marketplace. Для создания списков и управления ими требуются дополнительные разрешения. Они перечисляются в следующих разделах. Если вы не хотите, чтобы пользователи могли просматривать домашнюю страницу Marketplace вообще, обратитесь к группе учетной записи Azure Databricks.

Требования к разрешениям:

Чтобы зарегистрироваться в качестве поставщика только для частного обмена, необходимо быть администратором учетной записи Azure Databricks. См . статью "Регистрация", чтобы быть поставщиком Databricks Marketplace.

Зарегистрируйтесь, чтобы быть поставщиком Databricks Marketplace

Способ регистрации поставщика Databricks Marketplace зависит от того, планируется ли создавать листинги на общедоступной платформе или только через частные обмены. В частных обменах только потребители, являющиеся членами обмена, могут просматривать, просматривать и запрашивать доступ к списку. См. статью "Создание частных обменов" и управление ими в Databricks Marketplace.

Чтобы быть поставщиком только для частного обмена, вы можете зарегистрироваться с помощью консоли поставщика. Чтобы создать общедоступные описания, вы применяете программу Databricks Data Partner.

Применить к поставщику, который может создавать общедоступные описания

1. На странице программы "Партнер по данным Databricks" нажмите кнопку "Применить сейчас".

2. На следующей странице нажмите кнопку "Применить сейчас".

3. Введите адрес электронной почты и нажмите кнопку "Применить сейчас".

4. Заполните форму приложения.

   В нижней части формы приложения вы спросили, какая программа Databricks Partner вас интересует. Выберите Marketplace.

Команда партнеров Databricks будет обратиться к вам, чтобы завершить процесс приложения. После утверждения консоль поставщика станет доступной в рабочих областях Azure Databricks с поддержкой каталога Unity. Чтобы получить доступ к консоли поставщика, пользователь должен иметь роль администратора Marketplace.

Регистрация в качестве частного поставщика обмена

Чтобы зарегистрироваться в качестве поставщика только для частного обмена, используйте страницу "Начало работы" в консоли поставщика.

Чтобы зарегистрироваться в качестве частного поставщика обмена, выполните следующее:

1. Как администратор учетной записи Azure Databricks войдите в рабочую область Azure Databricks.

2. На боковой панели щелкните Marketplace.

3. В правом верхнем углу страницы Marketplace щелкните консоль поставщика.

4. Если ваша учетная запись не была подключена в качестве поставщика, консоль поставщика отображает страницу "Начало работы как поставщик ", которая описывает процесс включения учетной записи в качестве частного поставщика обмена.

5. В разделе "Принять условия Marketplace" щелкните ссылку "Условия частного поставщика Databricks Marketplace", чтобы просмотреть условия.

6. Чтобы принять условия, нажмите кнопку "Принять условия частного поставщика".

   При этом вы перейдете в консоль учетной записи Azure Databricks на новой вкладке браузера и откройте вкладку включения компонентов параметров>. Если вы еще не вошли в систему, может потребоваться войти в консоль учетной записи.

   Примечание.

   Если у вас несколько учетных записей Azure Databricks, убедитесь, что вы входите в учетную запись, содержащую рабочую область, в которой вы обращаетесь к консоли поставщика.

7. На вкладке "Включение компонентов" включите параметр поставщика частных exchange Marketplace.

8. Вернитесь в консоль поставщика в рабочей области и нажмите кнопку "Обновить". Не используйте функции страницы обновления браузера.

9. Через несколько минут появится кнопка "Назначить администратора Marketplace". Щелкните его, чтобы открыть страницу пользователя в консоли учетной записи. На вкладке " Роли" включите администратора Marketplace.

   Вы можете назначить роль администратора Marketplace другому пользователю или пользователям. Если это сделать, они могут продолжить процесс с этого момента. Если вы назначаете роль себе, вы можете продолжить процесс.

10. Вернитесь в консоль поставщика в рабочей области и нажмите кнопку "Обновить". Не используйте функции страницы обновления браузера.

11. Через несколько минут появится кнопка "Создать профиль поставщика". Щелкните его, чтобы открыть страницу "Создать профиль ".

    Примечание.

    Для завершения назначения роли администратора Marketplace может потребоваться несколько минут. Если вы переходите к созданию профиля поставщика и видите ошибку, указывающую, что у вас нет роли администратора Marketplace, подождите несколько минут, обновите страницу и повторите попытку.

12. Чтобы создать профиль поставщика, следуйте инструкциям в разделе "Создание профиля поставщика Marketplace", начиная с шага 5.

13. Создайте первый частный обмен. См. статью "Создание частных обменов" и управление ими в Databricks Marketplace.

Назначение роли администратора Marketplace

Если вы зарегистрировались в качестве частного поставщика обмена, вы выполнили эту задачу в рамках процесса регистрации. Инструкции в этом разделе можно пропустить, если вы не хотите включить других пользователей в учетной записи Azure Databricks в качестве администраторов Marketplace.

После утверждения в качестве поставщика Marketplace необходимо предоставить по крайней мере одну роль администратора Marketplace. Эта роль необходима для доступа к консоли поставщика Marketplace и для создания профиля и перечисления поставщиков Marketplace и управления ими. Администратор учетной записи Azure Databricks может предоставить роль.

1. Войдите в консоль учетной записи с правами администратора учетных записей.
2. Щелкните "Управление пользователями".
3. Найдите и щелкните имя пользователя.
4. На вкладке " Роли" включите администратора Marketplace.

Создание профиля поставщика Marketplace

Ваш профиль поставщика дает возможность сообщить потенциальным потребителям, кто вы являетесь, и группировать продукты данных под одной торговой символикой или удостоверением. Как правило, поставщик данных имеет один профиль, но может перечислять несколько продуктов данных. Если требуется несколько профилей, обратитесь к группе учетных записей Azure Databricks.

Если вы являетесь общедоступным поставщиком, вы можете создать профиль после утверждения приложения поставщика. Если вы являетесь поставщиком только для частного обмена, создайте профиль в качестве последнего шага процесса регистрации, начиная с шага 5 в процедуре, предоставленной здесь.

Требуется разрешение: роль администратора Marketplace

Создание профиля

1. Войдите в рабочую область Azure Databricks, используемую для создания общих папок и списков.
2. На боковой панели щелкните Marketplace.
3. В правом верхнем углу страницы Marketplace щелкните консоль поставщика.
4. На вкладке "Профили консоли поставщика" нажмите кнопку "Создать профиль".
5. Введите следующую информацию. Все поля обязательны:
   • Имя поставщика: используйте имя, которое потребители распознают. Потребители могут фильтровать списки по имени поставщика.
   • Логотип: перетащите или перейдите к файлу изображения для логотипа, который вы хотите использовать в списке.
   • Описание. Описать организацию четко и точно. Включите такие сведения, как отрасли, которые вы обычно обслуживаете или представляете, и типы ресурсов данных, которые обычно вы перечисляете. Потребители могут видеть это описание при просмотре профиля и во всех ваших списках.
   • Веб-сайт организации: ссылка на веб-сайт вашей организации. Потребители могут следовать этой ссылке, чтобы узнать больше о вашей организации. Эта ссылка отображается во всех списках.
   • Бизнес-почта: введите адрес электронной почты, который Databricks может использовать для отправки уведомлений. Потребители не видят эту информацию.
   • Электронная почта поддержки: введите адрес электронной почты, который потребители могут использовать для запроса поддержки. Эта ссылка отображается во всех списках.
   • Ссылка на условия обслуживания: эта ссылка отображается во всех списках. Эту ссылку можно переопределить, введя другой на уровне списка.
   • Политика конфиденциальности: эта ссылка отображается во всех списках. Эту ссылку можно переопределить, введя другой на уровне списка.
6. Сохраните профиль.

Если какая-либо из этих сведений изменяется во время работы с поставщиком Marketplace, обновите профиль. Ваш профиль должен быть точным и поддерживать актуальность.

Создание общих папок

После включения учетной записи Azure Databricks для delta Sharing и рабочей области Azure Databricks, включенной для каталога Unity, можно создать общие папки , которые будут использоваться для совместного использования данных в Marketplace.

Общий ресурс — это объект Delta Sharing. Это коллекция таблиц, представлений, томов и моделей ИИ, которые являются общими и защищаемыми как единица. Таблицы можно совместно использовать для любого потребителя. Тома, модели ИИ и записные книжки могут предоставляться только потребителям, имеющим доступ к рабочей области Azure Databricks, которая включена для каталога Unity.

1. Добавьте таблицы данных, представления или тома в хранилище метаданных каталога Unity.

   Сведения о создании этих ресурсов данных в каталоге Unity см. в следующих статье:

   • Что такое таблицы и представления?
   • Создание представлений и управление ими
   • Что такое тома каталога Unity?

2. Создайте общую папку и добавьте эти ресурсы данных в общую папку.

   Сведения о создании и обновлении общих папок см. в статье "Создание общих папок и управление ими для разностного общего доступа".

   Необходимые разрешения:

   • Чтобы создать общую папку, необходимо быть администратором хранилища метаданных или пользователем с CREATE SHARE привилегией для хранилища метаданных каталога Unity, где зарегистрированы данные, к которым требуется предоставить общий доступ.
   • Чтобы добавить таблицу, том или представление в общую папку, необходимо быть владельцем общей папки, иметь USE SCHEMA привилегии в схеме, содержащей ресурс данных, и иметь SELECT привилегии для ресурса данных. Чтобы ресурс продолжал предоставлять общий SELECT доступ, необходимо сохранить привилегию. Если вы потеряете его, получатель не может получить доступ к ресурсу через общую папку. Таким образом, Databricks рекомендует использовать группу в качестве владельца общей папки.

   Дополнительные сведения о требованиях к таблицам, томам и представлениям, включая требования к вычислительным ресурсам и типам данных, см. в статье "Создание общих папок" и управление ими для разностного общего доступа.

После создания общей папки вы можете создать или обновить список Marketplace, ссылающийся на него.

Пример записной книжки: пример записной книжки

Помимо таблиц, томов и представлений, Databricks настоятельно рекомендует совместно использовать записные книжки Azure Databricks. Записная книжка — отличный способ продемонстрировать примеры вариантов использования и визуализировать свойства таблицы. Ваше описание может включать примеры предварительных версий записных книжек, которые потребители могут импортировать в свои рабочие области.

Дополнительные сведения о создании записных книжек см. в статье "Общие сведения о записных книжках Databricks". Если вам нужна помощь по созданию эффективной записной книжки, обратитесь dataproviders@databricks.com.

В следующем примере показано, как создать эффективную пример записной книжки. В ней содержатся рекомендации по созданию эффективных примеров записных книжек для списков.

Начальная записная книжка Marketplace для поставщиков данных

Получить записную книжку

Создание списков

Списки Marketplace позволяют потребителям просматривать, выбирать и получать доступ к продуктам данных. Все списки наборов данных автоматически совместно используются как потребителями в рабочих областях Azure Databricks, так и потребителями на сторонних платформах, таких как Power BI, pandas и Apache Spark.

Необходимые разрешения: роль администратора Marketplace. Если вы создаете персонализированные списки и управляете ими (те, которые требуют утверждения поставщика до их выполнения), необходимо также иметь CREATE RECIPIENT права и USE RECIPIENT привилегии. См. статью Защищаемые объекты и привилегии Unity Catalog.

Чтобы создать список, выполните приведенные ниже действия.

1. Войдите в рабочую область Azure Databricks.

2. На боковой панели щелкните Marketplace.

3. В правом верхнем углу страницы Marketplace щелкните консоль поставщика.

4. На вкладке "Перечисления" консоли поставщика нажмите кнопку "Создать список".

5. На странице "Новое описание" введите сведения о списке.

   Инструкции см. в разделе "Перечисление полей и параметров".

Перед публикацией можно сохранить черновик и просмотреть предварительный просмотр. При нажатии кнопки "Опубликовать" список отображается в Marketplace немедленно.

Перечисление полей и параметров

В этом разделе описывается каждое поле страницы нового описания и параметр. Он также содержит рекомендации по созданию эффективного списка.

• Имя перечисления: каждое описание должно иметь уникальное имя, которое помогает потребителям понять, что он предлагает.

  Рекомендации.

  • Менее 100 символов.
  • Заголовок (заглавная буква первичных слов).

  Пример

  Перепись НАСЕЛЕНИЯ США 2022

• Краткое описание: краткое информативное объяснение набора данных, который расширяет имя описания. Это поле отображается в списке плиток и результатов поиска потребителей.

  Рекомендации.

  • Менее 100 символов. Не может превышать 160 символов.
  • Дело предложения (заглавная буква только первого слова любого правильного существительных или акронимов).

  Пример

  Общие сведения о количестве населения США и демографии в 2020 году

• Профиль поставщика: название организации или компании. Выберите в раскрывающемся меню. Профиль создается Azure Databricks в рамках процесса утверждения партнерской организации.

• Условия обслуживания: URL-адрес, который ссылается на условия обслуживания для соответствующего использования общих ресурсов данных.

  Условия обслуживания должны быть общедоступными и не требуют входа.

• Public Marketplace: все потребители могут просматривать и просматривать описание в общедоступной Платформе Databricks Marketplace.

• Частный обмен: только потребители, являющиеся членами частного обмена, созданные вами или другим администратором Marketplace, могут просматривать, просматривать и запрашивать список. См. статью "Создание частных обменов" и управление ими в Databricks Marketplace.

  В раскрывающемся списке необходимо выбрать хотя бы один частный обмен.

• Данные доступны мгновенно: выберите этот параметр, чтобы пользователи получили доступ к общим данным непосредственно из Marketplace, не требуя утверждения (но требуя принятия условий обслуживания). Выберите общую папку в раскрывающемся меню. Этот параметр обычно используется для выборки и общедоступных наборов данных.

  Если вы еще не создали общую папку, которую вы хотите включить, нажмите кнопку "Создать новую папку " в нижней части раскрывающегося меню. Откроется диалоговое окно "Создание общего ресурса ".

  Если выбранная или созданная здесь общая папка не содержит данных или ресурсов, появится сообщение с кнопкой "Добавить данные ". Щелкните его, чтобы перейти в обозреватель каталогов, где можно добавить таблицы в общую папку.

  Дополнительные сведения о создании общих папок и добавлении таблиц в общие папки, включая необходимые разрешения, см. в разделе "Создание общих папок" и управление ими для разностного общего доступа.

• Требовать утверждения запросов потребителей: выберите этот параметр, чтобы требовать утверждение, прежде чем потребитель сможет получить доступ к общим данным. Используйте этот параметр, если вам требуется деловое соглашение, прежде чем сделать продукт данных доступным для потребителей. Необходимо управлять деловым соглашением с потребителями за пределами Databricks Marketplace. Вы можете инициировать обмен данными с помощью адреса электронной почты потребителя.

  Вы можете просматривать и обрабатывать запросы потребителей на вкладке "Запросы потребителей консоли > поставщика". См. статью "Управление запросами для продукта данных" в Databricks Marketplace.

• Категории: выберите до пяти категорий, которые потребители могут использовать для фильтрации списков. Категории также отображаются в виде тегов на плитках и страницах сведений.

• Добавление атрибута: атрибуты являются необязательными. К ним относятся такие поля, как географическое покрытие, частота обновления, диапазон времени, источник данных и размер набора данных. Добавление атрибутов помогает потребителям понять больше о продукте данных. Выберите столько атрибутов, сколько вам нравится.

• Описание. Подробное описание данных должно содержать сводку данных и ресурсов, предлагаемых в списке.

  Поддерживается базовое форматирование форматированного текста (то есть полужирный, курсив, маркеры и нумерованные списки), используя синтаксис Markdown. Чтобы просмотреть содержимое, используйте кнопки в правом углу панели инструментов поля описания.

  Рекомендации.

  • Включите преимущества и варианты использования.
  • Краткое руководство по использованию данных и примеров вариантов использования.
  • Включите примеры наборов данных и имена полей.
  • Укажите схемы, таблицы и столбцы.
  • Используйте согласованные знаки препинания и синтаксиса.
  • Добавьте дополнительный разрыв строки между абзацами.
  • Проверьте орфографию и грамматику.
  • Не повторяйте атрибуты, определенные в разделе "Добавить атрибут".

  Пример

  Обзор.

  Перепись населения и жилья США — это официальное число людей и домов в США в 2020 году. Он предоставляет социальный и экономический моментальный снимок. Перепись 2020 года, проведенная 6 марта 2021 года, является 23-й переписью.

  Варианты использования:

  • Группировать клиентов на основе демографических переменных, таких как возраст и пол.
  • Настройте предложения продуктов для определенных групп потребителей.

  Сведения, включенные в этот набор данных:

  • Оценки численности населения
  • Демографические компоненты (роды, смерти, миграция)
  • Эти данные можно сортировать по таким характеристикам, как возраст, пол и раса, а также по национальному, штату и расположению округа.

• Пример записной книжки: Databricks настоятельно рекомендует предоставить общий доступ к примерам записных книжек, чтобы продемонстрировать, как лучше всего использовать данные. Добавьте до десяти записных книжек. Чтобы отправить примеры записных книжек, необходимо сохранить список и вернуться к нему.

  Дополнительные сведения о создании записных книжек см . в примере записной книжки и введение в записные книжки Databricks.

• Документация. URL-адрес, ссылающийся на документацию, которая может помочь потребителям использовать или понять набор данных (например, словарь набора данных).

• Политика конфиденциальности: URL-адрес, который ссылается на вашу политику конфиденциальности.

  Политика конфиденциальности должна быть общедоступной и не требует входа.

Анализ активности потребителей с помощью системных таблиц (общедоступная предварительная версия) и панелей мониторинга

Если в учетной записи включены системные таблицы, вы можете использовать системные таблицы Marketplace для анализа активности потребителей в списках. Дополнительные сведения см. в справочнике по системным таблицам Marketplace.

Вы также можете использовать панель мониторинга аналитики поставщиков для мониторинга представлений, запросов и установок. Панель мониторинга извлекает данные из системных таблиц. См. статью "Мониторинг метрик использования" с помощью панелей мониторинга.

Квоты ресурсов

Каталог Unity применяет квоты ресурсов для всех защищаемых объектов, включая списки Marketplace для каждого хранилища метаданных и поставщиков для каждой учетной записи. Эти квоты перечислены в ограничениях ресурсов. Если вы ожидаете превышение этих ограничений ресурсов, обратитесь к группе учетных записей Azure Databricks.

Вы можете отслеживать использование квоты с помощью API-интерфейсов квот ресурсов каталога Unity. См. статью "Мониторинг использования квот ресурсов каталога Unity".

Следующие шаги

• Управление запросами потребителей
• Управление существующими списками