Acessar produtos de dados no Databricks Marketplace (espaços de trabalho habilitados para catálogo Unity)

Este artigo descreve como acessar produtos de dados no Databricks Marketplace se você tiver um espaço de trabalho do Azure Databricks habilitado para o Catálogo Unity.

Descrição geral

O Databricks Marketplace oferece a você, como consumidor de dados, uma plataforma segura para descobrir produtos de dados de que sua organização precisa para ser bem-sucedida. O Databricks Marketplace usa o Delta Sharing para fornecer segurança e controle sobre dados compartilhados. Os consumidores podem acessar dados públicos, dados de amostra gratuitos e ofertas de dados comercializados. Os consumidores que usam um espaço de trabalho do Azure Databricks habilitado para Catálogo Unity não estão limitados a acessar dados tabulares, mas também podem acessar volumes (dados não tabulares), modelos de IA, notebooks Databricks e Databricks Solution Accelerators.

Ao consumir produtos de dados do Marketplace usando um espaço de trabalho do Azure Databricks habilitado para o Catálogo Unity, você pode aproveitar a integração profunda entre o Delta Sharing e o Unity Catalog, juntamente com a governança, auditoria e interfaces convenientes do Unity Catalog.

Antes de começar

Para procurar listagens de produtos de dados no Databricks Marketplace, você pode usar uma das seguintes opções:

• O Mercado Aberto.
• Um espaço de trabalho do Azure Databricks.

Para consumir produtos de dados usando um espaço de trabalho Databricks habilitado para o Catálogo Unity, você deve ter o seguinte:

• Uma conta do Azure Databricks no plano Premium.

• Um espaço de trabalho do Azure Databricks habilitado para o Catálogo Unity (é claro). Consulte Habilitar um espaço de trabalho para o Catálogo Unity.

  Se você não tiver um, você pode obter uma avaliação gratuita. Clique em Experimentar gratuitamente no Open Marketplace e siga as instruções para iniciar a versão experimental.

  Importante

  Você não precisa habilitar todos os seus espaços de trabalho para o Unity Catalog. Você pode criar um novo e habilitá-lo para o Catálogo Unity, usando esse espaço de trabalho para receber produtos de dados do Marketplace. Se essa opção não estiver disponível, use a opção Marketplace em plataformas externas. Consulte Acessar produtos de dados no Databricks Marketplace usando plataformas externas.

  Para saber como habilitar um espaço de trabalho para o Catálogo Unity, consulte Configurar e gerenciar o Catálogo Unity.

• USE MARKETPLACE ASSETS no metastore do Unity Catalog anexado ao espaço de trabalho. Consulte Tipos de privilégios que se aplicam apenas ao Delta Sharing ou ao Databricks Marketplace. Esse privilégio é habilitado para todos os usuários em todos os metastores do Unity Catalog por padrão.

  Se o administrador tiver desativado esse privilégio, você poderá solicitar que ele o conceda a você ou que ele conceda a você uma destas opções:

  • CREATE CATALOG e USE PROVIDER permissões no metastore do Unity Catalog.
  • Função de administrador da Metastore.

  Se você não tiver nenhum desses privilégios, ainda poderá visualizar as listagens do Marketplace, mas não poderá acessar produtos de dados usando o Catálogo Unity.

  Para obter mais informações, consulte Privilégios do catálogo Unity e objetos protegíveis e Gerenciar privilégios no catálogo Unity. Consulte também Desativar o acesso ao Marketplace.

Navegue pelas listagens do Databricks Marketplace

Para encontrar um produto de dados desejado, basta navegar ou pesquisar as listagens de produtos de dados no Databricks Marketplace.

1. Vá para marketplace.databricks.com ou faça logon em seu espaço de trabalho do Azure Databricks e clique em Marketplace.

2. Navegue ou pesquise o produto de dados desejado.

   Você pode filtrar listagens por tipo de produto (conjunto de dados, acelerador de solução ou modelo de ML), nome do provedor, categoria, custo (gratuito ou pago) ou pesquisa por palavra-chave.

   Se você estiver conectado a um espaço de trabalho do Azure Databricks, também poderá optar por exibir apenas as listagens privadas disponíveis como parte de uma troca privada. Consulte Participar em intercâmbios privados.

Solicitar acesso a produtos de dados no Marketplace

Para solicitar acesso a produtos de dados, você deve estar conectado a um espaço de trabalho do Azure Databricks. Alguns produtos de dados estão disponíveis imediatamente e outros exigem aprovação do provedor e conclusão da transação usando interfaces do provedor.

Requisitos

Consulte Antes de começar. Para acessar produtos de dados no Marketplace, você deve ter pelo menos o USE MARKETPLACE ASSETS privilégio no metastore do Unity Catalog anexado ao espaço de trabalho que está usando.

Obtenha acesso a produtos de dados que estão disponíveis instantaneamente

Alguns produtos de dados estão disponíveis instantaneamente, exigindo apenas que você os solicite e concorde com os termos. Eles estão listados sob o título Gratuito e instantaneamente disponível na página de destino do Marketplace, são identificados no bloco de listagem como Gratuito e são identificados como Instantaneamente disponíveis na página de detalhes do anúncio.

1. Quando encontrar um anúncio em que esteja interessado na página de destino do Marketplace, clique no anúncio para abrir a página de detalhes do anúncio.

2. Clique no botão Obter acesso instantâneo e aceite os termos e condições do Databricks.

   O acesso aos Databricks Solution Accelerators funciona de forma um pouco diferente. Consulte Obter acesso aos Databricks Solution Accelerators.

3. (Opcional) Em Mais opções, modifique o nome do catálogo sugerido.

   O nome do catálogo é exibido no Gerenciador de Catálogos em seu espaço de trabalho do Azure Databricks e é usado no namespace de três partes (catalog.schema.table|volume|view) em consultas. Você pode alterar o nome padrão.

4. Clique no botão Obter acesso instantâneo.

5. Clique no botão Abrir para exibir o produto de dados, que aparece como um catálogo somente leitura no Gerenciador de Catálogos.

   Para obter informações sobre como gerenciar o acesso a catálogos no Azure Databricks, consulte Acessar os dados compartilhados usando o Unity Catalog.

Se blocos de anotações de exemplo estiverem disponíveis, eles aparecerão sob o título Bloco de anotações de amostra na listagem.

Para ver um bloco de notas, clique no botão Pré-visualizar bloco de notas . Para importar um bloco de anotações para seu espaço de trabalho do Azure Databricks para que você possa executá-lo, clique em Visualizar bloco de anotações e, em seguida, clique em Importar Bloco de Anotações. Consulte Introdução aos blocos de anotações Databricks.

Solicitar produtos de dados que exigem aprovação do provedor

Alguns produtos de dados exigem aprovação do provedor, geralmente porque uma transação comercial está envolvida, ou o provedor pode preferir personalizar produtos de dados para você. Estes anúncios são identificados na página de detalhes do anúncio como Por solicitação e incluem um botão Solicitar acesso .

1. Quando encontrar um anúncio em que esteja interessado na página de destino do Marketplace, clique no anúncio para abrir a página de detalhes do anúncio.

2. Clique no botão Solicitar acesso .

3. Introduza o seu nome, empresa e uma breve descrição da utilização pretendida para o produto de dados.

4. Aceite os termos e condições do Databricks e clique em Solicitar acesso.

5. Você será notificado por e-mail quando o provedor concluir a análise do seu pedido.

   Também pode monitorizar o progresso do seu pedido na página Os meus pedidos no Marketplace. Consulte Gerenciar produtos de dados compartilhados do Databricks Marketplace. No entanto, quaisquer transações que se seguirem usarão as comunicações do provedor e plataformas de pagamento. Nenhuma transação comercial é tratada diretamente no Databricks Marketplace.

6. Quando a transação estiver concluída, o provedor de dados disponibilizará o produto de dados como um catálogo somente leitura em seu espaço de trabalho.

   Para obter informações sobre como gerenciar o acesso a catálogos no Azure Databricks, consulte Acessar os dados compartilhados usando o Unity Catalog.

Obtenha acesso aos Aceleradores de Solução Databricks

Ao contrário de outros ativos de dados, os Databricks Solution Accelerators são compartilhados clonando repositórios Git e disponibilizando-os em pastas Databricks Git. Para acessar um Solution Accelerator:

1. No Marketplace, clique na listagem do Solution Accelerator para abrir a página de detalhes da listagem.
2. Clique no botão Obter acesso instantâneo.
3. Na caixa de diálogo Adicionar pasta Git, insira um nome para o repositório. Esse nome aparecerá nas interfaces do usuário das pastas Git do Databricks.
4. Aceite os termos e condições do Databricks e clique em Criar pasta Git.
5. Clique no botão Abrir e selecione a pasta Git para visualizar o repositório no navegador de arquivos do espaço de trabalho.

Acesse os dados compartilhados usando o Unity Catalog

O acesso aos dados em seu espaço de trabalho do Azure Databricks depende do tipo de produto de dados:

• Os conjuntos de dados e modelos do Marketplace são compartilhados com você em um catálogo somente leitura no Azure Databricks. Os catálogos são o contêiner de nível superior para ativos de dados gerenciados pelo Unity Catalog. Para obter mais informações sobre a hierarquia de objetos de dados no Unity Catalog, consulte Objetos de banco de dados no Azure Databricks.

  Depois que o provedor tiver compartilhado os dados com você, você terá algumas maneiras de acessar o catálogo. As seções a seguir descrevem algumas dessas opções de acesso.

• Os blocos de notas são partilhados diretamente na listagem do Marketplace e pode importá-los da listagem para a sua área de trabalho.

• Os Aceleradores de Solução são compartilhados como pastas Databricks Git. Consulte Obter acesso aos Databricks Solution Accelerators.

Aceder a conjuntos de dados partilhados no Marketplace

Para aceder a dados partilhados a partir do Marketplace:

1. Na barra lateral, clique em Marketplace.

2. Na página inicial do Marketplace, clique em Minhas solicitações no canto superior direito.

3. Na guia Produtos de dados instalados, localize o produto de dados, clique no menu kebab no final da linha do produto de dados e selecione Exibir dados.

   Você também pode clicar no nome do produto de dados para abrir a página de detalhes do produto de dados, onde você pode clicar no botão Abrir para exibir os dados.

   O Catalog Explorer é aberto no catálogo que contém o conjunto de dados, onde você pode acessar os dados ou gerenciar o acesso de outros membros da equipe. Consulte Conceder acesso a outros membros da equipe.

   Para saber mais sobre como acessar dados compartilhados no Azure Databricks, consulte Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários).

Acessar conjuntos de dados compartilhados no Gerenciador de Catálogos

Para acessar dados compartilhados diretamente do Gerenciador de Catálogos:

1. Na barra lateral, clique em Catálogo.
2. Se souber o nome do catálogo que contém os dados partilhados, pesquise-o e selecione-o.

Se você não souber o nome do catálogo, mas souber o nome do provedor, poderá encontrá-lo no Gerenciador de Catálogos fazendo o seguinte:

1. Na barra lateral, clique em Catálogo.
2. No painel esquerdo do Catalog Explorer, clique em Partilha Delta e, em seguida, em Partilhado comigo.
3. Na guia Provedores, clique no nome do provedor.
4. Na guia Compartilhamentos, localize o nome do catálogo e clique nele para abri-lo.

Acessar conjuntos de dados compartilhados usando as instruções Databricks CLI ou SQL

Você também pode localizar e acessar o catálogo que contém os dados compartilhados usando as instruções Databricks CLI ou SQL em um bloco de anotações do Azure Databricks ou consulta do editor do Databricks SQL. Para obter detalhes, consulte Acessar dados em uma tabela ou volume compartilhado. Você pode pular as seções que descrevem como criar um catálogo, já que o Databricks Marketplace faz isso por você.

Conceder acesso a outros membros da equipa

Se você for o usuário que solicitou os dados compartilhados, será o proprietário do catálogo que contém esses dados em seu espaço de trabalho. Como tal, você pode conceder aos membros da sua equipe acesso ao catálogo e refinar o acesso no nível de esquema, tabela, exibição, linha e coluna, assim como faz com quaisquer dados no Unity Catalog. Consulte Gerenciar privilégios no Catálogo Unity. Dito isso, os dados de tabela e exibição em um catálogo compartilhado são somente leitura, o que significa que você só pode conceder à sua equipe operações de leitura como DESCRIBE, SHOWe SELECT.

Você também pode transferir a propriedade do catálogo ou dos objetos dentro dele.

Ver exemplos de blocos de notas

Algumas listagens incluem blocos de anotações de exemplo na página de detalhes da listagem. Para aceder a estes blocos de notas para obter anúncios instantaneamente disponíveis que foram partilhados consigo:

1. Na barra lateral, clique em Marketplace.
2. Na página inicial do Marketplace, clique em Minhas solicitações no canto superior direito.
3. Na guia Produtos de dados instalados , localize o produto de dados e clique no nome do produto de dados para abrir a página de detalhes da listagem. Se houver um bloco de anotações de exemplo, ele aparecerá sob o título Bloco de anotações de exemplo na listagem.
4. Clique em Visualizar bloco de anotações para exibir o bloco de anotações e clique em Importar bloco de anotações para importá-lo para seu espaço de trabalho do Azure Databricks.

Participe em intercâmbios privados

Alguns fornecedores de dados podem querer partilhar determinados dados com um conjunto limitado de consumidores que são convidados a participar num intercâmbio privado. Você pode encontrar listagens de câmbio privado marcando a caixa de seleção Troca privada na página inicial do Marketplace. Tal como acontece com os anúncios públicos, pode aceder instantaneamente aos anúncios gratuitos ou solicitar acesso aos que estão marcados como Pedido.

Para participar de uma troca privada, um provedor de dados precisa convidar sua organização. Quando o fizerem, solicitarão um identificador compartilhado para o metastore do Unity Catalog. Para saber como obter o identificador de compartilhamento do seu metastore, consulte a etapa 1 em Obter acesso no modelo Databricks-to-Databricks.

Para saber mais sobre trocas privadas, consulte Criar e gerenciar trocas privadas no Databricks Marketplace.

Desativar o acesso ao Marketplace

Por padrão, todos os usuários em qualquer espaço de trabalho habilitado para Unity Catalog têm a capacidade de solicitar produtos de dados no Databricks Marketplace. Em outras palavras, o account users grupo tem o USE MARKETPLACE ASSETS privilégio em todos os metastores do Unity Catalog, a menos que um administrador do metastore revogue esse privilégio.

Este privilégio não concede a capacidade de participar em transações financeiras com fornecedores de dados. Todas as transações financeiras ocorrem fora do Azure Databricks. Esse privilégio concede a capacidade de acessar produtos de dados rotulados como Gratuitos e instantaneamente disponíveis e produtos de dados que já foram comprados. O acesso a esses produtos de dados cria novos catálogos somente leitura no Azure Databricks que pertencem ao solicitante, que pode conceder acesso somente leitura a outros usuários.

Um administrador de metastore pode desativar a capacidade de todos os usuários de solicitar produtos de dados no Databricks Marketplace revogando o USE MARKETPLACE ASSETS account users privilégio do grupo no metastore do Unity Catalog. Se você revogar esse privilégio, os usuários poderão continuar a navegar no Databricks Marketplace em seu espaço de trabalho, mas não poderão solicitar produtos de dados.

Permissão necessária: Metastore admin

Explorador de Catálogos

Para revogar o USE MARKETPLACE ASSETS privilégio para o account users grupo:

1. No seu espaço de trabalho do Azure Databricks, clique em Catálogo.
2. Clique no ícone de link ao lado do nome do metastore no canto superior esquerdo.
3. Encontre a linha que concede account users o USE MARKETPLACE ASSETS privilégio.
4. Clique na caixa de seleção ao lado da linha e clique no botão Revogar .
5. Confirme a ação de revogação.
6. Conceda o privilégio a todos os usuários e grupos específicos que você gosta clicando no botão Conceder.

SQL

Para revogar o USE MARKETPLACE ASSETS privilégio para o account users grupo, execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

REVOKE USE MARKETPLACE ASSETS ON METASTORE FROM `account users`;

Para conceder o USE MARKETPLACE ASSETS privilégio a um usuário ou grupo específico, execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

GRANT USE MARKETPLACE ASSETS ON METASTORE TO `<user-or-group>`;

Se você não quiser que seus usuários possam exibir a home page do Marketplace, entre em contato com sua equipe de conta do Azure Databricks.

Problemas conhecidos

Se uma solicitação de acesso for rejeitada pelo provedor de dados, você não poderá solicitar o mesmo produto de dados novamente. Se você encontrar esse problema, entre em contato com seu provedor ou com a equipe de conta do Azure Databricks.

Partilhe os seus comentários

Adoraríamos ouvir o que você pensa sobre o Databricks Marketplace.

• Tem comentários? Vá para Aprender > Fornecer comentários na página inicial do Marketplace.
• Quer ver conjuntos de dados adicionais no mercado? Clique em Sugerir um produto no banner da página inicial do Marketplace.

Próximos passos

• Gerenciar solicitações e dados do Marketplace que foram compartilhados com você