Notas sobre a versão de recurso dos pacotes de ativos do Databricks

Este artigo contém detalhes sobre as versões dos principais recursos e alterações novos e futuros dos Pacotes de Ativos do Databricks. Os recursos do pacote são lançados com a CLI do Databricks. Para obter uma lista completa de atualizações, consulte as notas de versão do repositório GitHub da CLI do Databricks.

Alterações comportamentais

As seguintes alterações comportamentais dos Asset Bundles do Databricks foram lançadas em uma versão da CLI do Databricks.

Aviso para pacotes distribuídos em Compartilhado com permissões conflitantes

23 de outubro de 2024

Essa alteração foi lançada com a CLI do Databricks 0.231.0.

Um aviso agora ocorre quando um pacote configurável é implantado na pasta, que pode ser acessada /Workspace/Shared por todos os usuários, mas o nível permissions superior definido para o pacote configurável entra em conflito com isso. Modifique as permissões definidas para o pacote ou mova o pacote para fora da /Workspace/Shared pasta.

Para modificar as permissões de um pacote, consulte permissões.

Para mover o pacote para fora da /Workspace/Shared pasta, altere a workspace.root_path configuração do pacote para apontar para um novo local e, em seguida, reimplante o pacote. Remova a pasta de pacote antiga usando a interface do usuário ou executando databricks fs rmo .

Os caminhos do espaço de trabalho agora são prefixados automaticamente

9 de outubro de 2024

Essa alteração foi lançada com a CLI do Databricks 0.230.0.

Os caminhos da área de trabalho agora são prefixados automaticamente com /Workspace. Além disso, todo o uso de strings de caminho, como /Workspace/${workspace.root_path}/... na configuração do pacote, é substituído automaticamente e ${workspace.root_path}/... gerará um aviso como parte do bundle validate.

Se você tiver especificado um workspace.root_path, workspace.artifact_path ou workspace.file_path, os pacotes de ativos do Databricks o prefixarão automaticamente com /Workspace, mas se você usar qualquer um deles como variáveis (por exemplo, my_config_path: /Workspace/${workspace.file_path}/config), será necessário atualizar essas entradas para remover o prefixo /Workspace para evitar o aviso.

Se você passar uma delas como variáveis e prefixá-las em seu código, precisará atualizar seu código para não fazer isso.

Essa alteração é necessária porque, originalmente, quando o sistema de arquivo de espaço de trabalho estava enraizado em / e os diretórios base estavam em /Users, para acessar caminhos do espaço de trabalho por meio da API REST do Databricks, você usaria esses caminhos diretamente. Para acessar os caminhos do espaço de trabalho a partir do seu código, você poderia usar o caminho do arquivo /Workspace e os diretórios iniciais também estariam disponíveis em /Workspace/Users. Para evitar essa dualidade de caminhos de espaço de trabalho, bem como a ambiguidade entre os caminhos de espaço de trabalho e os caminhos do Catálogo do Unity /Volumes , todos os caminhos de espaço de trabalho são prefixados com /Workspace.

Novos recursos

Os seguintes recursos e atualizações dos pacotes de ativos do Databricks foram lançados em uma versão da CLI do Databricks.

Suporte ao painel

30 de outubro de 2024

Esse recurso foi lançado com a CLI do Databricks 0.232.0.

Os painéis de IA/BI agora podem ser gerenciados na configuração do pacote usando o novo tipo de recurso de painel. Você pode gerar a configuração do painel usando bundle generate dashboard e manter sua versão local e remota de um painel em sincronia com as --force opções e --watch . Consulte o painel e Gerar um arquivo de configuração de pacote.

Para obter informações sobre painéis de IA/BI, consulte Painéis.

Novo comando de resumo do pacote

23 de outubro de 2024

Esse recurso foi lançado com a CLI do Databricks 0.231.0.

Um novo bundle summary comando foi adicionado. Esse comando gera um resumo da identidade e dos recursos de um pacote, incluindo links profundos para recursos, para que você possa navegar facilmente até o recurso no workspace do Databricks. Consulte Gerar um resumo do pacote.

Suporte para a criação de clusters para todas as finalidades

1 de outubro de 2024

Esse recurso foi lançado com a CLI do Databricks 0.229.0.

Agora você pode criar clusters para todas as finalidades em sua configuração de pacote usando o novo tipo de recurso de cluster. Veja cluster.

Nova solicitação de recriação de pipeline do Delta Live Tables e sinalizador de aprovação automática

5 de setembro de 2024

Esse recurso foi lançado com a CLI do Databricks 0.228.0.

Um prompt agora ocorrerá se houver alterações na configuração do pacote que levariam a uma recriação de um pipeline do Delta Live Tables. É possível ignorar a solicitação especificando o sinalizador --auto-approve.

Adicionado suporte para o recurso de esquema de catálogo do Unity

31 de julho de 2024

Esse recurso foi lançado com a CLI do Databricks 0.225.0.

Os esquemas de catálogo do Unity agora podem ser definidos na configuração do pacote. Consulte o esquema.

Agrupar comandos no terminal da Web

4 de julho de 2024

Esse recurso foi lançado com a CLI do Databricks 0.223.0.

Agora é possível interagir com pacotes usando a CLI do Databricks no terminal da Web. Para obter informações sobre como usar o terminal da Web, consulte Executar comandos do shell no terminal da Web do Azure Databricks.

Adicionado suporte para variáveis complexas

26 de junho de 2024

Esse recurso foi lançado com a CLI do Databricks v0.222.0.

Os pacotes de ativos do Databricks agora oferecem suporte a variáveis complexas. Consulte Definir uma variável complexa.

Os Pacotes de Ativos do Databricks estão em disponibilidade geral

23 de abril de 2024

Com a versão de CLI 0.218.0 do Databricks, agora os Pacotes de Ativos do Databricks têm disponibilidade geral.