Outubro de 2023

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em outubro de 2023.

Conectividade segura sem servidor para Databricks SQL Serverless (Visualização Pública)

31 de outubro de 2023

Novas ferramentas de conectividade segura sem servidor ajudam você a controlar o acesso à rede de SQL warehouses sem servidor para suas fontes de dados no Armazenamento do Microsoft Azure. Você pode escolher um firewall de armazenamento usando IDs de sub-rede ou habilitar a conectividade privada com o Link Privado do Azure. Para ingressar na Visualização Pública, entre em contato com sua equipe de conta do Azure Databricks. Veja Rede de plano de computação sem servidor.

Se você tiver firewalls de armazenamento que foram configurados usando IDs de sub-rede listadas na documentação do Azure Databricks antes de 31 de outubro de 2023, o Databricks recomendará que você atualize suas configurações de firewall para cada uma das regiões do workspace usando uma das novas ferramentas. Isso pode ajudá-lo a aplicar uma implantação consistente em todos os workspaces. Se você optar por não atualizar as configurações existentes, os workspaces continuarão funcionando.

Exibir a fonte YAML para um trabalho do Azure Databricks

30 de outubro de 2023

Agora você pode visualizar e copiar a fonte YAML de um trabalho clicando em na página de detalhes do trabalho e selecionando Visualizar YAML/JSON. Você pode usar a fonte YAML para criar fluxos de trabalho de CI/CD com Databricks Asset Bundles. Confira O que são Pacotes de Ativos do Databricks?.

Adicionar lógica condicional aos fluxos de trabalho do Azure Databricks

30 de outubro de 2023

Agora você pode usar a tarefa If/else condition para executar condicionalmente tarefas em um trabalho do Azure Databricks com base nos resultados de uma expressão booliana. Consulte Adicionar lógica de ramificação ao um trabalho com a tarefa If/else.

Configurar parâmetros em um trabalho do Azure Databricks que pode ser referenciado por todas as tarefas de trabalho

30 de outubro de 2023

Agora você pode adicionar parâmetros aos trabalhos do Azure Databricks que são passados automaticamente para todas as tarefas de trabalho que aceitem pares chave-valor. Consulte Configurar parâmetros do trabalho. Além disso, agora você pode usar um conjunto expandido de referências de valor para passar contexto e estado entre tarefas de trabalho. Consulte O que é uma referência de valor dinâmico?.

Habilitar vetores de exclusão automaticamente

30 de outubro de 2023

Agora você pode habilitar vetores de exclusão em todas as novas tabelas Delta no Databricks Runtime 14.0 e superior com a configuração de administrador do workspace Habilitar automaticamente vetores de exclusão. No momento, esse comportamento é opcional, mas será obrigatório no futuro. O Databricks recomenda configurar manualmente uma opção para essa configuração. Consulte Habilitar automaticamente os vetores de exclusão.

O suporte ao Unity Catalog para UNDROP TABLE está em disponibilidade geral

25 de outubro de 2023

Você pode soltar uma tabela gerenciada ou externa removida em um esquema existente dentro de sete dias após a remoção. Requer o Databricks Runtime 12.1 e superior. Confira NÃO REMOVER TABELA e MOSTRAR TABELAS REMOVIDAS.

OPartner Connect dá suporte ao Dataiku

25 de outubro de 2023

Agora você pode utilizar o Partner Connect para conectar seu workspace do Azure Databricks ao Dataiku. Consulte Conectar-se ao Dataiku.

Os blocos de anotações gerados pelo Mosaic AutoML agora são salvos como artefatos do MLflow

24 de outubro de 2023

Os notebooks gerados pelo Mosaic AutoML agora são salvos como artefatos do MLflow em todas as versões do Databricks Runtime para Machine Learning.

Nova região: Catar Central

23 de outubro de 2023

O Azure Databricks agora está disponível no Qatar Central. Confira Regiões do Azure Databricks.

Volumes do Catálogo do Unity compatíveis com o Firewall do Azure e o Link Privado

23 de outubro de 2023

Agora você pode usar volumes do Catálogo do Unity em conjunto com as contas de armazenamento do Azure configuradas com o Firewall do Azure ou com o Link Privado. Isso remove uma limitação anterior.

Otimização preditiva (Visualização Pública)

24 de outubro de 2023

A otimização preditiva remove a necessidade de gerenciar manualmente as operações de manutenção de Tabelas Delta. As operações de manutenção são executadas apenas quando necessário, eliminando tanto as execuções desnecessárias de operações de manutenção quanto a carga associada ao acompanhamento e à solução de problemas de desempenho. Consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.

As tabelas do sistema de computação já estão disponíveis (Visualização Pública)

23 de outubro de 2023

O esquema system.compute contém duas novas tabelas que você pode usar para monitorar os recursos de computação em sua conta: clusters e node_types.

A tabela de clusters é uma tabela de dimensões de alteração lenta que contém o histórico completo das configurações de cluster ao longo do tempo para clusters de uso geral e de trabalhos. A tabela de tipos de nó captura os tipos de nó disponíveis no momento com suas informações básicas de hardware. Se você não tiver acesso a essas tabelas do sistema, certifique-se de ter habilitado o esquema de computação em sua conta (confira Habilitar esquemas de tabelas do sistema).

Para obter mais informações sobre tabelas de sistemas de computação, consulte Referência de tabelas de sistemas de computação.

A computação de recursos sob demanda está em GA

19 de outubro de 2023

Agora os recursos de machine learning podem ser computados sob demanda no momento da inferência. Isso permite que os modelos calculem recursos usando entradas que estão disponíveis apenas no momento da inferência, como a localização atual de um usuário, ou para usar recursos que são proibitivos em termos de custo para pré-computar, armazenar e atualizar. O código de treinamento de modelo pode definir um grafo arbitrário de pesquisas de recursos e cálculos executados durante o treinamento e a inferência do modelo.

A lógica de computação de recursos, os modelos e os dados são todos regidos pelo Catálogo do Unity. Para obter mais informações, confira Recursos de computação sob demanda usando funções do Python definidas pelo usuário.

A definição de recursos no Catálogo do Unity está em GA

19 de outubro de 2023

Com a Engenharia de Recursos no Catálogo do Unity, o Catálogo do Unity se torna seu repositório de recursos. Você pode usar qualquer tabela Delta com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelo. O Catálogo do Unity fornece descoberta e governança de recursos.

Comentários de tabela gerados por IA (Visualização Pública)

18 de outubro de 2023

Como parte da iniciativa de usar IA para ajudar você enquanto trabalha com o Azure Databricks, o Azure Databricks está introduzindo comentários de tabelas e colunas gerados por IA na Visualização pública. No Gerenciador de Catálogos, você pode exibir, editar e adicionar um comentário gerado por IA em qualquer tabela ou coluna de tabela gerenciada pelo Unity Catalog. Os comentários gerados por IA podem usar parceiros de modelos externos para fornecer respostas. Os dados enviados a esses serviços não são usados para o treinamento do modelo.

Confira Adicionar comentários gerados por IA a objetos do Catálogo do Unity.

Os modelos no Catálogo do Unity estão em GA

17 de outubro de 2023

Os modelos de ML no Catálogo do Unity agora estão em disponibilidade geral. O Catálogo do Unity fornece controle de acesso centralizado, auditoria, linhagem, compartilhamento de modelos entre workspaces e melhores fluxos de trabalho de implantação do MLOps. O Azure Databricks recomenda o uso de modelos no Catálogo do Unity em vez do Registro de Modelo do Workspace. Consulte Gerenciar o ciclo de vida do modelo no Catálogo do Unity para obter detalhes.

As bibliotecas agora têm suporte nas políticas de computação (Visualização Pública)

17 de outubro de 2023

Os administradores do workspace agora podem adicionar bibliotecas a políticas de computação. A computação que usa a política instalará automaticamente a biblioteca. Os usuários não podem instalar ou desinstalar bibliotecas com escopo de computação na computação que usa a política. As bibliotecas instaladas anteriormente serão desinstaladas.

O Databricks recomenda a migração de todas as bibliotecas instaladas com scripts de inicialização para usar políticas de computação. Confira Adicionar bibliotecas a uma política.

O Partner Connect dá suporte ao Monte Carlo

16 de outubro de 2023

Agora você pode utilizar o Partner Connect para conectar seu workspace do Azure Databricks ao Monte Carlo. Para obter mais informações, consulte Conectar o Azure Databricks ao Monte Carlo.

Pesquisa semântica (Visualização Pública)

16 de outubro de 2023

Agora você pode usar a linguagem natural para pesquisar tabelas do Catálogo do Unity na caixa de diálogo Pesquisa avançada. Confira Pesquisa semântica.

Habilitar o Assistente do Databricks no nível do espaço de trabalho

11 de outubro de 2023

Um administrador do espaço de trabalho agora pode habilitar ou desabilitar o Assistente do Databricks para um espaço de trabalho individual se o administrador da conta o tiver permitido. Para obter detalhes, consulte Como habilitar o Assistente do Databricks?.

Novos padrões do Photon

11 de outubro de 2023

Ao criar um novo cluster por meio da interface do usuário, o mecanismo padrão do Databricks Runtime é o Photon habilitado. Isso se aplica a clusters para todas as finalidades e clusters de trabalho.

Os novos clusters criados com uma política de cluster compatível com o Photon têm o Photon habilitado por padrão. Uma política de cluster é compatível com o Photon se o Databricks Runtime der suporte a ela, o tipo de nó tiver suporte e o runtime_engine não estiver explicitamente definido como STANDARD.

O Databricks Runtime 14.1 é GA

11 de outubro de 2023

O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML já estão em disponibilidade geral.

Consulte Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning.

As notas sobre a versão das ferramentas de desenvolvedor foram movidas

10 de outubro de 2023

As notas sobre a versão das ferramentas de desenvolvedor do Azure Databricks após 10 de outubro de 2023 agora são postadas nas notas sobre a versão das ferramentas de desenvolvedor e do SDKs do Azure Databricks em vez das notas sobre a versão da plataforma do Azure Databricks.

Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.5

09 de outubro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.5 contém algumas correções secundárias. Para obter detalhes, consulte o log de alterações da versão 1.1.5.

A E/S preditiva para atualizações está em disponibilidade geral

09 de outubro de 2023

A E/S preditiva para atualizações agora está em disponibilidade geral no Databricks Runtime 14.0 e superior. Confira O que é E/S preditiva?.

Os vetores de exclusão estão em disponibilidade geral

09 de outubro de 2023

Os vetores de exclusão agora estão em disponibilidade geral no Databricks Runtime 14.0 e superior. Confira O que são vetores de exclusão?

O Partner Connect dá suporte ao RudderStack

5 de outubro de 2023

Agora você pode utilizar o Partner Connect para conectar seu workspace do Azure Databricks ao RudderStack. Para obter mais informações, consulte Conectar-se ao RudderStack.

CLI do Databricks atualizada para a versão 0.207.0 (Versão prévia pública)

4 de outubro de 2023

A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.207.0. Esta versão contém atualizações de recursos e correções para os Pacotes de Ativos do Databricks, faz acréscimos e alterações em vários comandos e grupos de comandos, e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.207.0.

Executar as células selecionadas em um notebook

4 de outubro de 2023

Você já pode executar apenas células selecionadas em um notebook. Confira Executar células selecionadas.

Usar a vinculação de dados do catálogo da área de trabalho para dar acesso somente leitura a um catálogo

4 de outubro de 2023

Agora, ao usar a associação workspace-catálogo para limitar o acesso do catálogo a workspaces específicos em sua conta, você pode tornar esse acesso somente leitura. A associação somente leitura do workspace-catálogo é útil para alguns cenários, como conceder aos usuários um acesso somente leitura aos dados de produção de um workspace de desenvolvedor para habilitar o desenvolvimento e o teste.

Essa atualização também substitui o ponto de extremidade da API /api/2.1/unity-catalog/workspace-bindings/, substituindo-o por /api/2.1/unity-catalog/bindings/.

Consulte Limitar acesso do catálogo a espaços de trabalho específicos.

Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.4

2 de outubro de 2023

A extensão Databricks para o Visual Studio Code versão 1.1.4 adiciona suporte para os workspaces personalizados do Azure Databricks e muito mais. Para obter detalhes, consulte o log de alterações da versão 1.1.4.

SDK do Databricks para Python atualizado para a versão 0.10.0 (Beta)

3 de outubro de 2023

A versão 0.10.0 do SDK do Databricks para Python apresenta 7 alterações interruptivas, adiciona 10 classes de dados, adiciona 6 campos e adiciona um serviço. Para obter detalhes, consulte o log de alterações da versão 0.10.0.

SDK do Databricks para Go atualizado para a versão 0.22.0 (beta)

3 de outubro de 2023

A versão 0.22.0 do SDK do Databricks para Go introduz uma alteração interruptiva na API e adiciona uma API. Para obter detalhes, consulte o log de alterações da versão 0.22.0.

Volumes do Catálogo Unity já em versão prévia pública no Azure China

2 de outubro de 2023

Os volumes do Catálogo Unity já estão disponíveis como uma versão prévia pública do recurso nas regiões do Azure China. Confira O que são os volumes do Catálogo do Unity?.