Databricks Runtime 10.0 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon, da plataforma Apache Spark 3.2.0. A Databricks lançou essa versão em outubro de 2021. O Photon está em Visualização Pública.

Novos recursos e aprimoramentos

• Nova versão do Apache Spark
• A instrução SELECT agora dá suporte à cláusula QUALIFY para filtrar resultados de função da janela
• Suporte ao cluster para JDK 11 (Visualização Pública)
• O carregador automático agora trata os esquemas como anuláveis

Nova versão do Apache Spark

O Databricks Runtime 10.0 e Databricks Runtime 10.0 Photon incluem o Apache Spark 3.2.0. Para obter mais detalhes, confira Apache Spark.

A instrução SELECT agora dá suporte à cláusula QUALIFY para filtrar resultados de função da janela

A instrução SELECT agora dá suporte à cláusula QUALIFY. QUALIFY pode ser usada para filtrar os resultados de funções da janela. Uma ou mais funções de janela devem estar presentes na lista SELECT ou na condição QUALIFY. Por exemplo:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Suporte ao cluster para JDK 11 (Visualização Pública)

O databricks agora fornece suporte ao cluster para JDK (kit de desenvolvimento Java) 11.

Ao criar um cluster, você pode especificar que o cluster use o JDK 11 (para driver e executor). Para fazer isso, adicione a seguinte variável de ambiente às opções avançadas > variáveis de ambiente do > Spark :

JNAME=zulu11-ca-amd64

O carregador automático agora trata os esquemas como anuláveis

O carregador automático agora trata todos os esquemas inferidos e fornecidos pelo usuário como anuláveis por padrão. Isso serve para evitar a potencial corrupção de dados nos casos em que os dados contêm campos nulos para colunas não anuláveis. Uma nova configuração é introduzida para acompanhar esse comportamento, spark.databricks.cloudFiles.schema.forceNullable. Por padrão, essa configuração contém a configuração de spark.sql.streaming.fileSource.schema.forceNullable, que o FileStreamSource no Apache Spark usa e é definido como true por padrão.

Alterações de quebra

Alterações recentes para todos os usuários do Spark SQL

• Nova configuração spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled: quando definido como true, permite um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada. A configuração padrão é true.
• Nova configuração spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled: quando definido como true, bloqueia os aliases de geração automática quando as exibições são criadas. A configuração padrão é true.
• Nova configuração spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled: quando definido como true, não permite CREATE TABLE AS SELECT com um local não vazio. A configuração padrão é true. Observe que quando spark.sql.legacy.allowNonEmptyLocationInCTAS também é definido como true, essa configuração não tem efeito e CREATE TABLE AS SELECT com um local não vazio sempre é permitido.

Alterações recentes para usuários do Spark SQL que habilitam o modo ANSI

Para obter informações sobre o modo ANSI, consulte Conformidade ANSI no Databricks Runtime.

• Nova configuração spark.databricks.behaviorChange.SC83587NextDayDOW.enabled: quando definido como true, um argumento inválido dayOfWeek para a função next_day gera um IllegalArgumentException no modo ANSI; caso contrário, ele retorna null. A configuração padrão é true.
• Nova configuração spark.databricks.behaviorChange.SC83796CanCast.enabled: quando definido como true, habilita novas regras de sintaxe de conversão explícita no modo ANSI. A configuração padrão é true.
• Nova configuração spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled: quando definido como true, uma exceção de erro de análise é lançada durante a conversão de uma cadeia de caracteres em uma booliana; caso contrário, retorna null. A configuração padrão é true.
• Nova configuração spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled: quando definido como true, a função abs gera uma exceção se a entrada está fora do intervalo. A configuração padrão é true.

Alterações recentes para todos os usuários do Python

• A API delta.tables.DeltaTable.convertToDelta do Python agora retorna o objeto DeltaTable Python correto que pode ser usado para executar comandos do Delta Lake. Anteriormente, ele retornava um objeto interno que não podia ser chamado diretamente.

Atualizações da biblioteca

Atualização do Apache Hadoop 3

• Databricks Runtime 10.0 atualiza a dependência do Hadoop do Hadoop 2.7.4 para o Hadoop 3.3.1.

Alterações de comportamento

• O Hadoop 3 usa as bibliotecas hadoop-client-api e hadoop-client-runtime em vez da biblioteca hadoop-common, que ofusca determinadas dependências de terceiros que poderiam ser usadas em APIs ou extensões públicas do Hadoop.
• As opções de configuração do Hadoop 3 foram alteradas desde o Hadoop 2. Para opções do Hadoop 3.3.1, consulte core-default.xml.
• O Databricks atualizou algumas das configurações padrão para que o Hadoop 3 seja consistente com o Hadoop 2, para garantir que os conectores de armazenamento tenham as mesmas configurações de autenticação padrão e níveis de desempenho:
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• O conector do GCS (Google Cloud Storage) foi atualizado do 2.1.6 para 2.2.2.
• O conector do Amazon Redshift usa agora o esquema s3a://. O esquema s3n:// foi preterido.
• Identifica os nomes de classe do OSS para a API do Amazon S3 MetadataStore, além das classes ofuscadas. Isso permite o processamento de configurações de OSS sem a necessidade dos nomes de classe ofuscados.
  • Por exemplo, você pode especificar a classe org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore na configuração do Hadoop.
• Torna a new Configuration() e sparkContext.hadoopConfiguration consistentes.
  • Agora, sempre que uma nova configuração do Hadoop for criada, ela será consistente com a configuração do Hadoop predefinida em sparkContext.hadoopConfiguration no Databricks Runtime, incluindo os esquemas do sistema de arquivos e a configuração padrão deles.
• Embora os conectores de armazenamento do Hadoop incluídos na Databricks Runtime sejam totalmente compatíveis com o Hadoop 3.3.1, não há garantia de que estejam em sincronia com os conectores Hadoop 3.3.1 do OSS e eles podem apresentar comportamento diferente.
  • O conector do Amazon S3 ainda permite (embora com um aviso) a autenticação user:secret em URLs do S3, em comparação com o HADOOP-14833, que o remove.
• O globStatus agora sempre devolve resultados classificados (HADOOP-10798)
• fs.s3a.endpoint adicionado se removida definição e a região fs.s3a.endpoint é nula (SPARK-35878)
  • O Databricks forneceu a resolução automática da região do Amazon S3 pode não ser disparada em alguns casos, devido ao ponto de extremidade global sendo definido. Isso não é um problema, pois o SDK do AWS resolverá a região corretamente.
• Adicionar fs.s3a.downgrade.syncable.exceptions se não estiver definido (SPARK-35868)
• Os codecs LZ4 e snapshot não dependem da biblioteca do Hadoop nativa (HADOOP-17125)

Problemas conhecidos

• SPARK-36681 O uso de SnappyCodec para gravar o arquivo de sequência falhará com o UnsatisfiedLinkError devido a um problema conhecido no Hadoop 3.3.1 (HADOOP-17891)

Apache Spark

O Databricks Runtime 10.0 inclui o Apache Spark 3.2.0.

Nesta seção:

• Destaques
• Core e Spark SQL
• Streaming estruturado
• PySpark
• MLlib
• Desativações e remoções

Destaques

• Suporte à camada de API do Pandas no PySpark (SPARK-34849)
• Sessão baseada em EventTime (janela sessão) (SPARK-10816)
• Suporte a tipos INTERVAL SQL ANSI (SPARK-27790)
• Modo ANSI de GA (SPARK-35030)
• Mensagens de exceção padrão no Spark (SPARK-33539)

Core e Spark SQL

Aprimoramentos na compatibilidade com o ANSI SQL

• Suporte a tipos INTERVAL SQL ANSI (SPARK-27790)
• Novas regras de sintaxe da coerção de tipo no modo ANSI (SPARK-34246)

Aprimoramentos de desempenho

• Otimização de consultas
  • Remoção de agregações redundantes no Otimizador (SPARK-33122)
  • Limite de envio por Push por meio do Projeto com Junção(SPARK-34622)
  • Estimativa de cardinalidade do operador de união, classificação e alcance (SPARK-33411)
  • Suporte do UnwrapCastInBinaryComparison ao predicado In/InSet(SPARK-35316)
  • Manter as estatísticas necessárias após a remoção da partição(SPARK-34119)
• Execução da consulta
  • Habilitar o pool de buffers Zstandard por padrão (SPARK-34340, SPARK-34390)
  • Adicionar code-gen para todos os tipos de ingresso de junção de mesclagem de classificação (SPARK-34705)
  • Difundir aprimoramento de junção de loop aninhado (SPARK-34706)
  • Suporte a dois níveis de mapas hash para agregação do hash final (SPARK-35141)
  • Permitir gravadores simultâneos para gravar as partições dinâmicas e a tabela de bucket (SPARK-26164)
  • Melhora do desempenho de processamento do FETCH_PRIOR no Thriftserver (SPARK-33655)

Aprimoramentos do conector

• Parquet
  • Atualização de parquet para 1.12.1 (SPARK-36726)
  • Leitura de tipos não assinados do parquet que são armazenados como um tipo físico Int32 em parquet (SPARK-34817)
  • Leitura de tipo lógico Int64 do parquet não assinado armazenados como tipo físico de Int64 assinado para decimal (20, 0) (SPARK-34786)
  • Melhora do parquet em pushdown de filtro (SPARK-32792)
• ORC
  • Atualização do ORC para a versão 1.6.11 (SPARK-36482)
  • Suporte à evolução posicional forçada do ORC (SPARK-32864)
  • Suporte à coluna aninhada no leitor vetorizado ORC (SPARK-34862)
  • Suporte à compactação ZSTD e LZ4 na fonte de dados do ORC (SPARK-33978, SPARK-35612)
• Avro
  • Atualização do Avro para a versão 1.10.2 (SPARK-34778)
  • Dando suporte à evolução do esquema Avro para tabelas de Hive particionadas com "avro.schema.literal"(SPARK-26836)
  • Adicionar novas opções de fonte de dados Avro para controlar a nova base do datetime na leitura (SPARK-34404)
  • Adicionando suporte para a URL de esquema fornecida pelo usuário no Avro (SPARK-34416)
  • Adicionar suporte para correspondência de esquema do Catalyst-to-Avro posicional (Spark-34365)
• JSON
  • Atualizar o Jackson para a versão 2.12.3 (SPARK-35550)
  • Permitir que fontes de dados JSON gravem caracteres não ASCII como ponto de código(SPARK-35047)
• JDBC
  • Calcular o stride de partição mais precisa no JDBCRelation(SPARK-34843)
• Filtro de suporte à metastore do Hive por not-in(SPARK-34538)

Aprimoramentos de recursos

• Subconsulta
  • Melhorar subconsultas correlacionadas (SPARK-35553)
• Novas funções internas
  • ilike(SPARK-36674, SPARK-36736)
  • current_user(SPARK-21957)
  • product(SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add(SPARK-35162)
  • try_divide(SPARK-35162)
  • bit_get(SPARK-33245)
• Usar o Apache Hadoop 3.3.1 por padrão (SPARK-29250)
• Adicionar soma de verificação para blocos de ordem aleatória (SPARK-35275)
• Habilitar spark.storage.replication.proactive por padrão (SPARK-33870)
• Suporte à limpeza de Armazenamento de Fallback durante a interrupção do SparkContext(SPARK-34142)
• Suporte às enumerações Java da API do conjunto de dados do Scala(SPARK-23862)
• ADD JAR com coordenadas ivy deve ser compatível com comportamento transitivo do Hive (SPARK-34506)
• Suporte aos comandos ADD ARCHIVE e LIST ARCHIVES(SPARK-34603)
• Suporte a vários caminhos para comandos ADD FILE/JAR/ARCHIVE(SPARK-35105)
• Suporte à arquivos da camada de arquivos como recursos para a sintaxe CREATE FUNCTION USING(SPARK-35236)
• Carregamento de SparkSessionExtensions do ServiceLoader(SPARK-35380)
• Adicionar frases de função à functions.{scala,py}(SPARK-35418)
• Aplicar spark.sql.hive.metastorePartitionPruning para tabelas não Hive que usam metastore do Hive para gerenciamento de partição(SPARK-36128)
• Propagar o motivo da perda de exec para a interface do usuário da Web (SPARK-34764)
• Evitar a alinhamento não determinístico com-CTEs (SPARK-36447)
• Suporte para analisar todas as tabelas em um banco de dados específico (SPARK-33687)
• Mensagens de exceção padrão no Spark (SPARK-33539)
• Suporte ao (IGNORE | RESPECT) NULLS para LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK30789)

Outras alterações importantes

• Monitoramento
  • Novas métricas para ExternalShuffleService (SPARK-35258)
  • Adicionar novos parâmetros e APIs REST no nível de estágio (SPARK-26399)
  • Suporte às distribuições de métricas de tarefa e de executor de métricas de distribuições na API REST (SPARK-34488)
  • Adicione métricas de contingência para agregação do hash (SPARK-35529)
• Adicionar count_distinct como uma opção para Dataset#summary(SPARK-34165)
• Implementar ScriptTransform no SQL/Core (SPARK-31936)
• Tornar configurável o tempo limite de pulsação do driver BlockManagerMaster (SPARK-34278)
• Tornar o nome de serviço em ordem aleatória configurável no lado do cliente e permitir a substituição de configuração baseada em classpath no lado do servidor (SPARK-34828)
• O ExecutorMetricsPoller deve manter a entrada de estágio em stageTCMP até que ocorra uma pulsação(SPARK-34779)
• Substituir se tiver a cláusula de filtro em RewriteDistinctAggregates (SPARK-34882)
• Corrigir falha ao aplicar CostBasedJoinReorder na auto-associação (SPARK-34354)
• CREATE TABLE LIKE deve respeitar as propriedades da tabela reservada (SPARK-34935)
• Enviar o arquivo ivySettings para o driver no modo de cluster YARN (SPARK-34472)
• Resolver colunas comuns duplicadas de USING/NATURAL JOIN(SPARK-34527)
• Ocultar propriedades da exibição interna para descrever a tabela cmd (SPARK-35318)
• Suporte à resolução de attrs ausentes para distribute/cluster by/repartition(SPARK-35331)
• Ignorar erro ao verificar o caminho em FileStreamSink.hasMetadata(SPARK-34526)
• Melhorar o suporte do confirmador mágico s3a ao inferir configurações ausentes (SPARK-35383)
• Permitir a omissão de : na cadeia de caracteres do tipo STRUCT (SPARK-35706)
• Adicionar um novo operador para distinguir se o AQE pode otimizar com segurança (SPARK-35786)
• Acrescentar novos campos struct aninhados em vez de classificar por unionByName com preenchimento nulo (SPARK-35290)
• ArraysZip deve manter os nomes dos campos para evitar sua reescrita pelo analisador/otimizador(SPARK-35876)
• Usar Void como o nome do tipo de NullType(SPARK-36224)
• Introduzir nova API para FileCommitProtocol permitir a nomenclatura de arquivo flexível (SPARK-33298)

Alterações de comportamento

Consulte os guias de migração para cada componente: Spark Core.

Streaming estruturado

Principais recursos

• Sessão baseada em EventTime (janela sessão) (SPARK-10816)
• Atualização do cliente Kafka para 2.8.0 (SPARK-33913)
• Trigger.AvailableNow para executar consultas de streaming como Trigger.Once em vários lotes no Scala(SPARK-36533)

Outras alterações importantes

• Introduzir uma nova opção na origem do Kafka para especificar um número mínimo de registros a serem lidos por gatilho (SPARK-35312)
• Adicionar deslocamentos mais recentes ao andamento da origem (SPARK-33955)

PySpark

Projeto Zen

• API do Pandas no Spark (SPARK-34849)
  • Habilitar mypy para pandas-on-Spark (SPARK-34941)
  • Implementar suporte a CategoricalDtype (SPARK-35997, SPARK-36185)
  • Concluir as operações básicas de série e índice (SPARK-36103, SPARK-36104, SPARK-36192)
  • Corresponder comportamentos ao 1.3 pandas (SPARK-36367)
  • Corresponder comportamentos em séries com NaN para o pandas (SPARK-36031, SPARK-36310)
  • Implementar o operador unário 'Invert' de Séries e Índice integral(SPARK-36003)
  • Implementar CategoricalIndex.map e DatetimeIndex.map (SPARK-36470)
  • Implementar Index.map(SPARK-36469)
• O suporte do faulthanlder para o trabalho do Python falhou (SPARK-36062)
• Usar regra de nomenclatura Snake nas APIs de função (SPARK-34306)
• Habilitar spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled by default(SPARK-35419)
• Suporte para inferir um dict aninhado como um struct ao criar um DataFrame (SPARK-35929)

Outras alterações importantes

• Habilitar o modo de thread fixado por padrão (SPARK-35303)
• Adicionar suporte a NullType para execuções de seta (SPARK-33489)
• Adicionar suporte a self_destruct de seta ao toPandas (SPARK-32953)
• Adicionar API de wrapper de destino de thread para o modo de thread fixada pyspark(SPARK-35498)

Alterações de comportamento

Confira as Guias de migração.

MLlib

Melhorias de desempenho

• Otimização de transformação BucketedRandomProjectionLSH (SPARK-34220)
• Otimização de w2v findSynonyms(SPARK-34189)
• otimiza o GEMM esparso ignorando a verificação associada (SPARK-35707)
• Aprimoramento do desempenho do recommendForAll do ML ALS por GEMV(SPARK-33518)

Aprimoramentos de treinamento de modelo

• Agregador de logística de refatoração - suporte ao centro virtual (SPARK-34797)
• Regressão logística binária com centro de suporte de interceptação (SPARK-34858, SPARK-34448)
• Regressão logística multinomial com centro de suporte de interceptação(SPARK-34860)

Aprimoramentos de BLAS

• Substituir totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0(SPARK-35295)
• Adicionar uma implementação de BLAS vetorizada (SPARK-33882)
• Acelerar o fallback de BLAS com dev.ludovic.netlib(SPARK-35150)

Outras alterações importantes

• Corrigir transformação de OVR de possível conflito de coluna (SPARK-34356)

Desativações e remoções

• Substituir spark.launcher.childConectionTimeout(SPARK-33717)
• Substituir GROUP BY ... GROUPING SETS (…) e promover GROUP BY GROUPING SETS (…)(SPARK-34932)
• Substituir a ps.broadcast API(SPARK-35810)
• Substituir o num_files argumento(SPARK-35807)
• Substituir DataFrame.to_spark_io(SPARK-35811)

Atualizações de manutenção

Conferir Atualizações de manutenção do Databricks Runtime 10.0.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo do Microsoft CRAN em 21/09/2021.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)