Limitações com o Databricks Connect for Python

  • Artigo

Nota

Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.

Este artigo lista as limitações do Databricks Connect for Python. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para a versão Scala deste artigo, consulte Limitações com o Databricks Connect for Scala.

Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:

  • Transmissão foreachBatch
  • Criação de DataFrames maiores que 128 MB
  • Consultas longas com mais de 3600 segundos

Não disponível:

  • API do conjunto de dados
  • APIs tipadas por conjunto de dados (como reduce() e flatMap())
  • Utilitários Databricks: credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • Inferência do modelo MLflow: pyfunc.spark_udf() API
  • Mosaico geoespacial
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() e Cogroup() com clusters partilhados
  • Alterando o nível de log log4j através de SparkContext
  • Treinamento distribuído de ML
  • Sincronizando o ambiente de desenvolvimento local com o cluster remoto