Databricks Connect for Python 的限制

  • 项目

注意

本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。

本文列出了 Databricks Connect for Python 的限制。 Databricks Connect 使你能够将常用 IDE、笔记本服务器和自定义应用程序连接到 Azure Databricks 群集。 请参阅什么是 Databricks Partner Connect？。 有关本文的 Scala 版本，请参阅 Databricks Connect for Scala 限制。

在适用于 Databricks Runtime 13.3 LTS 及更低版本的 Databricks Connect 上不可用：

  • 流式处理 foreachBatch
  • 创建大于 128 MB 的数据帧
  • 超过 3600 秒的长查询

不可用：

  • 数据集 API
  • 数据集类型化 API（如 reduce() 和 flatMap()）
  • Databricks 实用工具：credentials、library、notebook workflow、widgets
  • SparkContext
  • RDDs
  • MLflow 模型推理：pyfunc.spark_udf() API
  • Mosaic 地理空间
  • CREATE TABLE <table-name> AS SELECT（改用 spark.sql("SELECT ...").write.saveAsTable("table")）
  • ApplyinPandas() 和 Cogroup() 配置共享群集
  • 不能通过 SparkContext 更改 Log4j 日志级别
  • 分布式 ML 训练
  • 将本地开发环境与远程群集同步