サーバーレス コンピューティングの制限事項

  • [アーティクル]

この記事では、ノートブックとジョブのサーバーレス コンピューティングの現在の制限事項について説明します。 まず、最も重要な考慮事項の概要に続き、制限事項の包括的なリファレンス リストを示します。

制限事項の概要

新しいワークロードを作成するか、ワークロードをサーバーレス コンピューティングに移行する前に、まず次の制限事項を考慮してください。

  • サポートされている言語は Python と SQL だけです。

  • Spark Connect API のみがサポートされています。 Spark RDD API はサポートされていません。

  • JAR ライブラリはサポートされていません。 対処方法については、「サーバーレス コンピューティングのベスト プラクティス」を参照してください。

  • サーバーレス コンピューティングでは、すべてのワークスペース ユーザーが無制限でアクセスできます。

  • ノートブック タグはサポートされていません。

  • ストリーミングの場合、増分バッチ ロジックのみを使用できます。 既定または時間ベースのトリガー間隔はサポートされません。 「ストリーミングの制限事項」を参照してください。

制限事項のリファレンス リスト

次のセクションでは、サーバーレス コンピューティングの現在の制限事項を一覧表示します。

サーバーレス コンピューティングは、共有コンピューティング アーキテクチャに基づいています。 共有コンピューティングから継承される最も関連性の高い制限事項と、サーバーレス固有の追加の制限事項が以下に一覧表示されています。 共有コンピューティングの制限事項の完全な一覧については、「Unity Catalog のコンピューティング アクセス モードの制限事項」を参照してください。

一般的な制限事項

  • Scala と R はサポートされていません。

  • SQL を記述するときの既定値は ANSI SQL です。 spark.sql.ansi.enabled を false に設定して、ANSI モードをオプトアウトします。

  • Spark RDD API はサポートされていません。

  • Spark コンテキスト (sc) では、spark.sparkContext と sqlContext はサポートされていません。

  • Databricks コンテナー サービスはサポートされていません。

  • Web ターミナルはサポートされていません。

  • 48 時間を超えるクエリは実行できません。

  • Unity Catalog を使用して外部データ ソースに接続する必要があります。 外部の場所を使用して、クラウド ストレージにアクセスします。

  • データ ソースのサポートは、AVRO、BINARYFILE、CSV、DELTA、JSON、KAFKA、ORC、PARQUET、ORC、TEXT、XML に限定されます。

  • ユーザー定義関数 (UDF) はインターネットにアクセスできません。

  • 個々の行が最大サイズの 128 MB を超えないようにする必要があります。

  • Spark UI は使用できません。 代わりに、クエリ プロファイルを使用して、Spark クエリに関する情報を表示します。 「クエリ プロファイル」を参照してください。

  • Databricks エンドポイントを使用する Python クライアントでは、"CERTIFICATE_VERIFY_FAILED" などの SSL 検証エラーが発生する可能性があります。 これらのエラーを回避するには、/etc/ssl/certs/ca-certificates.crt にある CA ファイルを信頼するようにクライアントを構成します。 たとえば、サーバーレス ノートブックまたはジョブの先頭で次のコマンドを実行します: import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

  • クロス ワークスペース API 要求はサポートされていません。

ストリーミングの制限事項

機械学習の制限事項

Notebooks の制限事項

  • Notebooks は、構成できない 8 GB のメモリにアクセスできます。
  • Notebook スコープのライブラリは、開発セッション間ではキャッシュされません。
  • ユーザー間でノートブックを共有するときの TEMP テーブルとビューの共有はサポートされていません。
  • Notebooks 内の DataFrame のオートコンプリートと変数エクスプローラーはサポートされていません。

ワークフローの制限事項

  • ジョブのサーバーレス コンピューティングのドライバー サイズは現在固定されており、変更できません。
  • タスク ログは、タスクの実行ごとに分離されません。 ログには、複数のタスクからの出力が含まれます。
  • タスク ライブラリは、ノートブック タスクではサポートされていません。 代わりにノートブック スコープのライブラリを使用してください。 「ノートブック スコープの Python ライブラリ」を参照してください。

コンピューティング固有の制限事項

次のコンピューティング固有の機能はサポートされていません。

  • コンピューティング ポリシー
  • コンピューティング スコープの init スクリプト
  • カスタム データ ソースや Spark 拡張機能を含む、コンピューティング スコープのライブラリ。 代わりにノートブック スコープのライブラリを使用してください。
  • インスタンス プロファイルを含むコンピューティング レベルのデータ アクセス構成。 その結果、クラウド パス上の HMS を介して、または資格情報が埋め込まれていない DBFS マウントを使用して、テーブルとファイルにアクセスすることはできません。
  • インスタンス プール
  • コンピューティング イベント ログ
  • Apache Spark コンピューティング構成と環境変数