関数

  • [アーティクル]

適用対象: 「はい」のチェック マーク Databricks Runtime

Spark SQL では、幅広いニーズに対応するために、組み込み関数とユーザー定義関数 (UDF) の 2 つの関数機能を備えています。

関数の解決と関数呼び出しの詳細については、「関数の呼び出し」を参照してください。

組み込み関数

この記事では、集計、配列とマップ、日付とタイムスタンプ、JSON データによく使用される組み込み関数の使用方法とカテゴリの説明を示します。

SQL および Python のユーザー定義関数

SQL および Python のユーザー定義関数 (UDF) は、スカラー値または結果セットを返すことができる関数です。

詳細については、CREATE 関数 (SQL、Python) を参照してください。

外部ユーザー定義関数

UDF を使用すると、システムの組み込み関数が目的のタスクを実行するのに十分ではない場合に、独自の関数を定義できます。 UDF を使用するには、最初に関数を定義し、次にその関数を Spark に登録し、最後に登録した関数を呼び出します。 UDF は、単一の行に対して機能したり、一度に複数の行に対して機能したりできます。 Spark SQL では、UDF、ユーザー定義集計関数 (UDAF)、ユーザー定義テーブル関数 (UDTF) の既存の Hive 実装の統合もサポートされています。