API Pandas в Spark
Примечание.
Эта функция доступна в кластерах, которые выполняют Databricks Runtime 10.0 (EoS) и более поздних версий. Для кластеров с Databricks Runtime 9.1 LTS и более ранних версий вместо нее следует использовать Koalas.
Pandas — это пакет Python, часто используемый специалистами по обработке и анализу данных, который предоставляет удобные в использовании структуры данных и средства анализа данных для языка программирования Python. Однако pandas не масштабируется до больших данных. API Pandas в Spark восполняет этот недостаток, предоставляя API-интерфейсы, эквивалентные Pandas, которые работают в Apache Spark. API Pandas в Spark полезен не только для пользователей Pandas, но и для пользователей PySpark, так как API Pandas в Spark поддерживает множество задач, которые трудно выполнить с помощью PySpark, например построение данных непосредственно из PySpark DataFrame.
Требования
API Pandas в Spark доступен начиная с Apache Spark 3.2 (который включается в Databricks Runtime 10.0 (EoS)) с помощью следующей import инструкции:
import pyspark.pandas as ps
Записная книжка
В следующей записной книжке показано, как выполнить миграцию с Pandas на API Pandas в Spark.