Azure Synapse Runtime for Apache Spark 3.3 (EOSA)

Azure Synapse Analytics は、Apache Spark の複数のランタイムをサポートしています。このドキュメントでは、Azure Synapse Runtime for Apache Spark 3.3 のランタイムコンポーネントとバージョンについて説明します。

警告

Azure Synapse Runtime for Apache Spark 3.3 のサポート終了通知

2024 年 7 月 12 日、Azure Synapse Runtime for Apache Spark 3.3 のサポート終了が発表されました。
2025 年 3 月 31 日より、Azure Synapse は Spark 3.3 ランタイムの公式サポートを中止します。
Apache Spark 3.3 ベースのワークロードを Azure Synapse Runtime for Apache Spark 3.4 (GA)にアップグレードすることを強くお勧めします。
最新の情報、変更の詳細な一覧、Spark ランタイムの特定のリリースノートについては、 Spark ランタイムのリリースと更新プログラムを確認してサブスクライブ。

コンポーネントのバージョン

Synapse-Python310-CPU.yml には、Azure Synapse Spark の既定の Python 3.10 環境に付属しているライブラリの一覧が含まれています。

重要

.NET for Apache Spark

.NET for Apache Spark は、サポート対象外の状態に達している .NET 3.1 ライブラリを現在必要とする .NET Foundation のオープンソースプロジェクトです。 Azure Synapse Runtime for Apache Spark バージョン 3.3 で .NET for Apache Spark ライブラリが削除されることを Azure Synapse Spark のユーザーにお知らせします。この問題の詳細については .NET サポートポリシーを参照することができます。
その結果、ユーザーは C# および F# を介して Apache Spark API を利用したり、Synapse 内のノートブックや Synapse の Apache Spark ジョブ定義を使用して C# コードを実行したりすることができなくなります。この変更は、 Azure Synapse Runtime for Apache Spark 3.3 以降にのみ影響することに注意してください。
.NET for Apache Spark は、Azure Synapse Runtime のすべてのバージョンで、それらのライフサイクルステージに従って引き続きサポートされます。ただし、Azure Synapse Runtime for Apache Spark 3.3 以降のバージョンでは、.NET for Apache Spark をサポートする予定はありません。 C# または F# で記述された既存のワークロードを持つユーザーは、Python または Scala に移行することをお勧めします。ユーザーはこの情報をメモし、適切に計画することをお勧めします。

Azure Synapse Runtime for Apache Spark 3.3 for Java/Scala、Python、R に含まれるライブラリを確認するには、Apache Spark 3.3 用 Azure Synapse Runtime に移動します

古いランタイムバージョンから Azure Synapse Runtime for Apache Spark 3.3 または 3.4 への移行に関するガイダンスについては、「 Runtime for Apache Spark の概要を参照してください。