Apache Spark 3.3 için Azure Synapse Runtime (EOSA)
Azure Synapse Analytics, Apache Spark için birden çok çalışma zamanını destekler. Bu belge Apache Spark 3.3 için Azure Synapse Runtime'ın çalışma zamanı bileşenlerini ve sürümlerini kapsar.
Uyarı
Apache Spark 3.3 için Azure Synapse Runtime için destek sonu bildirimi
- 12 Temmuz 2024'te Apache Spark 3.3 için Azure Synapse Runtime için destek sonu duyuruldu.
- Azure Synapse, 31 Mart 2025 tarihinden itibaren Spark 3.3 Çalışma Zamanları için resmi desteği sona erdirecektir.
- Apache Spark 3.3 tabanlı iş yüklerinizi Apache Spark 3.4 (GA) için Azure Synapse Runtime'a yükseltmenizi kesinlikle öneririz.
- Güncel bilgiler, değişikliklerin ayrıntılı listesi ve Spark çalışma zamanları için belirli sürüm notları için Spark Çalışma Zamanları Yayınları ve Güncelleştirmeleri'ne göz atın ve abone olun.
Bileşen sürümleri
| Bileşen | Sürüm |
|---|---|
| Apache Spark | 3.3.1 |
| İşletim Sistemi | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3,10 |
| R (Önizleme) | 4.2.2 |
Synapse-Python310-CPU.yml, Azure Synapse Spark'ta varsayılan Python 3.10 ortamında gönderilen kitaplıkların listesini içerir.
Önemli
Apache Spark için .NET
Apache Spark için .NET, .NET Foundation altında şu anda destek dışı durumuna ulaşmış .NET 3.1 kitaplığını gerektiren açık kaynaklı bir projedir. Azure Synapse Spark kullanıcılarını Apache Spark için Azure Synapse Runtime sürüm 3.3'teki Apache Spark için .NET kitaplığının kaldırılması konusunda bilgilendirmek istiyoruz. Kullanıcılar bu konuyla ilgili daha fazla bilgi için .NET Destek İlkesi'ne başvurabilir.
Sonuç olarak, kullanıcıların artık C# ve F# aracılığıyla Apache Spark API'lerini kullanmaları veya Synapse'teki not defterlerinde veya Synapse'teki Apache Spark İşi tanımları aracılığıyla C# kodu yürütmeleri mümkün olmayacaktır. Bu değişikliğin yalnızca Apache Spark 3.3 ve üzeri için Azure Synapse Runtime'ı etkilediğini unutmayın.
Azure Synapse Runtime'ın önceki tüm sürümlerinde yaşam döngüsü aşamalarına göre Apache Spark için .NET'i desteklemeye devam edeceğiz. Ancak, Apache Spark 3.3 ve sonraki sürümler için Azure Synapse Runtime'da Apache Spark için .NET'i destekleme planlarımız yoktur. C# veya F# ile yazılmış mevcut iş yüklerine sahip kullanıcıların Python veya Scala'ya geçişini öneririz. Kullanıcıların bu bilgileri not almaları ve buna göre planlamaları tavsiye edilir.
Kitaplıklar
Java/Scala, Python ve R için Apache Spark 3.3 için Azure Synapse Runtime'da bulunan kitaplıkları denetlemek için Apache Spark 3.3 için Azure Synapse Runtime'a gidin
Sonraki adımlar
- Azure Synapse Analytics'te Apache Spark havuzları için kitaplıkları yönetme
- Çalışma alanı paketleri tekerleği (Python), jar (Scala/Java) veya tar.gz (R) yükleme
- Azure PowerShell ve REST API aracılığıyla paketleri yönetme
- Oturum kapsamlı paketleri yönetme
- Apache Spark 3.3.1 Belgeleri
- Apache Spark Kavramları
Apache Spark sürümleri arasında geçiş - destek
Eski çalışma zamanı sürümlerinden Apache Spark 3.3 veya 3.4 için Azure Synapse Runtime'a geçiş hakkında yönergeler için bkz. Apache Spark için Çalışma Zamanına Genel Bakış.