Runtime 1.1
Microsoft Fabric Runtime è una piattaforma integrata in Azure basata su Apache Spark che consente l'esecuzione e la gestione delle esperienze di Ingegneria dei dati e data science in Fabric. Questo documento illustra i componenti e le versioni di Fabric Runtime 1.1.
Avviso
La data di fine del supporto per Runtime 1.1 è stata annunciata il 12 luglio 2024. Il runtime 1.1, basato su Apache Spark 3.3, sarà deprecato e disabilitato a partire dal 31 marzo 2025. Aggiornare l'area di lavoro e gli ambienti a Runtime 1.2 o Runtime 1.3. Per il ciclo di vita completo e i criteri di supporto dei runtime di Apache Spark in Fabric, vedere Ciclo di vita dei runtime di Apache Spark in Fabric.
Microsoft Fabric Runtime 1.1 è uno dei runtime offerti all'interno della piattaforma Microsoft Fabric. I componenti principali di Runtime 1.1 sono:
- Apache Spark 3.3
- Sistema operativo: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Suggerimento
Usare sempre la versione di runtime ga più recente per il carico di lavoro di produzione, che attualmente è Runtime 1.2.
Microsoft Fabric Runtime 1.1 include una raccolta di pacchetti di livello predefiniti, tra cui un'installazione completa di Anaconda e librerie comunemente usate per Java/Scala, Python e R. Queste librerie vengono incluse automaticamente quando si usano notebook o processi nella piattaforma Microsoft Fabric. Per un elenco completo delle librerie, vedere la documentazione.
Microsoft Fabric rilascia periodicamente gli aggiornamenti della manutenzione per Runtime 1.1, fornendo correzioni di bug, miglioramenti delle prestazioni e patch di sicurezza. Assicurarsi di rimanere aggiornati con questi aggiornamenti garantisce prestazioni e affidabilità ottimali per le attività di elaborazione dei dati. Se attualmente si usa Runtime 1.1, è possibile eseguire l'aggiornamento a Runtime 1.2 passando a Impostazioni > area di lavoro Ingegneria dei dati/Impostazioni Spark per l'analisi scientifica>.
Nuove funzionalità e miglioramenti - Apache Spark 3.3.1
Leggere la versione completa delle note sulla versione per una versione specifica di Apache Spark visitando sia Spark 3.3.0 che Spark 3.3.1.
Nuove funzionalità e miglioramenti - Delta Lake 2.2
Controllare le note sulla versione di origine e complete in Delta Lake 2.2.0.
Pacchetti a livello predefinito per Java/Scala
Per un elenco di tutti i pacchetti di livello predefiniti per Java, Scala, Python e le rispettive versioni, vedere le note sulla versione.
Migrazione tra versioni diverse di Apache Spark
La migrazione dei carichi di lavoro a Fabric Runtime 1.1 (Apache Spark 3.3) da una versione precedente di Apache Spark prevede una serie di passaggi per garantire una migrazione senza problemi. Questa guida illustra i passaggi necessari per facilitare la migrazione in modo efficiente ed efficace.
Esaminare le note sulla versione di Fabric Runtime 1.1, inclusa la verifica dei componenti e dei pacchetti a livello predefinito inclusi nel runtime, per comprendere le nuove funzionalità e i miglioramenti.
Verificare la compatibilità dell'installazione corrente e di tutte le librerie correlate, incluse le dipendenze e le integrazioni. Esaminare le guide alla migrazione per identificare le potenziali modifiche che causano un'interruzione:
- Esaminare la guida alla migrazione di Spark Core.
- Vedere la guida alla migrazione di SQL, set di dati e dataframe.
- Se la soluzione è correlata a Apache Spark Structure Streaming, vedere la guida alla migrazione di Structured Streaming.
- Se si usa PySpark, vedere la guida alla migrazione di Pyspark.
- Se si esegue la migrazione del codice da Koalas a PySpark, vedere la guida alla migrazione da Koalas all'API Pandas in Spark.
Spostare i carichi di lavoro in Infrastruttura e assicurarsi di disporre di backup dei file di dati e di configurazione nel caso in cui sia necessario ripristinare la versione precedente.
Aggiornare le dipendenze che la nuova versione di Apache Spark o di altri componenti correlati a Fabric Runtime 1.1 potrebbe influire, incluse librerie o connettori di terze parti. Assicurarsi di testare le dipendenze aggiornate in un ambiente di staging prima della distribuzione nell'ambiente di produzione.
Aggiornare la configurazione di Apache Spark nel carico di lavoro, inclusi l'aggiornamento delle impostazioni di configurazione, la modifica delle allocazioni di memoria e la modifica di eventuali configurazioni deprecate.
Modificare le applicazioni Apache Spark (notebook e definizioni di processi Apache Spark) per usare le nuove API e funzionalità introdotte in Fabric Runtime 1.1 e Apache Spark 3.3. Potrebbe essere necessario aggiornare il codice per supportare eventuali API deprecate o rimosse e effettuare il refactoring delle applicazioni per sfruttare i miglioramenti delle prestazioni e le nuove funzionalità.
Testare accuratamente le applicazioni aggiornate in un ambiente di staging per garantire compatibilità e stabilità con Apache Spark 3.3. Eseguire test delle prestazioni, test funzionali e test di regressione per identificare e risolvere eventuali problemi che possono verificarsi durante il processo di migrazione.
Dopo aver convalidato le applicazioni in un ambiente di staging, distribuire le applicazioni aggiornate nell'ambiente di produzione. Monitorare le prestazioni e la stabilità delle applicazioni dopo la migrazione per identificare eventuali problemi da risolvere.
Aggiornare la documentazione interna e i materiali di training per riflettere le modifiche introdotte in Fabric Runtime 1.1. Assicurarsi che i membri del team abbia familiarità con le nuove funzionalità e i miglioramenti per ottimizzare i vantaggi della migrazione.