Runtime di Fabric 1.3 (anteprima pubblica)

  • Articolo

Il runtime di Infrastruttura offre un'integrazione perfetta con Azure. Offre un ambiente sofisticato sia per la progettazione dei dati che per i progetti di data science che usano Apache Spark. Questo articolo offre una panoramica delle funzionalità e dei componenti essenziali di Fabric Runtime 1.3, il runtime più recente per i calcoli di Big Data.

Fabric Runtime 1.3 incorpora i componenti e gli aggiornamenti seguenti progettati per migliorare le funzionalità di elaborazione dei dati:

  • Apache Spark 3.5
  • Sistema operativo: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.1
  • R: 4.3.3

Nota

Fabric Runtime 1.3 è attualmente in una fase di anteprima pubblica. Le integrazioni con VSCode e Unione casuale bassa non sono supportate nella versione di anteprima pubblica.

Usare le istruzioni seguenti per integrare il runtime 1.3 nell'area di lavoro e usare le nuove funzionalità:

  1. Passare alla scheda Impostazioni area di lavoro all'interno dell'area di lavoro infrastruttura.
  2. Passare alla scheda Ingegneria dei dati/Scienza e selezionare Impostazioni Spark.
  3. Fare clic sulla scheda Ambiente.
  4. Nell'elenco a discesa Versioni di runtime selezionare 1.3 Anteprima pubblica (Spark 3.5, Delta 3.1) e salvare le modifiche. Questa azione imposta 1.3 come runtime predefinito per l'area di lavoro.

Screenshot che mostra dove selezionare la versione di runtime.

È ora possibile iniziare a usare i miglioramenti e le funzionalità più recenti introdotti in Runtime di Fabric 1.3 (Spark 3.5 e Delta Lake 3.1).

Suggerimento

Per informazioni aggiornate, un elenco dettagliato delle modifiche e specifiche note sulla versione per i runtime di Fabric, controllare e sottoscrivere versioni e aggiornamenti di Spark Runtimes.

In primo piano

Apache Spark 3.5

Apache Spark 3.5.0 è la sesta versione della serie 3.x. Questa versione è un prodotto di ampia collaborazione all'interno della community open source, risolvendo più di 1.300 problemi come registrato in Jira.

In questa versione è disponibile un aggiornamento della compatibilità per lo streaming strutturato. Inoltre, questa versione amplia le funzionalità all'interno di PySpark e SQL. Aggiunge funzionalità come la clausola dell'identificatore SQL, gli argomenti denominati nelle chiamate di funzione SQL e l'inclusione di funzioni SQL per le aggregazioni approssimative di HyperLogLog. Altre nuove funzionalità includono anche funzioni di tabella definite dall'utente Python, la semplificazione del training distribuito tramite DeepSpeed e nuove funzionalità di streaming strutturate come la propagazione della filigrana e l'operazione dropDuplicatesWithinWatermark .

È possibile controllare l'elenco completo e le modifiche dettagliate qui: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.1 è un impegno collettivo per rendere l'interoperabilità delta Lake tra formati, più facile da usare e prestazioni più elevate. Delta Spark 3.1.0 è basato su Apache Spark™ 3.5. L'artefatto maven di Delta Spark è stato rinominato da delta-core a delta-spark.

È possibile controllare l'elenco completo e le modifiche dettagliate qui: https://docs.delta.io/3.1.0/index.html.

Nota

Condividere commenti e suggerimenti su Fabric Runtime nella piattaforma Ideas. Assicurarsi di menzionare la versione e la fase di rilascio a cui si fa riferimento. Microsoft valuta il feedback della community e assegna priorità ai miglioramenti in base ai voti, assicurandosi di soddisfare le esigenze degli utenti.

Contenuto correlato