Fabric Runtime 1.3, allgemein verfügbar

  • Artikel

Die Fabric-Runtime bietet eine nahtlose Integration in Azure. Sie bietet eine fortschrittliche Umgebung für Datentechnik- und Data Science-Projekte, bei denen Apache Spark zum Einsatz kommt. Dieser Artikel enthält eine Übersicht über die wichtigen Features und Komponenten der Fabric-Runtime 1.3, der neuesten Runtime für Big Data-Berechnungen.

Microsoft Fabric Runtime 1.3 ist die neueste allgemeine verfügbare Laufzeitversion und enthält die folgenden Komponenten und Upgrades, die entwickelt wurden, um Ihre Datenverarbeitungsfunktionen zu verbessern:

  • Apache Spark 3.5
  • Betriebssystem: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.2
  • R: 4.4.1

Tipp

Fabric Runtime 1.3 enthält Unterstützung für das Native Execution Engine, das die Leistung ohne zusätzliche Kosten erheblich verbessern kann. Um das Native Execution Engine für alle Aufträge und Notebooks in Ihrer Umgebung zu aktivieren, navigieren Sie zu Ihren Umgebungseinstellungen, wählen Sie Spark-Compute aus, wechseln Sie zur Registerkarte „Beschleunigung“ und aktivieren Sie das Native Execution Engine. Nach dem Speichern und Veröffentlichen wird diese Einstellung in der gesamten Umgebung angewendet, sodass alle neuen Aufträge und Notebooks automatisch erben und von den erweiterten Leistungsfunktionen profitieren.

Halten Sie sich an die folgenden Anweisungen, um die Runtime 1.3 in Ihren Arbeitsbereich zu integrieren und die neuen Features zu verwenden:

  1. Navigieren Sie im Fabric-Arbeitsbereich zur Registerkarte Arbeitsbereichseinstellungen.
  2. Wechseln Sie zur Registerkarte Datentechnik/Data Science, und wählen Sie Spark-Einstellungen aus.
  3. Wählen Sie die Registerkarte Umgebung aus.
  4. Erweitern Sie unter den Runtime-Versionen das Dropdownmenü.
  5. Wählen Sie 1.3 (Spark 3.5, Delta 3.2) aus und speichern Sie Ihre Änderungen. Hiermit wird 1.3 als Standard-Runtime für Ihren Arbeitsbereich festgelegt.

Screenshot: Auswählen der Runtimeversion.

Sie können jetzt mit den neuesten Verbesserungen und Funktionen arbeiten, die in Fabric Runtime 1.3 (Spark 3.5 und Delta Lake 3.2) eingeführt wurden.

Wichtigste Highlights

Apache Spark 3.5

Apache Spark 3.5.0 ist die sechste Version der 3.x-Reihe. Diese Version ist das Ergebnis einer umfassenden Zusammenarbeit in der Open-Source-Community. Dabei wurden mehr als 1.300 Probleme behoben, wie in Jira aufgezeichnet.

In dieser Version gibt es ein Upgrade in der Kompatibilität für strukturiertes Streaming. Darüber hinaus erweitert diese Version die Funktionalität in PySpark und SQL. Es kommen Features wie die SQL-Bezeichnerklausel, benannte Argumente in SQL-Funktionsaufrufen und die Einbeziehung von SQL-Funktionen für ungefähre HyperLogLog-Aggregationen hinzu. Zu den weiteren neuen Funktionen gehören benutzerdefinierte Python-Tabellenfunktionen, die Vereinfachung des verteilten Trainings über DeepSpeed und neue Funktionen für strukturiertes Streaming wie die Grenzwertverteilung und der Vorgang DropDuplicatesWithinWatermark.

Die vollständige Liste und detaillierte Änderungen finden Sie hier: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.2 ist ein kollektives Engagement, um die Arbeit mit Delta Lake in formatübergreifenden Formaten einfacher und leistungsfähiger zu machen. Delta Spark 3.2 basiert auf Apache Spark™ 3.5. Das Maven-Artefakt von Delta Spark wurde von delta-core in delta-spark umbenannt.

Die vollständige Liste und detaillierte Änderungen finden Sie hier: https://docs.delta.io/3.2.0/index.html.

Tipp

Um aktuelle Informationen, eine ausführliche Liste der Änderungen und spezifische Versionshinweise für Fabric-Runtimes zu erhalten, sollten Sie Spark-Runtimes – Versionen und Updates lesen und abonnieren.

Zugehöriger Inhalt