Microsoft Fabric での Synapse Data Engineering の新機能と計画

[アーティクル]
08/02/2024

重要

リリース計画で説明されている機能は、まだリリースされていない場合があります。提供タイムラインおよび予定されている機能は、変更される可能性、またはリリースされない可能性があります。詳細については、「Microsoft ポリシー」をご覧ください。

Synapse Data Engineering を使用すると、データエンジニアは Spark を使用して大規模にデータを変換し、レイクハウスアーキテクチャを構築できます。

すべての組織データのためのレイクハウス: レイクハウスは、データレイクとデータウェアハウスのベストを 1 つのエクスペリエンスで組み合わせたものになります。これにより、ユーザーは、レイク内のオープン形式で組織データを取り込み、準備し、共有することができます。後で Spark、T-SQL、Power BI などの複数のエンジンを介してアクセスできます。データフローやパイプライン、外部データソースへのショートカット、データ製品共有機能など、さまざまなデータ統合オプションが提供されます。

パフォーマンスの高い Spark エンジンとランタイム: Synapse Data Engineering は、Spark、Delta、Python の最新バージョンを使用して最適化された Spark ランタイムを提供します。すべてのエンジンの共通テーブル形式として Delta Lake を使用するため、データ移動なしで簡単にデータ共有とレポートを行うことができます。ランタイムには Spark の最適化が付属し、構成なしでクエリのパフォーマンスが向上します。また、Spark セッションを高速化して再利用するためのスタータープールと高コンカレンシーモードも提供されるため、時間とコストを節約できます。

Spark 管理者と構成: 適切なアクセス許可を持つワークスペース管理者は、Spark ワークロードのパフォーマンスとコストを最適化するためのカスタムプールを作成して構成できます。作成者は、ライブラリのインストール、ランタイムバージョンの選択、ノートブックと Spark ジョブの Spark プロパティの設定を行う環境を構成できます。

開発者エクスペリエンス: 開発者は、ノートブック、Spark ジョブ、または任意の IDE を使用して、Fabric で Spark コードを作成して実行できます。レイクハウスデータへのネイティブアクセス、他のユーザーとの共同作業、ライブラリのインストール、履歴の追跡、インライン監視の実行、Spark Advisor からの推奨事項の取得を行うことができます。また、Data Wrangler を使用して、低コード UI でデータを簡単に準備することもできます。

プラットフォーム統合: ノートブック、Spark ジョブ、環境、レイクハウスを含むすべての Synapse Data Engineering 項目は、Fabric プラットフォーム (エンタープライズ情報管理機能、系列、秘密度ラベル、保証) に深く統合されています。