Azure Synapse Analytics アーカイブの新機能
この記事では、Azure Synapse Analytics に対する前の月の更新について説明します。 最新の月のリリースについては、Azure Synapse Analytics の最新の更新に関するページをご覧ください。 各更新は、Azure Synapse Analytics ブログと詳細情報が記載された記事にリンクされています。
一般提供の機能
次の表は、これまでにプレビューから一般提供 (GA) に移行した Azure Synapse Analytics の機能の履歴の一覧です。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2021 年 7 月 | Apache Spark™ 3.2 for Synapse Analytics | Apache Spark™ 3.2 for Synapse Analytics の一般提供が開始されました。 既存アプリケーションの変更の必要性を評価するには、公式リリース ノートと Spark 3.1 から 3.2 への移行ガイドラインをご覧ください。 詳細については、Apache Spark バージョンのサポート状況と Apache Spark 3.2 用 Azure Synapse ランタイムに関する記事を参照してください。 Spark 3.2 で改善された点は、「Azure Synapse Analytics July Update 2022」でご覧いただけます。 |
| 2021 年 7 月 | Apache Spark in Azure Synapse Intelligent Cache 機能 | Spark のインテリジェント キャッシュは、割り当てられたキャッシュ ストレージ領域内に各読み取りを自動的に格納し、基になるファイルの変更を検出して、最新のデータを提供するようにファイルを更新します。 詳しくは、Apache Spark プールのキャッシュを有効または無効にする方法に関する記事を参照してください。 |
| 2022 年 6 月 | データのマッピング ツール | Map Data (データのマッピング) ツールは、ユーザーがコードを書くことなく、ソース データから Synapse Lake データベースのテーブルへの ETL マッピングやマッピング データ フローを作成するために使用できる、ガイド付きのプロセスです。 データのマッピング ツールの詳細については、「Azure Synapse Analytics でデータをマッピングする」を参照してください。 |
| 2022 年 6 月 | ユーザー定義関数 | ユーザー定義関数 (UDF) の一般提供が開始されました。 詳細については、マッピング データ フローでのユーザー定義関数に関する記事を参照してください。 |
| 2022 年 5 月 | Power Automate、Logic Apps、Power Apps 用の Azure Synapse Data Explorer コネクタ | Power Automate 用の Azure Data Explorer コネクタを使用すると、フローの調整とスケジュール設定や、通知とアラートの送信を、スケジュール設定されたタスクまたはトリガーされたタスクの一部として実行できます。 詳細については、「Microsoft Power Automate 用の Azure Data Explorer コネクタ」と「Power Automate に接続する Azure Data Explorer コネクタの使用例」を参照してください。 |
| 2022 年 4 月 | Azure Synapse SQL のサブスクリプション間の復元 | PowerShell Az.Sql モジュール 3.8 更新プログラムを適用すれば、Restore-AzSqlDatabase コマンドレットを使用して、専用 SQL プールのサブスクリプション間の復元を行うことができます。 詳細については、「ブログ: 専用 SQL プール (以前の SQL DW) を別のサブスクリプションに復元する」を参照してください。 この機能は、専用 SQL プール (旧称 SQL DW) と Synapse ワークスペースの専用 SQL プールで一般提供されるようになりました。 両者の違いについては、こちらをご覧ください。 |
| 2022 年 4 月 | データベース デザイナー | データベース デザイナーを使用すると、ユーザーは 1 行もコードを記述することなく、Synapse Studio 内で視覚的にデータベースを作成できます。 詳細については、データベース デザイナーの一般提供の発表に関する記事を参照してください。 レイク データベースの詳細とデータベース デザイナーを使用して既存のレイク データベースを変更する方法を参照してください。 |
| 2022 年 4 月 | データベース テンプレート | Synapse データベース テンプレートの一般提供に関するブログで、新しい業界固有のデータベース テンプレートが紹介されています。 データベース テンプレートおよび探索エクスペリエンスの向上に関する記事を参照してください。 |
| 2022 年 4 月 | Synapse 監視オペレーター RBAC ロール | Synapse 監視オペレーター RBAC (ロールベースのアクセス制御) ロールは、Synapse パイプラインと Spark アプリケーションの実行を、実際にそれらのアプリケーションを実行したり実行をキャンセルしたりする権限がなくても、ユーザー ペルソナが監視することを可能にします。 詳細については、「Synapse RBAC ロール」を参照してください。 |
| 2022 年 3 月 | Flowlets | Flowlet を使用すると、新しいデータ フロー ロジックの一部を設計したり、既存のデータ フローの一部を抽出したり、それらを Synapse ワークスペース内で個別の成果物として保存したりできます。 Flowlet はその後、他のデータ フロー内で再利用できます。 詳細については、Flowlet の GA をお知らせするブログ記事と「マッピング データ フローの Flowlet」を参照してください。 |
| 2022 年 3 月 | フィード コネクタの変更 | Azure Cosmos DB、Azure Blob Storage、ADLS Gen1、ADLS Gen2、Common Data Model (CDM) について、CDC (変更データ キャプチャ) フィード データ フロー ソース変換の一般提供が開始されました。 チェック ボックスをオンにするだけで、チェックポイントを自動的に管理するように ADF に指示し、前回のパイプライン実行以降に更新または挿入された最新の行のみを読み取ることができます。 詳細については、変更フィード コネクタの GA プレビューに関するブログ記事と「Azure Data Factory または Azure Synapse Analytics を使用した Azure Data Lake Storage Gen2 でのデータのコピーと変換」を参照してください。 |
| 2022 年 3 月 | 専用 SQL プールの列レベルの暗号化 | Azure Synapse 専用 SQL プールを含む新規および既存の Azure SQL 論理サーバーと、Azure Synapse ワークスペース内の専用 SQL プールについて、列レベルの暗号化の一般提供が開始されました。 専用 SQL プールの列レベル暗号化に対する SQL Server Data Tools (SSDT) のサポートは、Visual Studio 2022 の 17.2 プレビュー 2 ビルド以降で提供されます。 |
| 2022 年 3 月 | Synapse Spark Common Data Model (CDM) コネクタ | CDM 形式のリーダーとライターを使うことにより、Spark プログラムで、Spark データフレームを介して CDM フォルダー内の CDM エンティティの読み取りと書き込みを行うことができます。 詳しくは、CDM コネクタによるデータの読み取りと書き込みのサポート、例、既知の問題に関する記事をご覧ください。 |
| 2021 年 11 月 | PREDICT | 専用 SQL プールで T-SQL PREDICT 構文の一般提供が開始されました。 まずは「チュートリアル: 専用 SQL プール向けの機械学習モデル スコアリング ウィザード」をご覧ください。 |
| 2021 年 10 月 | Synapse RBAC ロール | Synapse RBAC (ロールベースのアクセス制御) ロールの一般提供が開始されました。 詳細については、「Synapse RBAC ロール」と PowerShell を使用した Azure Synapse RBAC (ロールベースのアクセス制御) に関する記事を参照してください。 |
コミュニティ
このセクションは、Azure Synapse Analytics コミュニティの機会と、Microsoft からのAzure Synapseインフルエンサー プログラムのアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 5 月 | Azure Synapse インフルエンサー プログラム | 無料の Azure Synapse インフルエンサー プログラムにサインアップし、クラウド分析でより多くのことを実現できるように人々の支援に専念する Synapse ユーザーのコミュニティにご参加ください。 次回の Synapse インフルエンサーの専門家に質問 セッションに今すぐ登録しましょう。 だれもが自由に参加でき、Synapse 関連のトピックについてのディスカッションに参加できます。 Azure Synapse YouTube チャンネルで、過去に開催された Ask the Experts イベントの録画を視聴できます。 |
| 2022 年 3 月 | Azure Synapse Analytics と Microsoft MVP YouTube ビデオ シリーズ | Azure Synapse 製品チームと Microsoft MVP コミュニティとの共同アクティビティで、Azure Synapse の機能に関する新しい YouTube MVP ビデオ シリーズが開始されました。 詳細については、Azure Synapse Analytics YouTube チャンネルをご覧ください。 |
Apache Spark for Azure Synapse Analytics
このセクションは、Apache Spark for Azure Synapse Analytics の機能のアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 5 月 | Apache Spark 用の Azure Synapse 専用 SQL プール コネクタが Python で利用可能に | 従来、Apache Spark 用の Azure Synapse 専用 SQL プール コネクタの利用は、Scala を使用している場合に限られていました。 Apache Spark 用の専用 SQL プール コネクタを Spark 3 上の Python で使用できるようになりました。 |
| 2022 年 5 月 | Azure Synapse Apache Spark 構成の管理 | 新しい Apache Spark 構成機能を使用すると、自動提案と組み込みの検証規則を備えたスタンドアロンの Spark 構成成果物を作成できます。 Spark 構成成果物を使用すると、Azure Synapse ワークスペース内およびその間で Spark 構成を共有できます。 また、Spark 構成を Spark プール、Notebook、および Spark ジョブ定義と簡単に関連付けて再利用したり、Spark 構成を複数の場所にコピーする必要性を最小限にしたりすることもできます。 |
| 2022 年 4 月 | Apache Spark 3.2 for Synapse Analytics | Apache Spark 3.2 for Synapse Analytics のプレビュー提供が開始されました。 既存アプリケーションの変更の必要性を評価するには、公式 Spark 3.2 リリース ノートと Spark 3.1 から 3.2 への移行ガイドラインをご覧ください。 詳細については、Apache Spark バージョンのサポート状況と Apache Spark 3.2 用 Azure Synapse ランタイムに関する記事を参照してください。 |
| 2022 年 4 月 | Spark ジョブ定義のパラメーター化 | 変数やメタデータに基づいて動的にパラメーターを割り当てたり、Spark ジョブ定義アクティビティにパイプライン固有のパラメーターを指定したりできるようになりました。 詳細については、「Apache Spark のジョブ定義を使用してデータを変換する」を参照してください。 |
| 2022 年 4 月 | Apache Spark ノートブック スナップショット | パイプライン ノートブックの実行エラーが発生したときや、実行時間の長いノートブック ジョブが存在するときに、ノートブックのスナップショットにアクセスできます。 詳細については、「Synapse Notebook を実行してデータを変換する」および「Microsoft Spark Utilities の概要」を参照してください。 |
| 2022 年 3 月 | Synapse Spark Common Data Model (CDM) コネクタ | CDM 形式のリーダーとライターを使うことにより、Spark プログラムで、Spark データフレームを介して CDM フォルダー内の CDM エンティティの読み取りと書き込みを行うことができます。 詳しくは、CDM コネクタによるデータの読み取りと書き込みのサポート、例、既知の問題に関する記事をご覧ください。 |
| 2022 年 3 月 | Synapse Spark 専用 SQL プール コネクタのパフォーマンスの最適化 | Apache Spark 用の Azure Synapse 専用 SQL プール コネクタに対する新たな機能強化により、データの移動と COPY INTO の活用が軽減されます。 パフォーマンス テストでは、以前のバージョンと比べて約 5 倍以上の改善が示されました。 これらの機能強化を利用するためにユーザーが行うべきアクションはありません。 詳細については、「ブログ: Synapse Spark 専用 SQL プール (DW) コネクタ: パフォーマンスの向上」を参照してください。 |
| 2022 年 3 月 | Spark Dataframe SaveMode のすべての選択肢をサポート | Apache Spark 用の Azure Synapse 専用 SQL プール コネクタで、Spark Dataframe SaveMode の 4 つの選択肢 (Append、Overwrite、ErrorIfExists、Ignore) がすべてサポートされるようになりました。 Spark SaveMode の詳細については、Apache Spark の公式ドキュメントを参照してください。 |
| 2022 年 3 月 | Apache Spark in Azure Synapse Analytics Intelligent Cache 機能 | Spark のインテリジェント キャッシュは、割り当てられたキャッシュ ストレージ領域内に各読み取りを自動的に格納し、基になるファイルの変更を検出して、最新のデータを提供するようにファイルを更新します。 このプレビュー機能について詳しくは、Apache Spark プールのキャッシュを有効または無効にする方法に関する記事、またはブログ記事を参照してください。 |
データ統合
このセクションは、Azure Synapse Analytics データ統合の機能のアーカイブです。 Azure Data Factory (ADF) または Synapse パイプラインを使用して Azure Synapse Analytics にデータを読み込む方法について説明します。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 6 月 | SAP CDC コネクタ プレビュー | SAP Change Data Capture (CDC) の新しいデータ コネクタがプレビューで利用できるようになりました。 詳細については、Azure Data Factory と Azure Synapse Analytics における SAP CDC ソリューションのパブリック プレビューの発表および Azure Data Factory の SAP CDC ソリューションに関する記事を参照してください。 |
| 2022 年 6 月 | 結合変換のあいまい結合オプション | マッピング データ フローの結合変換に、[類似性のしきい値] スコア スライダーとのあいまい一致が追加されました。 |
| 2022 年 6 月 | データのマッピング ツールが GA に | データのマッピング ツールの一般提供が開始されたことをお知らせします。 Map Data (データのマッピング) ツールは、ユーザーがコードを書くことなく、ソース データから Synapse Lake データベースのテーブルへの ETL マッピングやマッピング データ フローを作成するために使用できる、ガイド付きのプロセスです。 |
| 2022 年 6 月 | 新しいパラメーターを指定してパイプラインを再実行する | パイプライン エディターに戻ることなく、[監視] ページからパイプラインを再実行するときにパイプライン パラメーターを変更できるようになりました。 詳細については、「パイプラインとアクティビティの再実行」を参照してください。 |
| 2022 年 6 月 | ユーザー定義関数が GA に | マッピング データ フローのユーザー定義関数 (UDF) の一般提供 (GA) が開始されました。 |
| 2022 年 5 月 | パイプラインの監視を CSV としてエクスポート | パイプラインの監視を CSV にエクスポートするなど監視機能の強化が ADF に導入されています。 |
| 2022 年 5 月 | PostgreSQL と MySQL からのソース データの自動増分読み込み | PostgreSQL と MySQL から Synapse SQL および Azure Database へのソース データの自動増分読み込みが ADF でネイティブに利用できるようになりました。 |
| 2022 年 5 月 | アサート変換のエラー処理 | マッピング データ フローでのアサート変換の後にシンクにエラー処理が追加されました。 失敗した行を選択したシンクに出力するか、別のファイルに出力するかを選択できるようになりました。 |
| 2022 年 5 月 | マッピング データ フローのプロジェクション編集 | マッピング データ フローで、ソース プロジェクションの列名と列の種類を更新できるようになりました。 |
| 2022 年 4 月 | Synapse データ フロー用 Dataverse コネクタ | Synapse データ フローのソースおよびシンク コネクタが Dataverse になりました。 Azure Data Factory または Synapse Analytics を使用して、Dynamics 365 (Microsoft Dataverse) または Dynamics CRM のデータをコピーして変換することができます。 |
| 2022 年 4 月 | Synapse パイプライン Web アクティビティの応答タイムアウトを構成可能 | 応答タイムアウト プロパティ httpRequestTimeout で、10 分を上限として HTTP 要求のタイムアウトを定義できます。 Web アクティビティは、スケーラブルな Web API/サービスを構築するための推奨されるアプローチである非同期要求-応答パターンに従った API との相性が非常に良くなっています。 |
| 2022 年 3 月 | Synapse データ フロー用の sFTP コネクタ | Synapse のビジュアル ローコード データ フロー インターフェイスを使用して sFTP からのデータの読み取りと書き込みを行うために Synapse データ フローのネイティブ sftp コネクタがサポートされます。 詳細については、「Azure Data Factory または Azure Synapse Analytics を使用して、SFTP サーバーのデータをコピーして変換する」を参照してください。 |
| 2022 年 3 月 | データ プレビューのデータ フローの機能強化 | マッピング データ フローのデバッグの改善とデータ プレビューに追加された機能をご覧ください。 |
| 2022 年 3 月 | パイプライン スクリプト アクティビティ | SQL コマンドを呼び出して DDL と DML の両方を実行するスクリプト アクティビティを使用してデータを変換できるようになりました。 |
| 2021 年 12 月 | Azure Cosmos DB 用の Synapse リンクでのカスタム パーティション | クエリで頻繁に使用されるフィールドに基づいてカスタム パーティションを作成することで、Spark クエリの実行時間を短縮します。 詳細については、「Azure Synapse Link for Azure Cosmos DB でのカスタム パーティション分割 (プレビュー)」を参照してください。 |
データベース テンプレートとデータベース デザイナー
このセクションは、データベース テンプレートとデータベース デザイナーの機能のアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 4 月 | データベース デザイナー | データベース デザイナーを使用すると、ユーザーは 1 行もコードを記述することなく、Synapse Studio 内で視覚的にデータベースを作成できます。 詳細については、データベース デザイナーの一般提供の発表に関する記事を参照してください。 レイク データベースの詳細とデータベース デザイナーを使用して既存のレイク データベースを変更する方法を参照してください。 |
| 2022 年 4 月 | データベース テンプレート | Synapse データベース テンプレートの一般提供に関するブログで、新しい業界固有のデータベース テンプレートが紹介されています。 データベース テンプレートおよび探索エクスペリエンスの向上に関する記事を参照してください。 |
| 2022 年 4 月 | レイク データベースを複製する | Synapse Studio で、レイク データベースにあるアクション メニューを使用してデータベースを複製できるようになりました。 詳細については、「Lake データベースを複製する方法」を参照してください。 |
| 2022 年 4 月 | ワイルドカードを使用してカスタム フォルダー階層を指定 | レイク データベースは、レイク内のデータを基盤としており、このデータは、クリーンなパーティション パターンに適合しない入れ子のフォルダーに格納することができます。 ワイルドカードを使用してカスタム フォルダー階層を指定できるようになりました。 詳細については、データレイクを変更する方法に関する記事を参照してください。 |
| 2022 年 1 月 | 新しいデータベース テンプレート | 業界固有の新しい自動車、ゲノム、製造、医薬品テンプレートに関する詳しい情報をご覧ください。また、Synapse Studio ギャラリーでデータベース テンプレートの概要をご覧いただけます。 |
開発者エクスペリエンス
このセクションは、Azure Synapse Analytics の開発者のための作業環境と機能の改善についてのアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 5 月 | Azure Synapse Analyzer レポートを更新 | 新機能については、バージョン 2.0 の Synapse Analyzer レポートに関する記事を参照してください。 |
| 2022 年 4 月 | Azure Synapse Analyzer レポート | Azure Synapse Analyzer レポートは、データベースに存在する可能性がある一般的な問題のうち、パフォーマンスの問題につながる可能性があるものを特定するのに役立ちます。 |
| 2022 年 4 月 | 発行されていないノートブックを参照する | 今後は、「%run <ノートブック>」を使用すると "未公開のノートブックの参照" を有効にでき、公開されていないノートブックの参照が可能になります。 有効にした場合、ノートブックの実行によって、ノートブックの Web キャッシュから最新の内容がフェッチされます。つまり、ノートブック エディター内の変更を他のノートブックから即座に参照できます。それらが公開 (ライブ モード) またはコミット (Git モード) されている必要はありません。 |
| 2022 年 3 月 | 例外があるコード セルで標準出力を表示 | Synapse ノートブックで、Python 言語と Scala 言語のコード ステートメントが失敗したときに、標準出力と例外メッセージの両方が表示されるようになりました。 例については、「Synapse ノートブック: 例外があるコード セルで標準出力を表示」を参照してください。 |
| 2022 年 3 月 | ノートブックのコード セルの実行過程で出力の確認が可能に | Synapse ノートブックで、(println コマンドなどで) 出力したすべての情報をセルの実行過程で確認できるようになりました。実行が完了するまで待つ必要はありません。 例については、「Synapse ノートブック: ノートブックのコード セルの実行過程で出力の確認が可能に」を参照してください。 |
| 2022 年 3 月 | パイプライン パラメーターを使用して Spark セッションの構成を動的に制御 | Synapse ノートブックで、パイプライン パラメーターとノートブックの %%configure マジックを使用してセッションを構成できるようになりました。 例については、「Synapse Notebooks: パイプライン パラメーターを使用して Spark セッションの構成を動的に制御」を参照してください。 |
| 2022 年 3 月 | ノートブック セッションの再利用と管理 | Synapse ノートブックで、新しいセッションを開始することなく、アクティブなセッションを便宜的に再利用したり、[アクティブなセッション] リストに表示して管理したりすることが簡単にできるようになりました。 セッションを表示するには、ノートブックの 3 つのドットを選択し、[セッションの管理] を選択します。例については、「Synapse ノートブック: ノートブック セッションの再利用と管理」を参照してください。 |
| 2022 年 3 月 | Python ログのサポート | Synapse ノートブックで、ドライバー ログに加えて、Python ログ モジュールから書き込まれたものもキャプチャされるようになりました。 例については、「Synapse ノートブック: Python ログのサポート」を参照してください。 |
Machine Learning
このセクションは、Azure Synapse Analytics での機械学習モデルに対する機能と改善のアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 6 月 | 分散ディープ ニューラル ネットワーク トレーニング (プレビュー) | また、Azure Synapse ランタイムには、分散トレーニングによく使われる Petastorm や Horovod などのライブラリのサポートも含まれています。 現在、この機能はプレビューでご利用いただけます。 Apache Spark 3.1 と 3.2 Azure Synapse 用の Analytics ランタイム には、TensorFlow や PyTorch などの最も一般的なディープ ラーニング ライブラリのサポートも含まれるようになりました。 Azure Synapse Analytics GPU アクセラレーション プール内でこれらのライブラリを活用する方法の詳細については、「ディープ ラーニング チュートリアル」 を参照してください。 |
| 2021 年 11 月 | PREDICT | 専用 SQL プールで T-SQL PREDICT 構文の一般提供が開始されました。 まずは「チュートリアル: 専用 SQL プール向けの機械学習モデル スコアリング ウィザード」をご覧ください。 |
サンプルとガイダンス
このセクションは、Azure Synapse Analytics に関するガイダンスとサンプル プロジェクト リソースのアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 6 月 | Synapse Analytics を使用した Azure Orbital Analytics | Azure Synapse Analytics で地理空間ライブラリと AI モデルを使用して、宇宙空間データの抽出、読み込み、変換、分析のエンドツーエンドの実装を示す Azure Orbital analytics サンプル ソリューションが提供されました。 このサンプル ソリューションでは、地理空間固有の Azure AI サービス モデル、パートナーからの AI モデル、独自のデータを持ち込むモデルを統合する方法も示します。 |
| 2022 年 6 月 | Oracle の移行ガイド | Microsoft が作成した、Oracle から Azure Synapse Analytics への新しい移行ガイドの提供が開始されました。 Oracle 移行の設計とパフォーマンス。 |
| 2022 年 6 月 | Azure Synapse の設計上の成功 | 「Azure Synapse 概念実証プレイブック」には、SQL または Spark ワークロードの概念実証のスコープ、設計、実行、評価を行うためのガイドが用意されています。 |
| 2022 年 6 月 | Teradata の移行ガイド | Microsoft が作成した、Teradata から Azure Synapse Analytics への新しい移行ガイドの提供が開始されました。 Teradata の移行の設計とパフォーマンス。 |
| 2022 年 6 月 | IBM Netezza の移行ガイド | Microsoft が作成した、IBM Netezza から Azure Synapse Analytics への新しい移行ガイドの提供が開始されました。 IBM Netezza 移行の設計とパフォーマンス。 |
セキュリティ
このセクションは、Azure Synapse Analytics でのセキュリティ機能と設定のアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 4 月 | Synapse 監視オペレーター RBAC ロール | Synapse 監視オペレーター RBAC (ロールベースのアクセス制御) ロールは、Synapse パイプラインと Spark アプリケーションの実行を、実際にそれらのアプリケーションを実行したり実行をキャンセルしたりする権限がなくても、ユーザー ペルソナが監視することを可能にします。 詳細については、「Synapse RBAC ロール」を参照してください。 |
| 2022 年 3 月 | 最小 TLS バージョンの強制 | Synapse ワークスペースの専用 SQL プールの最小 TLS バージョンを上げたり下げたりできるようになりました。 詳細については、「Azure SQL の接続の設定」を参照してください。 TLS の最小設定は、ワークスペース マネージド SQL API を使用して変更できます。 |
| 2022 年 3 月 | Azure Synapse Analytics が Azure Active Directory (Azure AD) のみの認証をサポート | Azure Active Directory 認証を使用して、SQL プールを含むすべての Azure Synapse リソースへのアクセスを一元的に管理できるようになりました。 ワークスペースの作成時または作成後に、Azure portal を使用してローカル認証を無効にすることができます。 |
| 2021 年 12 月 | ユーザー割り当て済みマネージド ID | Synapse パイプラインとデータフローのリンク サービスで、ユーザー割り当てマネージド ID を認証に使用できるようになりました。 詳細については、「Azure Data Factory と Azure Synapse における資格情報」を参照してください。 |
| 2021 年 12 月 | Azure Synapse Analytics ワークスペースで ADLS Gen2 フォルダーを参照する | Synapse Studio 内の特定のコンテナーまたはフォルダーに接続することで、Azure Synapse Analytics ワークスペース内の Azure Data Lake Storage Gen2 (ADLS Gen2) コンテナーまたはフォルダーを参照し、セキュリティで保護できるようになりました。 |
| 2021 年 12 月 | TLS 2.1 が強制される新しい Synapse ワークスペース | 2021 年 12 月以降、新しい Synapse ワークスペースに限り、TLS 1.2 の要件が導入されています。 |
Azure Synapse Data Explorer
Azure Data Explorer (ADX) は、ログとテレメトリ データのための高速で非常にスケーラブルなデータ探索サービスです。 Event Hubs、IoT Hub、BLOB コンテナーに書き込まれた BLOB、Azure Stream Analytics ジョブからのインジェストを提供します。 このセクションは、Azure Synapse Data Explorer と Kusto 照会言語 (KQL) の機能のアーカイブです。 詳細については、「Azure Synapse Data Explorer と Azure Data Explorer の違いは何ですか? (プレビュー)」を参照してください。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 6 月 | Web Explorer の新しいホームページ | 新しい Azure Synapse Web Explorer のホームページにより、Synapse Web Explorer の使用がさらに簡単になります。 |
| 2022 年 6 月 | Web Explorer のサンプル ギャラリー | Web Explorer サンプル ギャラリーでは、Synapse Data Explorer の一般的なユース ケース (ログ データ、メトリック データ、IoT データ、基本的なビッグ データなど) についての、お客様の活用事例を示すエンドツーエンドのサンプルを提供します。 |
| 2022 年 6 月 | Web Explorer ダッシュボードの機能のドリルスルー | Synapse Web Explorer ダッシュボードでドリルスルーをパラメーターとして使用できるようになりました。 |
| 2022 年 6 月 | Web Explorer のタイム ゾーン設定 | Web Explorer のタイム ゾーン設定が、クエリ結果とダッシュボードの両方に適用されるようになりました。 タイムゾーンを変更すると、ダッシュボードが自動的に更新され、選択したタイムゾーンでデータが表示されます。 |
| 2022 年 5 月 | Excel での Synapse Data Explorer ライブ クエリ | 新しい Data Explorer Web エクスペリエンスである Excel で開く機能を使用して、接続された Excel ブックを同僚やチーム メンバーと共有することで、クエリのライブ結果にアクセスできるようになりました。 ライブ クエリは Excel ブックで開くことができ、Excel から直接更新して最新のクエリ結果を取得できます。 Synapse Data Explorer に接続された Excel ブックを作成するには、まず Web エクスペリエンスでクエリを実行します。 |
| 2022 年 5 月 | 外部 SQL Server テーブルにマネージド ID を使用する | マネージド ID のサポートにより、Synapse Data Explorer のテーブル定義はよりシンプルになり、セキュリティが強化されました。 資格情報を入力する代わりにマネージド ID を使用できるようになりました。 外部テーブルの詳細については、「SQL Server の外部テーブルを作成および変更する」を参照してください。 |
| 2022 年 5 月 | Microsoft Power Automate、Logic Apps、Power Apps 用の Azure Synapse Data Explorer コネクタ | Power Automate 用の新しい Azure Data Explorer コネクタの一般提供 (GA) が開始されました。 詳細については、「Microsoft Power Automate 用の Azure Data Explorer コネクタ」と「Microsoft Logic App と Azure Data Explorer」、および Azure Data Explorer でデータのクエリを実行するための Power Apps アプリケーションを作成する機能に関する記事を参照してください。 |
| 2022 年 5 月 | イベント ハブから複数のデータベースへの動的イベント ルーティング | Azure Event Hub/Azure IoT Hub/Azure Event Grid から 1 つの ADX クラスターでホストされている複数のデータベースにイベント データをルーティングできるようになりました。 動的ルーティングの詳細については、イベント ハブからの取り込みに関する記事を参照してください。 |
| 2022 年 5 月 | JSON ARM デプロイ テンプレート内で KQL インライン スクリプトを使用してデータベースを構成する | Kusto 照会言語 (KQL) スクリプトを実行することによるデータベースの構成が、インライン スクリプトを使用して行えるようになりました。JSON ARM テンプレートのパラメーターとしてスクリプトをインラインで渡すことができます。 |
Azure Synapse Link
Azure Synapse Link は、SQL Server または Azure SQL Database、Azure Cosmos DB、Dataverse から Azure Synapse Analytics にデータをレプリケートするための自動化されたシステムです。 このセクションは、Azure Synapse Link 機能についての新機能のアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 5 月 | Azure Synapse Link for SQL プレビュー | Azure Synapse Link for SQL は、SQL Server 2022 と Azure SQL Database の両方でプレビュー段階です。 Azure Synapse Link により、SQL ベースの運用ストアから Azure Synapse Analytics へのほぼリアルタイムのデータ レプリケーションをローコードおよびノー コードで利用できます。 運用ストアへの影響を最小限に抑えながら、運用データに関する BI レポートをほぼリアルタイムで実行できます。 Azure Synapse Link for SQL プレビューが発表されました。 詳細については、「ブログ: Azure Synapse Link for SQL の詳細情報」を参照してください。 |
Synapse SQL
このセクションは、Azure Synapse Analytics の SQL プールでの改善と機能のアーカイブです。
| Month | 機能 | 詳細情報 |
|---|---|---|
| 2022 年 6 月 | 結果セットのサイズ制限の引き上げ | サーバーレス SQL プールのクエリ結果セットの最大サイズが 200 GB から 400 GB に引き上げられました。 |
| 2022 年 5 月 | サーバーレス SQL プールの文字型列の長さの自動計算 | データ レイク内のサーバーレス SQL プールの文字型列の長さを定義する必要はなくなりました。 サーバーレス SQL プールでは、自動的に計算された平均列長とカーディナリティ推定が使用されるため、スキーマを定義しなくても最適なクエリ パフォーマンスを得ることができます。 |
| 2022 年 4 月 | Azure Synapse SQL のサブスクリプション間の復元が GA に | PowerShell Az.Sql モジュール 3.8 更新プログラムを適用すれば、Restore-AzSqlDatabase コマンドレットを使用して、専用 SQL プールのサブスクリプション間の復元を行うことができます。 詳細については、専用 SQL プールを別のサブスクリプションに復元する方法に関する記事を参照してください。 この機能は、専用 SQL プール (旧称 SQL DW) と Synapse ワークスペースの専用 SQL プールで一般提供されるようになりました。 両者の違いについては、こちらをご覧ください。 |
| 2022 年 4 月 | 削除済みのサーバーまたはワークスペースから SQL プールを復元 | Az.Sql および Az.Synapse モジュールの PowerShell 復元コマンドレットを使用すると、削除済みのサーバーまたはワークスペースからの復元を実行できます。サポート チケットを提出する必要はありません。 詳細については、実際のシナリオに応じて、削除済みの Azure Synapse ワークスペースから専用 SQL プールを復元する方法に関する記事、または削除済みのサーバーからスタンドアロンの専用 SQL プール (旧称 SQL DW) を復元する方法に関する記事を参照してください。 |
| 2022 年 3 月 | 専用 SQL プールの列レベルの暗号化 | Azure Synapse 専用 SQL プールを含む新規および既存の Azure SQL 論理サーバーと、Azure Synapse ワークスペース内の専用 SQL プールについて、列レベルの暗号化の一般提供が開始されました。 専用 SQL プールの列レベル暗号化に対する SQL Server Data Tools (SSDT) のサポートは、Visual Studio 2022 の 17.2 プレビュー 2 ビルド以降で提供されます。 |
| 2022 年 3 月 | CETAS の並列実行 | 並列実行プランを使用することで、CREATE TABLE AS SELECT (CETAS) および後続の SELECT ステートメントのパフォーマンスを高めることができるようになりました。 例については、「CETAS と後続の SELECT のパフォーマンスの向上」を参照してください。 |
Azure Synapse Analytics での過去の月次更新
以下は、Synapse Analytics に関する毎月のニュースの更新を以前の形式で示したものです。
2022 年 6 月の更新
全般
Synapse Analytics を使用した Azure Orbital Analytics - Azure Synapse Analytics で地理空間ライブラリと AI モデルを使用して、宇宙空間データの抽出、読み込み、変換、分析のエンドツーエンドの実装を示す Azure Orbital analytics サンプル ソリューション が提供されました。 このサンプル ソリューションでは、地理空間固有の Azure AI サービス モデル、パートナーからの AI モデル、独自のデータを持ち込むモデルを統合する方法も示します。
Azure Synapse の設計による成功 - プロジェクトの成功は偶然ではなく、慎重な計画と実行が必要です。 Synapse Analytics の「設計上の成功」プレイブックが利用可能になりました。 「Azure Synapse 概念実証プレイブック」には、SQL または Spark ワークロードの概念実証のスコープ、設計、実行、評価を行うためのガイドが用意されています。 これらのガイドには、Azure Synapse を組み込んだ最も困難で複雑なソリューション実装のベスト プラクティスが含まれています。 Azure Synapse の概念実証プレイブックの詳細については、「設計による成功」 を参照してください。
SQL
結果セットのサイズ制限の引き上 -大量のデータを操作するには、Azure Synapse Analytics を使用することがわかっています。 これを念頭に置いて、サーバーレス SQL プールのクエリ結果セットの最大サイズが 200 GB から 400 GB に引き上げられました。 この制限は、同時クエリ間で共有されます。 このサイズ制限の増加およびその他の制約の詳細については、「サーバーレス SQL プールのセルフ ヘルプ」 を参照してください。
Synapse Data Explorer
Web Explorer の新しいホームページ - 新しい Synapse Web Explorer のホームページにより、Synapse Web Explorer の使用がさらに簡単になります。 Web エクスプローラーのホームページ には、次のセクションが含まれるようになりました。
- 概要 – 一般的な Synapse データ エクスプローラーのユース ケースのクエリとダッシュボードのサンプルを提供するサンプル ギャラリー。
- 推奨 - Synapse Web Explorer と KQL を習得するのに役立つように設計された一般的な学習モジュール。
- ドキュメント – Synapse Web Explorer の基本ドキュメントと高度なドキュメント。
Web エクスプローラーのサンプル ギャラリー - 製品について学習するのに最適な方法は、それが他の人によってどのように使用されているかを見ることです。 Web Explorer サンプル ギャラリーでは、Synapse Data Explorer の一般的なユース ケース (ログ データ、メトリック データ、IoT データ、基本的なビッグ データの例など) をお客様がどのように活用しているかを示すエンドツーエンドのサンプルを提供します。 各サンプルには、データセット、適切に文書化されたクエリ、サンプル ダッシュボードが含まれています。 サンプル ギャラリーの詳細については、「新しいサンプルギャラリーを使用した60分以内のAzure Data Explorer」 を参照してください。
Web エクスプローラー ダッシュボードのドリルスルー機能 - Synapse Web Explorer ダッシュボードにドリルスルー機能を追加できるようになりました。 新しいドリルスルー機能を使用すると、ダッシュボード ページ間を簡単に移動できます。 これは、コンテキスト フィルターを使用してダッシュボードを接続することによって可能になります。 これらのコンテキスト ドリルスルーの定義は、ダッシュボードで選択したタイルの視覚的な操作を編集することによって行われます。 ドリルスルー機能の詳細については、「ドリルスルーをダッシュボード パラメーターとして使用する 」 を参照してください。
Web エクスプローラーのタイム ゾーン設定 - 異なるタイムゾーンでデータを表示できることは非常に効果的です。 UTC時間、ローカルタイムゾーン、または監視対象デバイス/マシンのタイムゾーンでデータを表示することを決定できるようになりました。 Web エクスプローラーのタイム ゾーン設定が、クエリ結果とダッシュボードの両方に適用されるようになりました。 タイムゾーンを変更すると、ダッシュボードが自動的に更新され、選択したタイムゾーンでデータが表示されます。 タイム ゾーンの設定の詳細については、「datetime を特定のタイム ゾーンに変更する」 を参照してください。
データ統合
結合変換のあいまい結合オプション - スライディング類似性スコア オプションを使用したあいまい一致が、マッピング データ フローの結合変換に追加されました。 完全一致ではなく類似したデータ値に対して内部結合と外部結合を作成できます。 以前は、完全一致を使用する必要がありました。 スライディング スケールの値は 60% から 100% になり、一致の類似性のしきい値を簡単に調整できます。 ファジー結合の詳細については、「マッピング データ フローでの結合変換」 を参照してください。
データのマッピング [一般提供] - データのマッピング ツールが一般公開されたことをお知らせします。 Map Data (データのマッピング) ツールは、ユーザーがコードを書くことなく、ソース データから Synapse Lake データベースのテーブルへの ETL マッピングやマッピング データ フローを作成するために使用できる、ガイド付きのプロセスです。 マップ データの詳細については、「Azure Synapse Analytics のマップ データ」 を参照してください。
新しいパラメータでパイプラインを再実行する - パイプライン エディターに戻ることなく、[監視] ページからパイプラインを再実行するときにパイプライン パラメーターを変更できるようになりました。 新しいパラメーターを使用してパイプラインを実行すると、ページ間を切り替えることなく、古い実行に対して新しい実行を簡単に監視できます。 新しいパラメーターを使用したパイプラインの再実行の詳細については、「パイプラインとアクティビティの再実行」 を参照してください。
ユーザー定義関数 [一般提供] - ユーザー定義関数 (UDF) が一般公開されたことをお知らせします。 ユーザー定義関数を使用すると、複数のマッピング データ フローで再利用できるカスタマイズされた式を作成できます。 同じ文字列操作、数学計算、またはその他の複雑なロジックを複数回使用する必要がなくなりました。 ユーザー定義関数は、開発者が共通の関数セットをグループ化できるように複数のライブラリにグループ化されます。 ユーザー定義関数の詳細については、「マッピング データ フローのユーザー定義関数」 に関する記事を参照してください。
機械学習
HorovodとPetastormによる分散ディープ ニューラル ネットワーク トレーニング [パブリック プレビュー] - GPU アクセラレーション プールの作成と管理のプロセスを簡素化するために、Azure Synapse では、低レベル ライブラリをプレインストールし、コンピューティング ノード間の複雑なネットワーク要件をすべて設定します。 この統合により、ユーザーはほんの数分で GPU アクセラレータ プールを使い始めることができます。
現在、Azure Synapse Analytics は、ディープラーニング インフラストラクチャの組み込みサポートを提供します。 Apache Spark 3.1 と 3.2 Azure Synapse 用の Analytics ランタイム には、TensorFlow や PyTorch などの最も一般的なディープ ラーニング ライブラリのサポートが含まれるようになりました。 また、Azure Synapse ランタイムには、分散トレーニングによく使われる Petastorm や Horovod などのライブラリのサポートも含まれています。 現在、この機能はパブリック プレビューでご利用いただけます。
Azure Synapse Analytics GPU アクセラレーション プール内でこれらのライブラリを活用する方法の詳細については、「ディープ ラーニング チュートリアル」 を参照してください。
2022 年 5 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
全般
新しい Azure Synapse インフルエンサー プログラムでつながる - クラウド分析でより多くのことを成し遂げるために互いに助け合う Azure Synapse インフルエンサーのコミュニティにご参加ください。 Azure Synapse インフルエンサー プログラムでは、Synapse に関連したコンテンツ、お知らせ、製品ニュースをソーシャル メディアを介して共有することで積極的にコミュニティをサポートする Azure Synapse Analytics ユーザーとアドボケイトを認識しています。
SQL
Azure Synapse Analytics の専用 SQL プールの Data Warehouse 移行ガイド - クラウド移行によって得られる利点により、既存のデータ ウェアハウス環境から迅速かつ簡単に移行するための手順、プロセス、またはガイドラインがよく探し求められていると聞いています。 Microsoft では、Azure Synapse Analytics の専用 SQL プールへの移行を容易にする一連の Data Warehouse 移行ガイドをリリースしました。
文字列の長さの自動計算 - 文字列の長さを定義する必要がなくなりました。 サーバーレス SQL プールを使用すると、スキーマを事前に把握せずに、データ レイク内のファイルに対してクエリを実行できます。 ベスト プラクティスは、最適なパフォーマンスを得るための文字列の長さを指定することでした。 その問題はもう解消されました。 この新機能により、スキーマを定義しなくても最適なクエリ パフォーマンスを得ることができます。 推論された各文字列または 100 バイトを超えるものとして定義された文字列の平均列長がサーバーレス SQL プールによって計算されます。 スキーマは同じままですが、サーバーレス SQL プールでは、計算された平均列長が内部で使用されます。 また、以前に作成された統計がない場合に備えてカーディナリティ推定も自動的に計算されます。
Synapse 用の Apache Spark
Apache Spark 用の Azure Synapse 専用 SQL プール コネクタが Python で利用可能に - 以前、Azure Synapse 専用 SQL プール コネクタは、Scala を使用する場合にのみ利用可能でした。 現在は、Spark 3 の Python で使用できるようになりました。 Scala と Python の実装の唯一の違いは、post-write メトリックの受信を可能にする、オプションの Scala コールバック ハンドルです。
Spark 3 の Python では、次のものがサポートされるようになりました。
- Azure Active Directory (AD) Authentication または Basic Authentication (基本認証) を使用した読み取り
- Azure AD Authentication または Basic Authentication (基本認証) を使用した内部テーブルへの書き込み
- Azure AD Authentication または Basic Authentication (基本認証) を使用した外部テーブルへの書き込み
Python のコネクタの詳細については、「Apache Spark 用の Azure Synapse 専用 SQL プール コネクタ」を参照してください。
Azure Synapse Apache Spark 構成の管理 - Spark には数百のプロパティがあるため、Apache Spark 構成の管理は常に困難な作業です。 また、Spark 構成の最適な値を知ることも容易ではありません。 新しい Spark 構成の管理機能を使用すると、自動提案と組み込みの検証規則を備えたスタンドアロンの Spark 構成成果物を作成できます。 Spark 構成成果物を使用すると、Azure Synapse ワークスペース内およびその間で Spark 構成を共有できます。 また、Spark 構成を Spark プール、Notebook、および Spark ジョブ定義と簡単に関連付けて再利用したり、Spark 構成を複数の場所にコピーする必要性を最小限にしたりすることもできます。 新しい Spark 構成の管理機能について詳しくは、「Apache Spark 構成を管理する」を参照してください。
Synapse Data Explorer
Excel での Synapse Data Explorer ライブ クエリ - 新しい Data Explorer Web エクスペリエンスである Excel で開く機能を使用して、接続された Excel ブックを同僚やチーム メンバーと共有することで、クエリのライブ結果にアクセスできるようになりました。 ライブ クエリは Excel ブックで開くことができ、Excel から直接更新して最新のクエリ結果を取得できます。 Excel ライブ クエリの詳細については、Excel でライブ クエリを開くことに関する記事を参照してください。
外部 SQL Server テーブルにマネージド ID を使用する - Azure Synapse の主な利点の 1 つは、データ統合、エンタープライズ データ ウェアハウス、ビッグ データ分析を一つにまとめられる点です。 マネージド ID のサポートにより、Synapse Data Explorer のテーブル定義はよりシンプルになり、セキュリティが強化されました。 資格情報を入力する代わりにマネージド ID を使用できるようになりました。
外部 SQL テーブルは、Synapse Data Explorer データベースの外部に格納されているデータを参照するスキーマ エンティティです。 SQL Server の外部テーブルの作成および変更コマンドを使用すると、外部 SQL テーブルを Synapse Data Explorer データベース スキーマに簡単に追加できます。
マネージド ID の詳細については、「マネージド ID の概要」を参照してください。
外部テーブルの詳細については、「SQL Server の外部テーブルを作成および変更する」を参照してください。
新しい KQL の Learn モジュール (3 つのうち 2 つ) が利用可能になりました - Kusto 照会言語 (KQL) の能力は、構造化、半構造化、および非構造化データに対して一緒にクエリを実行するシンプルさです。 KQL の学習を容易にするために、Learn モジュールをリリースしています。 以前に、「Kusto クエリ言語を使って最初のクエリを作成する」をリリースしました。 今月は新たに、「Kusto 照会言語を使用してデータから分析情報を取得する」をリリースしました。
KQL は、Synapse Data Explorer のビッグ データに対してクエリを実行するために使用されるクエリ言語です。 KQL には、数十万人の開発者、データ エンジニア、データ アナリスト、学生が参加する急成長のユーザー コミュニティがあります。
最新の KQL Learn モジュールをチェックし、KQL マスターになることがいかに簡単であるかをご自身で確認してください。
KQL の詳細については、「Kusto 照会言語 (KQL) の概要」を参照してください。
Microsoft Power Automate、Logic Apps、および Power Apps 用の Azure Synapse Data Explorer コネクタ [一般公開] - Power Automate 用の Azure Data Explorer コネクタ を使用すると、フローの調整やスケジューリングを行い、スケジュールまたはトリガーされたタスクの一部として通知およびアラートを送信できます。 詳細については、「Microsoft Power Automate 用の Azure Data Explorer コネクタ」と「Power Automate に接続する Azure Data Explorer コネクタの使用例」を参照してください。
イベント ハブから複数のデータベースへの動的イベント ルーティング - Event Hub/IOT Hub/Event Grid からのイベントのルーティングは、Azure Data Explorer (ADX) ユーザーが一般的に実行するアクティビティです。 以前は、定義された接続ごとに 1 つのデータベースにのみイベントをルーティングできました。 イベントを複数のデータベースにルーティングするには、複数の ADX クラスター接続を作成する必要がありました。
エクスペリエンスを簡素化するために、1 つの ADX クラスターでホストされている複数データベースへのイベント データのルーティングがサポートされるようになりました。 動的ルーティングの詳細については、イベント ハブからの取り込みに関する記事を参照してください。
JSON ARM デプロイ テンプレートの一部として KQL インライン スクリプトを使用してデータベースを構成する - 以前、Azure Data Explorer では、Azure Resource Manager (ARM) テンプレートのデプロイ中に Kusto 照会言語 (KQL) スクリプトを実行してデータベースを構成することがサポートされていました。 現在は、JSON ARM テンプレートのパラメーターとしてインラインで提供されるインライン スクリプトを使用してこれを行えるようになりました。 KQL インライン スクリプトの使用の詳細については、「Kusto 照会言語スクリプトを使用してデータベースを構成する」を参照してください。
データ統合
パイプラインの監視を CSV としてエクスポートする - パイプラインの監視を CSV にエクスポートする機能を求める多くのコミュニティ要求を受け取った後、この機能が追加されました。 単に、パイプラインの実行画面をフィルター処理して必要なデータを取得し、[CSV にエクスポート] を選択します。 パイプライン監視のエクスポートとその他の監視の機能強化の詳細については、Azure Data Factory の監視の機能強化に関する記事を参照してください。
Synapse と Azure Database for PostgreSQL および MySQL でデータの増分読み込みが容易に - データ統合ソリューションでは、初回のデータの全体読み込み後にデータを増分で読み込むことが、広く使用されているシナリオです。 Synapse SQL と Azure Database for PostgreSQL および MySQL では、ソース データの自動増分読み込みがネイティブに使用できるようになりました。 ユーザーは "増分抽出を有効" にでき、挿入または更新された行のみがパイプラインによって読み取られます。 増分データ読み込みの詳細については、ソース データ ストアからコピー先データ ストアへのデータの増分コピーに関する記事を参照してください。
マッピング データ フローのユーザー定義関数 [パブリック プレビュー] - 同じ文字列操作、数学計算、またはその他の複雑なロジックを複数回実行していることがあります。 現在は、新しいユーザー定義関数機能を使用して、複数のマッピング データ フロー間で再利用できるカスタマイズされた式を作成できるようになりました。 ユーザー定義関数は、開発者が共通の関数セットをグループ化できるように複数のライブラリにグループ化されます。 データ フロー ライブラリを作成したら、ユーザー定義関数を追加できます。 関数をより再利用しやすくするために、複数の引数を追加することもできます。 ユーザー定義関数の詳細については、マッピング データ フローのユーザー定義関数に関する記事を参照してください。
アサート エラー処理 - アサート変換の後にシンクにエラー処理が追加されました。 アサート変換を使用すると、データ品質とデータ検証に関するカスタム ルールを作成できます。 失敗した行を選択したシンクに出力するか、別のファイルに出力するかを選択できるようになりました。 エラー処理の詳細については、マッピング データ フローのアサート データ変換に関するページを参照してください。
マッピング データ フローのプロジェクション編集 - マッピング データ フローのソース プロジェクション編集に対して新しい UI 更新が行われました。 ソース プロジェクションの列名と列の種類を更新できるようになりました。 ソース プロジェクション編集の詳細については、「マッピング データ フローのソース変換」を参照してください。
Azure Synapse Link
Azure Synapse Link for SQL Server - Microsoft Build 2022 で、SQL Server 2022 と Azure SQL Database の両方で、Azure Synapse Link for SQL のパブリック プレビューが利用可能になったことを発表しました。 企業が競争力を維持するためには、データドリブン型で質の高い分析情報が不可欠です。 これらの分析情報の実現速度によって大きな違いが生じる可能性があります。 コストと時間がかかる従来型の ETL と ELT パイプラインでは、もはや十分ではありません。 このリリースでは、SQL ベースの運用ストアから Azure Synapse Analytics へのほぼリアルタイムのデータ レプリケーションをローコードおよびコードなしで利用できるようになりました。 これにより、運用ストアへの影響を最小限に抑えながら、運用データに関する BI レポートをほぼリアルタイムで実行することが容易になります。 詳細については、Azure Synapse Link for SQL のパブリック プレビューの発表に関する記事を参照し、YouTube ビデオをご覧ください。
2022 年 4 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
SQL
Azure Synapse SQL のサブスクリプション間復元の一般提供が開始されました。 従来、専用 SQL プールを別のサブスクリプションに復元するためには、文書化されていない多数の手順に従う必要がありました。 今後は、PowerShell Az.Sql モジュール 3.8 更新プログラムを適用すれば、Restore-AzSqlDatabase コマンドレットを使用してサブスクリプション間の復元を行うことができます。 詳細については、「専用 SQL プール (以前の SQL DW) を別のサブスクリプションに復元する」を参照してください。
ドロップされたサーバーまたはワークスペースから SQL プールを復元できるようになりました。 Az.Sql and Az.Synapse モジュールの PowerShell 復元コマンドレットを使用すると、削除済みのサーバーまたはワークスペースからの復元を実行できます。サポート チケットを提出する必要はありません。 詳細については、Synapse ワークスペース SQL プールに関する記事またはスタンドアロン SQL プール (以前の SQL DW) に関する記事を、実際のシナリオに応じて参照してください。
Synapse データベース テンプレートとデータベース デザイナー
業界テンプレートを使用してレイク データベースを作成する際の探索エクスペリエンスを、お客様から多く寄せられるフィードバックに基づいて大幅に改良しました。 詳細については、「クイックスタート: データベース テンプレートを利用して新しい Lake データベースを作成する」を参照してください。
レイク データベースを複製するオプションを追加しました。 新しいバージョンのデータベースを管理したり、進化の過程が異なるスキーマをサポートしたりする際の可能性が広がります。 レイク データベースにあるアクション メニューを使用してデータベースをすばやく複製できます。 詳細については、「Lake データベースを複製する方法」を参照してください。
ワイルドカードを使用してカスタム フォルダー階層を指定できるようになりました。 レイク データベースは、レイク内のデータを基盤としており、このデータは、クリーンなパーティション パターンに適合しない入れ子のフォルダーに格納することができます。 従来、レイク データベースを照会するためには、ディレクトリ構造を手動で指定したりワイルドカード文字を使用したりする機能によらず、フォルダー アイコンを使用して閲覧できる単純なディレクトリ構造内にデータが存在している必要がありました。 詳細については、データレイクを変更する方法に関する記事を参照してください。
Synapse 用の Apache Spark
Synapse Analytics 上で Apache Spark™ 3.2 がいよいよプレビューとして利用できるようになります。 この新バージョンでは、ユーザーからの要望に基づく機能強化が行われ、1,700 以上の Jira チケットが解決されています。 修正と機能の全一覧については、公式リリース ノートを参照してください。また、既存アプリケーションの変更の必要性を評価するには、Spark 3.1 から 3.2 への移行ガイドラインをご覧ください。 詳細については、Apache Spark バージョンのサポート状況と Apache Spark 3.2 用 Azure Synapse ランタイムに関する記事を参照してください。
パイプライン固有のパラメーターの指定、変数、メタデータに基づくパラメーターの動的割り当ては、お客様から寄せられるリクエストの中でも最も多かった機能のひとつです。 Spark ジョブ定義アクティビティに対するパラメーター化の機能がリリースされたことで、それが可能になりました。 詳細については、「Apache Spark のジョブ定義を使用してデータを変換する」を参照してください。
パイプライン ノートブックの実行エラーが発生したときや、実行時間の長いノートブック ジョブが存在するときに、ノートブックのスナップショットにアクセスしたいというご要望をお客様から多くいただいております。 Synapse ノートブックのスナップショット機能がリリースされたことで、元のノートブック コード、セル出力、入力パラメーターを含む、ノートブック アクティビティの実行のスナップショットを閲覧できるようになりました。 Spark ユーティリティ経由で他のノートブックを参照している場合は、参照元ノートブックのセル出力から参照先ノートブックのスナップショットにアクセスすることもできます。 詳細については、「Synapse Notebook を実行してデータを変換する」および「Microsoft Spark Utilities の概要」を参照してください。
セキュリティ
- Synapse 監視オペレーター RBAC ロールの一般提供が開始されました。 Synapse の GA 以来、Synapse パイプラインと Spark アプリケーションの実行を、実際にそれらのアプリケーションを実行したり実行をキャンセルしたりする権限がなくても、ユーザー ペルソナが監視できるきめ細かな RBAC (ロールベースのアクセス制御) ロールを求める声が寄せられていました。 今後は、そうした監視ペルソナに対して Synapse 監視オペレーター ロールを割り当てることができます。 組織はコンプライアンスを維持しながら、個人またはチームへのタスクの委任を柔軟に行うことができます。 詳細については、「Synapse RBAC ロール」を参照してください。
データ統合
Synapse から直接 Dataverse 環境にアクセスするデータ変換 ETL ジョブをローコードで作成できるよう、Synapse Data Flows へのソース/シンク コネクタとして Dataverse を追加しました。 この新しいコネクタの使用方法について詳しくは、「Mapping Data Flow のプロパティ」を参照してください。
Web アクティビティのタイムアウトが 1 分というのは、特に同期 API の場合には短すぎるという声が寄せられていました。 今後は、応答タイムアウト プロパティ "httpRequestTimeout" で、10 分を上限としてお客様が HTTP 要求のタイムアウトを定義できます。 詳細については、Web アクティビティの応答タイムアウトの改善に関する記事を参照してください。
開発者エクスペリエンス
- 従来、あるノートブックを別のノートブックから参照したい場合、参照できるのは、公開済みまたはコミット済みの内容に限定されていました。 今後は、「%run <ノートブック>」を使用すると "未公開のノートブックの参照" を有効にでき、公開されていないノートブックの参照が可能になります。 有効にした場合、ノートブックの実行によって、ノートブックの Web キャッシュから最新の内容がフェッチされます。つまり、ノートブック エディター内の変更を他のノートブックから即座に参照できます。それらが公開 (ライブ モード) またはコミット (Git モード) されている必要はありません。 詳細については、未公開のノートブックの参照に関するセクションを参照してください。
2022 年 3 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
開発者エクスペリエンス
例外が発生する Synapse ノートブックのコード セルに、例外メッセージと共に標準出力が表示されるようになりました。 この機能は、Python および Scala 言語でサポートされています。 詳しくは、コード ステートメントが失敗したときの出力例に関する記事をご覧ください。
Synapse ノートブックで、コード セルを実行したときの部分的な出力がサポートされるようになりました。 詳しくは、こちらのブログ記事の例をご覧ください
パイプライン パラメーターを使って、ノートブック アクティビティの Spark セッション構成を動的に制御できるようになりました。 詳しくは、Synapse ノートブックの変数エクスプローラー機能に関する記事をご覧ください。
新しいセッションを開始することなく、ノートブック セッションを再利用して管理できるようになりました。 別のノートブックから開始されたリスト内のアクティブなセッションに、選んだノートブックを簡単に接続できます。 ノートブックからセッションをデタッチし、セッションを停止して監視できます。 詳しくは、アクティブなノートブック セッションを管理する方法に関する記事をご覧ください。
Synapse ノートブックで、ドライバー ログに加えて、Python ログ モジュールから書き込まれたものもキャプチャされるようになりました。 詳しくは、Python ログのサポートに関する記事をご覧ください。
SQL
Azure Synapse 専用 SQL プールの列レベル暗号化が、一般提供されるようになりました。 列レベルの暗号化では、それぞれが独自のアクセス許可を持つ異なる保護キーを、列ごとに使用できます。 CLE が適用された列のデータはディスク上で暗号化され、DECRYPTBYKEY 関数を使って解読するまで、メモリ内でも暗号化されたままになります。 詳しくは、データ列を暗号化する方法に関する記事をご覧ください。
サーバーレス SQL プールで、CETAS (Create External Table as Select) とその後の SELECT クエリのパフォーマンスが向上しました。 パフォーマンスの向上には、CETAS の実行と複数のファイルが出力が高速化される並列実行プランが含まれます。 詳しくは、「Synapse SQL での CETAS」とブログ記事をご覧ください
Synapse 用の Apache Spark
Synapse Spark Common Data Model (CDM) コネクタが一般提供されるようになりました。 CDM 形式のリーダーとライターを使うことにより、Spark プログラムで、Spark データフレームを介して CDM フォルダー内の CDM エンティティの読み取りと書き込みを行うことができます。 詳しくは、CDM コネクタによるデータの読み取りと書き込みのサポート、例、既知の問題に関する記事をご覧ください。
Synapse Spark 専用 SQL プール (DW) コネクタでのパフォーマンスが向上しました。 新しいアーキテクチャでは、冗長なデータ移動がなくなり、PolyBase の代わりに COPY-INTO が使われます。 SQL 基本認証を使って認証することも、Azure Active Directory (Azure AD) ベースの認証方法にオプトインすることもできます。 以前のバージョンの約 5 倍に向上しました。 詳しくは、「Apache Spark 用の Azure Synapse 専用 SQL プール コネクタ」をご覧ください
Synapse Spark 専用 SQL プール (DW) コネクタで、Spark Dataframe SaveMode のすべての選択肢がサポートされるようになりました。 Append、Overwrite、ErrorIfExists、Ignore の各モードがサポートされます。 Append と Overwrite は、大規模なデータ インジェストを管理するために重要です。 詳しくは、「DataFrame の書き込みでの SaveMode のサポート」をご覧ください
新しいインテリジェント キャッシュ機能を使って Spark の実行速度を高速化します。 現在、この機能はパブリック プレビュー段階にあります。 インテリジェント キャッシュは、割り当てられたキャッシュ ストレージ領域内に各読み取りを自動的に格納し、基になるファイルの変更を検出して、最新のデータを提供するようにファイルを更新します。 詳しくは、Apache Spark プールのキャッシュを有効または無効にする方法に関する記事、またはブログ記事をご覧ください
セキュリティ
Azure Synapse Analytics で、Azure Active Directory (Azure AD) 認証がサポートされるようになりました。 ワークスペースの作成時またはワークスペースの作成後に、Azure AD 認証を有効にすることができます。 詳しくは、Synapse SQL で Azure AD 認証を使用する方法に関する記事をご覧ください。
ワークスペースで管理される SQL Server 専用 SQL に対する最小 TLS バージョンの引き上げまたは引き下げの API サポート。 詳しくは、TLS の最小設定を更新する方法に関する記事またはブログ記事をご覧ください。
データ統合
Flowlet と CDC コネクタが一般提供されるようになりました。 Synapse データ フローの Flowlet を使うと、ETL ロジックを再利用したり構成したりできます。 詳しくは、「マッピング データ フローの Flowlet」またはブログ記事をご覧ください。
Synapse データ フロー用の sFTP コネクタ。 Synapse のビジュアル ローコード データ フロー インターフェイスを使って、sFTP からデータを変換しながら、データの読み取りと書き込みを行うことができます。 詳しくは、ソースの変換に関する記事をご覧ください
データ プレビューのデータ フローの機能強化。 詳しくは、「マッピング データ フローでのデータ プレビューとデバッグの機能強化」をご覧ください
パイプライン スクリプト アクティビティ。 データ エンジニアは、スクリプト アクティビティを使うことで、Synapse データベースや他のデータベースの種類の読み取りと書き込みを行うことができる強力なデータ統合パイプラインを構築できます。 詳しくは、「Azure Data Factory または Synapse Analytics で Script アクティビティを使用してデータを変換する」をご覧ください
2022 年 2 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
SQL
サーバーレス SQL プールでは、クエリの実行時間に一長一短がなくなりました。 サーバーレスの SQL プールではいかにして読み取り待機時間の急増を自動的に検出し、クエリの実行時間に一長一短をなくすか説明します。
OPENJSON関数では、配列要素インデックスを簡単に取得できます。 詳細については、サーバーレス SQL プールの OPENJSON 関数を利用し、入れ子になった配列を解析し、各 JSON 配列要素ごとに 1 行と、各要素のインデックスを返すしくみをご覧ください。
データ統合
コピー アクティビティがデータのアップサート対応になりました。 一時テーブルにデータをネイティブ ロードし、upsert でそのデータをシンク テーブルに結合する方法をご覧ください。
Synapse データ フローで Dynamics データを視覚的に変換します。 Dynamics データセットまたはインライン データセットをソースおよびシンク タイプとして使用し、データを大規模変換する方法についてはこちらで詳細をご覧ください
Always Encrypted を使用してデータ フローの SQL ソースに接続します。 詳細については、Always Encrypted を使用し、Synapse から SQL データベースに安全に接続する方法に関するページを参照してください。
データ フローのアサートから説明をキャプチャする 詳細については、行または列レベルでのアサート データ フロー変換で独自の動的説明メッセージを定義する方法をご覧ください。
複合型フィールドのスキーマを簡単に定義します。 詳細については、文字列型の列内の埋め込み複合フィールドのスキーマを自動的に検出するようにエンジンに命令する方法をご覧ください。
2022 年 1 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
Synapse 用の Apache Spark
Azure Synapse で、4 つの新しいデータベース テンプレートが使用できるようになりました。 自動車、ゲノミクス、製造、医薬品のテンプレートの詳細についてブログ記事またはデータベース テンプレートに関する記事をご覧ください。 これらのテンプレートは現在パブリック プレビュー段階で、Synapse Studio ギャラリー内で使用できます。
Machine Learning
Synapse Machine Learning library v0.9.5 (旧称 MMLSpark) の機能強化。 このリリースでは、Apache Spark を使用した非常にスケーラブルな機械学習パイプラインを簡単に作成できるようになりました。 詳細については、このリリースにおける新機能についてのブログ記事、または完全なリリース ノートを参照してください。
セキュリティ
Azure Synapse Analytics のセキュリティの概要 - 5 つのセキュリティ層について取り上げたホワイト ペーパーです。 このセキュリティ層には、認証、アクセス制御、データ保護、ネットワークのセキュリティ、脅威の防止が含まれます。 それぞれのセキュリティ機能の詳細を把握したうえで、業界標準のセキュリティ ベースラインを実装し、クラウドのデータを保護します。
新しく作成された Synapse ワークスペースには TLS 1.2 が必要になりました。 詳細については、TLS 1.2 によってのどのようにセキュリティが強化されるかについては、こちらの記事またはブログ記事を参照してください。 新しく作成された Synapse ワークスペースに、1.2 よりも前のバージョンの TLS を使用した接続からサインインしようとすると失敗します。
データ統合
アサート変換によるデータ品質の検証ルール - Synapse データ フローでアサート変換を使用することにより、Synapse ETL ジョブに対して簡単にデータ品質、データの検証、スキーマの検証を追加できるようになりました。 詳細については、マッピング データ フローでのアサート変換に関する記事またはブログ記事を参照してください。
Dynamics のネイティブ データ フロー コネクタ - Synapse データ フローが、新しいデータ フローである Dynamics コネクタを使用して Dynamics との間でデータを直接読み書きできるようになりました。 データ フローで読み取り、変換、集約、結合などを行うためのデータ セットを作成する方法の詳細については、こちらの記事またはブログ記事をご覧ください。 その後、組み込みの Synapse Spark コンピューティングを使用して、Dynamics にデータを書き戻すことができます。
IntelliSense とオート コンプリートがパイプライン式に追加 - IntelliSense を使用して式を作成し、簡単に編集できます。 詳細については、式構文をチェックし、関数を見つけ、コードをパイプラインに追加する方法についての記事を参照してください。
Synapse SQL
複雑なデータ インジェストのスキーマ検出のための COPY。 詳細については、ブログ記事、または複雑なデータ型の自動テーブル作成機能が含まれるスキーマの自動検出機能導入において、GitHub でこの機能がどのように活用されているかに関する記事をご覧ください。
サーバーレス SQL プールで HASHBYTES 関数がサポートされるようになりました。 HASHBYTES は、値をハッシュする T-SQL 関数です。 分散データで値をハッシュする方法の詳細について、こちらの記事またはブログ記事を参照してください。
2021 年 12 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
Synapse 用の Apache Spark
- NVIDIA GPU アクセラレーションによる Spark ワークロードの高速化 ブログ記事
- Synapse Spark プールへのリモート ストレージのマウント ブログ記事
- Pandas を使用した ADLS でのデータのネイティブな読み取りと書き込み ブログ 記事
- Spark 用 Executor の動的な割り当て ブログ記事
Machine Learning
- Synapse Machine Learning ライブラリ ブログ記事
- 最新の事前構築済みインテリジェント モデルの概要 ブログ記事
- Synapse ML ライブラリを使用した責任ある AI の構築 ブログ記事
- Synapse Dedicated SQL プールでの PREDICT が GA になりました ブログ記事
- Synapse 用 Apache Spark での PREDICT と MLFlow を使用した簡単でスケーラブルなスコアリング ブログ 記事
- Retail AI ソリューション ブログ記事
セキュリティ
- Synapse Pipelines でサポートされるようになったユーザー割り当てマネージド ID (プレビュー) ブログ記事
- Azure Synapse Analytics ワークスペースで ADLS Gen2 のフォルダーを参照する (プレビュー) ブログ記事
データ統合
- パイプライン Fail アクティビティ ブログ記事
- マッピング データ フローの新しいネイティブ コネクタ ブログ記事
- その他のノートブック エクスポート形式: HTML、Python、LaTeX ブログ
- ノートブック ビューの 3 つの新しいグラフの種類: ボックス プロット、ヒストグラム、ピボット テーブル ブログ
- 失われたノートブック セッションへの再接続 ブログ
統合
- Dataverse 用の Azure Synapse Link ブログ記事
- Azure Synapse Link for Azure Cosmos DB でのカスタム パーティション分割 (プレビュー)ブログ記事
- マップ データ ツール (パブリック プレビュー)、ノーコードのガイド付き ETL エクスペリエンス ブログ記事
- Spark クラスターのクイック再利用 ブログ記事
- 外部呼び出しの変換 ブログ記事
- Flowlet (パブリック プレビュー) ブログ記事
2021 年 11 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
Synapse Data Explorer
データベースとデータ レイクの使用
- Lake データベース (旧称 Spark データベース) の導入 ブログ記事
- プレビューで利用できるようになった Lake データベース デザイナー ブログ記事
- データベース テンプレートとデータベース デザイナー ブログ記事
SQL
- サーバーレス SQL の Delta Lake のサポートが一般提供されるようになりました ブログ記事
- サーバーレス SQL での OPENROWSET を使用した複数のファイル パスのクエリ ブログ記事
- サーバーレス SQL クエリから最大 200 GB の結果を返せるようになりました ブログ記事
- サーバーレス SQL の OPENROWSET での無効な行の処理 ブログ記事
Synapse 用の Apache Spark
- NVIDIA GPU アクセラレーションによる Spark ワークロードの高速化 ブログ記事
- Synapse Spark プールへのリモート ストレージのマウント ブログ記事
- Pandas を使用した ADLS でのデータのネイティブな読み取りと書き込み ブログ 記事
- Spark 用 Executor の動的な割り当て ブログ記事
Machine Learning
- Synapse Machine Learning ライブラリ ブログ記事
- 最新の事前構築済みインテリジェント モデルの概要 ブログ記事
- Synapse ML ライブラリを使用した責任ある AI の構築 ブログ記事
- Synapse Dedicated SQL プールでの PREDICT が GA になりました ブログ記事
- Synapse 用 Apache Spark での PREDICT と MLFlow を使用した簡単でスケーラブルなスコアリング ブログ 記事
- Retail AI ソリューション ブログ記事
セキュリティ
- Synapse Pipelines でサポートされるようになったユーザー割り当てマネージド ID (プレビュー) ブログ記事
- Azure Synapse Analytics ワークスペースで ADLS Gen2 のフォルダーを参照する (プレビュー) ブログ記事
データ統合
Azure Synapse Link
- Dataverse 用の Azure Synapse Link ブログ記事
- Azure Synapse Link for Azure Cosmos DB でのカスタム パーティション分割 (プレビュー)ブログ記事
2021 年 10 月の更新
次の更新は、今月 Azure Synapse Analytics に追加されたものです。
全般
Synapse 用の Apache Spark
- Spark のパフォーマンスの最適化に関するブログ
セキュリティ
- すべての Synapse RBAC ロールが一般提供になり、運用環境で使用できるようになる ブログ記事
- 二重暗号化にユーザー割り当てマネージド ID を適用する ブログ記事
- Synapse 管理者に専用 SQL プールへの昇格されたアクセス権が付与される ブログ記事
ガバナンス
統合
CI/CD および Git
開発者エクスペリエンス
- Synapse ノートブック プレビューでの Markdown の編集機能が強化される ブログ記事
- Pandas DataFrames で、適切に書式設定された HTML テーブルが自動的にレンダリングされる ブログ記事
- Synapse ノートブックで IPython ウィジェットを使用する ブログ記事
- Python と Scala で Mssparkutils ランタイム コンテキストが利用可能になる ブログ記事