マッピング データ フローのビデオ チュートリアル

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。

以下に示すのは、Azure Data Factory チームによって作成された、マッピング データ フローのチュートリアル ビデオの一覧です。

製品は常に更新されているため、現在の Azure Data Factory のユーザー エクスペリエンスでは、いくつかの機能が追加されたり異なったりしています。

作業の開始

Getting started with mapping data flows in Azure Data Factory (Azure Data Factory でのマッピング データ フローの開始)

マッピング データ フローのデバッグと開発

Debugging and testing mapping data flows (マッピング データ フローのデバッグとテスト)

データの探索

Data preview quick actions (データ プレビューのクイック アクション)

Monitor and manage mapping data flow performance (マッピング データ フローのパフォーマンスの監視と管理)

Benchmark timings (ベンチマークのタイミング)

データ フローのワークフローのデバッグ

更新された監視ビュー

変換の概要

Aggregate transformation (集計変換)

Alter row transformation (行の変更変換)

Derived Column transformation (派生列変換)

Join transformation (結合変換)

自己結合パターン

参照変換

参照変換の更新情報とヒント

Pivot transformation (ピボット変換)

Pivot transformation: mapping drifted columns (ピボット変換: 誤差のある列のマッピング)

Select transformation (選択変換)

Select transformation:Rule-based mapping (選択変換: ルールベースのマッピング)

Select transformation:大規模なデータセット

Surrogate key transformation (代理キー変換)

和集合変換

Unpivot transformation (ピボット解除変換)

Window Transformation (ウィンドウ変換)

Filter Transformation (フィルター変換)

条件分割変換

Exists Transformation (存在変換)

動的な結合と動的ルックアップ

フラット化変換

Flowlets

変換を文字列化する

外部呼び出し変換

階層データの変換

ランク変換

キャッシュされた検索

ウィンドウ変換による行コンテキスト

解析変換

複合データ型を変換する

次のアクティビティに出力

変換を文字列化する

外部呼び出し変換

アサート変換

アサート エラー行をログに記録する

あいまい結合

ソースとシンク

Reading and writing JSONs (JSON の読み取りと書き込み)

Parquet and delimited text files (Parquet および区切り形式のテキスト ファイル)

CosmosDB connector (CosmosDB コネクタ)

Infer data types in delimited text files (区切り形式のテキスト ファイルでのデータ型の推論)

Reading and writing partitioned files (パーティション分割されたファイルの読み取りと書き込み)

Transform and create multiple SQL tables (複数の SQL テーブルの変換と作成)

Partition your files in the data lake (データ レイクでのファイルのパーティション分割)

Data warehouse loading pattern (データ ウェアハウスの読み込みパターン)

Data Lake ファイル出力オプション

マッピング データ フローの最適化

Data lineage (データ系列)

Iterate files with parameters (パラメーターを使用したファイルの反復処理)

Decrease start-up times (起動時間の短縮)

SQL DB performance (SQL DB のパフォーマンス)

ログ記録と監査

実行時にデータ フロー クラスター サイズを動的に最適化する

データ フローの起動時間の最適化

データ フロー用の Azure Integration Runtime

Azure IR でクラスターの起動時間を短縮する

マッピング データ フローのシナリオ

Fuzzy lookups (あいまい参照)

Staging data pattern (データのステージングのパターン)

Clean addresses pattern (アドレスのクリーニングのパターン)

Deduplication (重複除去)

Merge files (ファイルのマージ)

Slowly changing dimensions type 1: overwrite (緩やかに変化するディメンションのタイプ 1: 上書き)

Slowly changing dimensions type 2: history (緩やかに変化するディメンションのタイプ 2: 履歴)

Fact table loading (ファクト テーブルの読み込み)

Transform SQL Server on-prem with delta data loading pattern (差分データ読み込みパターンを使用したオンプレミスでの SQL Server の変換)

[パラメーター化]

Distinct row & row counts (個別の行と行数)

Handling truncation errors (切り捨てエラーの処理)

Intelligent data routing (インテリジェントなデータ ルーティング)

Data masking for sensitive data (機密データのデータ マスキング)

Logical Models vs. Physical Models (論理モデルと物理モデル)

Detect source data changes (ソース データの変更の検出)

ジェネリック型 2 緩やかに変化するディメンション

ソースに存在しない場合にターゲット内の行を削除する

Azure Data Factory と Azure SQL DB を使用したデータの増分読み込み

Parse と Flatten を使用して Event Hubs から Avro データを変換する

データ フローの式

日付と時刻の式

配列の分割と Case ステートメント

文字列補間とパラメーターを楽しむ

データ フロー スクリプトの概要: コピー、貼り付け、スニペット

データ品質の式

収集の集計関数

パラメーターとしての動的な式

ユーザー定義関数

Metadata

メタデータ検証規則