Microsoft Fabric の Data Factory での Avro 形式
この記事では、Microsoft Fabric の Data Factory のデータ パイプラインで Avro 形式を構成する方法の概要を示します。
サポートされる機能
Avro 形式は、次のアクティビティとコネクタでソースとコピー先としてサポートされています。
| カテゴリ | コネクタ/アクティビティ |
|---|---|
| サポートされているコネクタ | Amazon S3 |
| Amazon S3 互換 | |
| Azure Blob Storage | |
| Azure Data Lake Storage Gen1 | |
| Azure Data Lake Storage Gen2 | |
| Azure Files | |
| ファイル システム | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| レイクハウス ファイル | |
| Oracle Cloud Storage | |
| SFTP | |
| サポートされているアクティビティ | Copy アクティビティ (コピー元/コピー先) |
| Lookup アクティビティ | |
| GetMetadata アクティビティ | |
| アクティビティを削除する |
コピー アクティビティでの Avro 形式
Avro 形式を構成するには、データ パイプラインの Copy アクティビティのソースまたはコピー先で接続を選択し、[ファイル形式] のドロップダウン リストで [Avro] を選択します。 この形式をさらに構成するには、[設定] を選択します。
ソースとしての Avro 形式
[ファイル形式] セクションで [設定] を選択すると、ポップアップの [File format settings] (ファイル形式設定) ダイアログ ボックスに以下のプロパティが表示されます。
圧縮の種類: ドロップダウン リストで Avro ファイルの読み取りに使用する圧縮コーデックを選択します。 [なし] または [deflate] のいずれかを選択できます。 [動的なコンテンツの追加] を選び、式ビルダーで種類を指定することもできます。
圧縮レベル: 圧縮率を指定します。 1 から 7 の中から選びます。 [動的なコンテンツの追加] を選び、式ビルダーでレベルを指定することもできます。
コピー先としての Avro 形式
[設定] を選択すると、[File format settings] (ファイル形式設定) ダイアログ ボックスに以下のプロパティが表示されます。
圧縮の種類: ドロップダウン リストで Avro ファイルの書き込みに使用する圧縮コーデックを選択します。 [なし] または [deflate] のいずれかを選択できます。 [動的なコンテンツの追加] を選び、式ビルダーで種類を指定することもできます。
圧縮レベル: 圧縮率を指定します。 1 から 7 の中から選びます。 [動的なコンテンツの追加] を選び、式ビルダーでレベルを指定することもできます。
[コピー先] タブの [詳細] 設定に、次の Avro 形式の関連プロパティが表示されます。
- [ファイルあたりの最大行数]: データをフォルダーに書き込むとき、複数のファイルに書き込み、ファイルあたりの最大行を指定することを選択できます。
- [ファイル名プレフィックス]: [ファイルあたりの最大行数] が構成されている場合に適用されます。 データを複数のファイルに書き込むとき、ファイル名のプレフィックスを指定します。結果的に
<fileNamePrefix>_00000.<fileExtension>のパターンになります。 指定されていない場合、ファイル名プレフィックスは自動生成されます。 このプロパティは、ソースがファイルベース ストアかパーティション オプション対応データ ストアの場合、適用されません。
表形式の概要
ソースとしての Avro
Avro 形式を使用する場合、Copy アクティビティの [ソース] セクションでは、次のプロパティがサポートされます。
| 名前 | Description | Value | 必須 | Avro スクリプト プロパティ |
|---|---|---|---|---|
| ファイル形式 | 使用するファイル形式。 | Avro | はい | type ("datasetSettings の下"):Avro |
| [圧縮の種類] | Avro ファイルの読み取りに使用される圧縮コーデックです。 | なし deflate |
いいえ | avroCompressionCodec: deflate |
| 圧縮レベル | 圧縮率です。 | 1 から 7 | いいえ | avroCompressionLevel: 1 から 7 |
コピー先としての Avro
Avro 形式を使用する場合、Copy アクティビティの [コピー先] セクションでは、次のプロパティがサポートされます。
| 名前 | Description | Value | 必須 | Avro スクリプト プロパティ |
|---|---|---|---|---|
| ファイル形式 | 使用するファイル形式。 | Avro | はい | type ("datasetSettings の下"):Avro |
| [圧縮の種類] | Avro ファイルの書き込みに使用される圧縮コーデック。 | なし deflate |
いいえ | avroCompressionCodec: deflate |
| 圧縮レベル | 圧縮率です。 | 1 から 7 | いいえ | avroCompressionLevel: 1 から 7 |
| ファイルあたりの最大行数 | データをフォルダーに書き込むとき、複数のファイルに書き込み、ファイルあたりの最大行を指定することを選択できます。 | < ファイルあたりの最大行数 > | いいえ | maxRowsPerFile |
| ファイル名プレフィックス | [ファイルあたりの最大行数] が構成されている場合に適用されます。 データを複数のファイルに書き込むとき、ファイル名のプレフィックスを指定します。結果的に <fileNamePrefix>_00000.<fileExtension> のパターンになります。 指定されていない場合、ファイル名プレフィックスは自動生成されます。 このプロパティは、ソースがファイルベース ストアかパーティション オプション対応データ ストアの場合、適用されません。 |
< 実際のファイル名のプレフィックス > | いいえ | fileNamePrefix |