Formato binario in Azure Data Factory e Synapse Analytics

  • Articolo

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .

Il formato binario è supportato per i connettori seguenti: Amazon S3, Amazon S3 Compatible Archiviazione, Azure Blob, Azure Data Lake Archiviazione Gen1, Azure Data Lake Archiviazione Gen2, File di Azure, File System, FTP, Google Cloud Archiviazione, HDFS, HTTP, Oracle Cloud Archiviazione e SFTP.

È possibile usare il set di dati Binary in attività Copy, nell'attività GetMetadata o nell'attività Delete. Quando si usa il set di dati Binario, il servizio non analizza il contenuto del file ma lo considera così come è.

Nota

Quando si usa il set di dati Binario nell'attività di copia, è possibile copiare solo dal set di dati binario al set di dati binario.

Proprietà del set di dati

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione dei set di dati, vedere l'articolo Set di dati. In questa sezione viene fornito un elenco delle proprietà supportate dal set di dati Binario.

Proprietà Descrizione Richiesto
Tipo La proprietà type del set di dati deve essere impostata su Binary. Sì
posizione Impostazioni del percorso dei file. Ogni connettore basato su file ha il proprio tipo di percorso e le proprietà supportate in location. Vedere i dettagli nell'articolo connettore -> Sezione Proprietà set di dati. Sì
compressione Gruppo di proprietà per configurare la compressione dei file. Configurare questa sezione quando si desidera eseguire la compressione/decompressione durante l'esecuzione dell'attività. No
Tipo Codec di compressione usato per leggere/scrivere file binari.
I valori consentiti sono bzip2, gzip, deflate, ZipDeflate, Tar o TarGzip.
Si noti che quando si usa l'attività di copia per decomprimere file ZipDeflate/Targzip/Tar e scrivere nell'archivio dati sink basato su file, per impostazione predefinita i file vengono estratti nella cartella:<path specified in dataset>/<folder named as source compressed file>/, usare/preserveCompressionFileNameAsFolder preserveZipFileNameAsFoldernell'origine dell'attività di copia per controllare se mantenere il nome dei file compressi come struttura di cartelle.		 No
level Rapporto di compressione. Applicare quando il set di dati viene usato in attività Copy sink.
I valori consentiti sono Optimal o Fastest.
- Fastest: l'operazione di compressione deve essere completata il più rapidamente possibile, anche se il file risultante non viene compresso in modo ottimale.
- Optimal: l'operazione di compressione deve comprimere il file in modo ottimale, anche se il completamento richiede più tempo. Per maggiori informazioni, vedere l'argomento relativo al livello di compressione .		 No

Di seguito è riportato un esempio di set di dati Binary in Archiviazione BLOB di Azure:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Proprietà dell'attività di copia

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione delle attività, vedere l'articolo sulle pipeline. In questa sezione viene fornito un elenco delle proprietà supportate dall'origine binaria e dal sink.

Nota

Quando si usa il set di dati Binario nell'attività di copia, è possibile copiare solo dal set di dati binario al set di dati binario.

Binario come origine

Nella sezione *source* dell'attività di copia sono supportate le proprietà seguenti.

Proprietà Descrizione Richiesto
Tipo La proprietà type dell'origine dell'attività di copia deve essere impostata su BinarySource. Sì
formato Impostazioni Gruppo di proprietà. Fare riferimento alla tabella delle impostazioni di lettura binaria di seguito. No
store Impostazioni Gruppo di proprietà su come leggere i dati da un archivio dati. Ogni connettore basato su file ha le proprie impostazioni di lettura supportate in storeSettings. Vedere i dettagli nell'articolo connettore -> attività Copy sezione delle proprietà. No

Impostazioni di lettura binarie supportate in formatSettings:

Proprietà Descrizione Richiesto
Tipo Il tipo di formato Impostazioni deve essere impostato su BinaryRead Impostazioni. Sì
compressionProperties Gruppo di proprietà su come decomprimere i dati per un determinato codec di compressione. No
preserveZipFileNameAsFolder
(under compressionProperties->type as ZipDeflateReadSettings)		 Si applica quando il set di dati di input è configurato con la compressione ZipDeflate . Indica se mantenere il nome del file ZIP di origine come struttura di cartelle durante la copia.
- Se impostato su true (impostazione predefinita), il servizio scrive i file decompressi in <path specified in dataset>/<folder named as source zip file>/.
- Se impostato su false, il servizio scrive i file decompressi direttamente in <path specified in dataset>. Assicurarsi di non avere nomi di file duplicati in file ZIP di origine diversi per evitare corse o comportamenti imprevisti.		 No
preserveCompressionFileNameAsFolder
(in compressionProperties->type come TarGZipReadSettings o TarReadSettings)		 Si applica quando il set di dati di input è configurato con la compressione TarGzip/Tar. Indica se mantenere il nome del file compresso di origine come struttura di cartelle durante la copia.
- Se impostato su true (impostazione predefinita), il servizio scrive i file decompressi in <path specified in dataset>/<folder named as source compressed file>/.
- Se impostato su false, il servizio scrive i file decompressi direttamente in <path specified in dataset>. Assicurarsi di non avere nomi di file duplicati in file di origine diversi per evitare corse o comportamenti imprevisti.		 No 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Binario come sink

Nella sezione *sink* dell'attività di copia sono supportate le proprietà seguenti.

Proprietà Descrizione Richiesto
Tipo La proprietà type dell'origine dell'attività di copia deve essere impostata su BinarySink. Sì
store Impostazioni Gruppo di proprietà su come scrivere dati in un archivio dati. Ogni connettore basato su file ha impostazioni di scrittura supportate in storeSettings. Vedere i dettagli nell'articolo connettore -> attività Copy sezione delle proprietà. No

Contenuto correlato