Azure Data Factory ve Synapse Analytics'te ORC biçimi

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

ORC dosyalarını ayrıştırmak veya verileri ORC biçiminde yazmak istediğinizde bu makaleyi izleyin.

ORC biçimi şu bağlayıcılar için desteklenir: Amazon S3, Amazon S3 Uyumlu Depolama, Azure Blob, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil, Azure Dosyalar, Dosya Sistemi, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage ve SFTP.

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, ORC veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Aşağıda Azure Blob Depolama'da ORC veri kümesi örneği verilmiştir:

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Aaşağıdaki noktaları unutmayın:

• Karmaşık veri türleri (örneğin MAP, LIST, STRUCT) şu anda kopyalama etkinliğinde değil yalnızca Veri Akışı'lerde desteklenmektedir. Veri akışlarında karmaşık türler kullanmak için, veri kümesinde şemayı boş bırakarak veri kümesindeki dosya şemasını içeri aktarmayın. Ardından Kaynak dönüşümünde projeksiyonu içeri aktarın.
• Sütun adında boşluk desteklenmiyor.

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölüm, ORC kaynağı ve havuzu tarafından desteklenen özelliklerin listesini sağlar.

Kaynak olarak ORC

Kopyalama etkinliği *kaynak* bölümünde aşağıdaki özellikler desteklenir.

Havuz olarak ORC

Kopyalama etkinliği *havuz* bölümünde aşağıdaki özellikler desteklenir.

altında formatSettingsdesteklenen ORC yazma ayarları:

Eşleme veri akışı özellikleri

Veri akışlarını eşlemede, şu veri depolarında ORC biçimini okuyabilir ve yazabilirsiniz: Azure Blob Depolama, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil ve SFTP ve Amazon S3'te ORC biçimini okuyabilirsiniz.

ORC veri kümesini veya satır içi veri kümesini kullanarak ORC dosyalarına işaret edebilirsiniz.

Kaynak özellikleri

Aşağıdaki tabloda ORC kaynağı tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Satır içi veri kümesini kullanırken, veri kümesi özellikleri bölümünde açıklanan özelliklerle aynı olan ek dosya ayarlarını görürsünüz.

Kaynak örneği

ORC kaynak yapılandırmasının ilişkili veri akışı betiği:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

Havuz özellikleri

Aşağıdaki tabloda ORC havuzu tarafından desteklenen özellikler listelenmiştir. Bu özellikleri Ayarlar sekmesinde düzenleyebilirsiniz.

Satır içi veri kümesini kullanırken, veri kümesi özellikleri bölümünde açıklanan özelliklerle aynı olan ek dosya ayarlarını görürsünüz.

Havuz örneği

ORC havuz yapılandırmasının ilişkili veri akışı betiği şöyledir:

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanını Kullanma

ORC dosya serileştirme/seri durumdan çıkarma ile Şirket içinde barındırılan IR üzerinde çalışan kopyalama için hizmet, ilk olarak JRE için kayıt defterini (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) denetleyerek Java çalışma zamanını bulur, bulunamazsa ikinci olarak OpenJDK için sistem değişkenini JAVA_HOME denetler.

• JRE'yi kullanmak için: 64 bit IR için 64 bit JRE gerekir. Buradan bulabilirsiniz.
• OpenJDK'yi kullanmak için: IR sürüm 3.13'ten bu yana desteklenir. jvm.dll OpenJDK'nin diğer tüm gerekli derlemeleriyle şirket içinde barındırılan IR makinesine paketleyin ve sistem ortamı değişkenini buna göre JAVA_HOME ayarlayın.
• Visual C++ 2010 Yeniden Dağıtılabilir Paketi yüklemek için: Visual C++ 2010 Yeniden Dağıtılabilir Paketi şirket içinde barındırılan IR yüklemeleriyle yüklenmez. Buradan bulabilirsiniz.

Örnek: değeriyle -Xms256m -Xmx16gdeğişken _JAVA_OPTIONS ayarlama. bayrağı Xms bir Java Sanal Makinesi (JVM) için ilk bellek ayırma havuzunu belirtirken Xmx , en yüksek bellek ayırma havuzunu belirtir. Bu, JVM'nin bellek miktarıyla Xms başlatılacağı ve en fazla Xmx bellek miktarını kullanabileceği anlamına gelir. Varsayılan olarak hizmet en az 64 MB ve en fazla 1G kullanır.

İlgili içerik

• Kopyalama etkinliği genel bakış
• Arama etkinliği
• GetMetadata etkinliği