Azure Data Factory ve Azure Synapse Analytics'te JSON biçimi

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

JSON dosyalarını ayrıştırmak veya verileri JSON biçiminde yazmak istediğinizde bu makaleyi izleyin.

JSON biçimi aşağıdaki bağlayıcılar için desteklenir:

• Amazon S3
• Amazon S3 Uyumlu Depolama,
• Azure Blob
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage 2. Nesil
• Azure Dosyaları
• Dosya Sistemi
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle Cloud Storage
• SFTP

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, JSON veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

aşağıda Azure Blob Depolama üzerinde JSON veri kümesi örneği verilmiştir:

{
    "name": "JSONDataset",
    "properties": {
        "type": "Json",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "gzip"
            }
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölüm, JSON kaynağı ve havuzu tarafından desteklenen özelliklerin listesini sağlar.

JSON dosyalarından verileri ayıklamayı ve havuz veri deposu/biçimiyle eşlemeyi veya şema eşlemesinden tam tersini yapmayı öğrenin.

Kaynak olarak JSON

Kopyalama etkinliği *kaynak* bölümünde aşağıdaki özellikler desteklenir.

altında formatSettingsdesteklenen JSON okuma ayarları:

Havuz olarak JSON

Kopyalama etkinliği *havuz* bölümünde aşağıdaki özellikler desteklenir.

altında formatSettingsdesteklenen JSON yazma ayarları:

JSON dosyası desenleri

JSON dosyalarından veri kopyalarken kopyalama etkinliği aşağıdaki JSON dosyalarının desenlerini otomatik olarak algılayabilir ve ayrıştırabilir. JSON dosyalarına veri yazarken, kopyalama etkinliği havuzundaki dosya desenini yapılandırabilirsiniz.

• 1. Tür: setOfObjects

  Her dosya tek nesne, JSON satırları veya birleştirilmiş nesneler içerir.

  • tek nesne JSON örneği

    {
        "time": "2015-04-29T07:12:20.9100000Z",
        "callingimsi": "466920403025604",
        "callingnum1": "678948008",
        "callingnum2": "567834760",
        "switch1": "China",
        "switch2": "Germany"
    }
    

  • JSON Satırları (havuz için varsayılan)

    {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
    {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}
    {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
    

  • bitiştirilmiş JSON örneği

    {
        "time": "2015-04-29T07:12:20.9100000Z",
        "callingimsi": "466920403025604",
        "callingnum1": "678948008",
        "callingnum2": "567834760",
        "switch1": "China",
        "switch2": "Germany"
    }
    {
        "time": "2015-04-29T07:13:21.0220000Z",
        "callingimsi": "466922202613463",
        "callingnum1": "123436380",
        "callingnum2": "789037573",
        "switch1": "US",
        "switch2": "UK"
    }
    {
        "time": "2015-04-29T07:13:21.4370000Z",
        "callingimsi": "466923101048691",
        "callingnum1": "678901578",
        "callingnum2": "345626404",
        "switch1": "Germany",
        "switch2": "UK"
    }
    

• 2. Tür: arrayOfObjects

  Her dosya bir nesne dizisi içerir.

  [
      {
          "time": "2015-04-29T07:12:20.9100000Z",
          "callingimsi": "466920403025604",
          "callingnum1": "678948008",
          "callingnum2": "567834760",
          "switch1": "China",
          "switch2": "Germany"
      },
      {
          "time": "2015-04-29T07:13:21.0220000Z",
          "callingimsi": "466922202613463",
          "callingnum1": "123436380",
          "callingnum2": "789037573",
          "switch1": "US",
          "switch2": "UK"
      },
      {
          "time": "2015-04-29T07:13:21.4370000Z",
          "callingimsi": "466923101048691",
          "callingnum1": "678901578",
          "callingnum2": "345626404",
          "switch1": "Germany",
          "switch2": "UK"
      }
  ]
  

Eşleme veri akışı özellikleri

Eşleme veri akışlarında şu veri depolarında JSON biçiminde okuma ve yazma işlemleri yapabilirsiniz: Azure Blob Depolama, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil ve SFTP; Amazon'da JSON biçimini okuyabilirsiniz S3.

Kaynak özellikleri

Aşağıdaki tabloda json kaynağı tarafından desteklenen özellikler listelenmiştir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Satır içi veri kümesi

Eşleme veri akışları, kaynak ve havuzunuzu tanımlama seçeneği olarak "satır içi veri kümelerini" destekler. Satır içi JSON veri kümesi doğrudan kaynak ve havuz dönüşümlerinizin içinde tanımlanır ve tanımlı veri akışının dışında paylaşılmaz. Veri kümesi özelliklerini doğrudan veri akışınızın içinde parametrelendirmek için kullanışlıdır ve paylaşılan ADF veri kümelerine göre geliştirilmiş performanstan yararlanabilir.

Çok sayıda kaynak klasör ve dosya okurken Projeksiyon | içinde "Kullanıcı tarafından öngörülen şema" seçeneğini ayarlayarak veri akışı dosyası bulma performansını geliştirebilirsiniz Şema seçenekleri iletişim kutusu. Bu seçenek, ADF'nin varsayılan şema otomatik bulmasını kapatır ve dosya bulma performansını büyük ölçüde artırır. Bu seçeneği ayarlamadan önce, ADF'nin projeksiyon için mevcut bir şeması olması için JSON projeksiyonunu içeri aktardığından emin olun. Bu seçenek şema kayması ile çalışmaz.

Kaynak biçimi seçenekleri

Veri akışınızda kaynak olarak bir JSON veri kümesi kullanmak beş ek ayar ayarlamanıza olanak tanır. Bu ayarlar, Kaynak Seçenekleri sekmesindeki JSON ayarları akordeonu altında bulunabilir. Belge Formu ayarı için Tek belge, Satır başına belge ve Belge türleri dizisi'nin birini seçebilirsiniz.

Varsayılan

Varsayılan olarak, JSON verileri aşağıdaki biçimde okunur.

{ "json": "record 1" }
{ "json": "record 2" }
{ "json": "record 3" }

Tek belge

Tek belge seçilirse eşleme veri akışları her dosyadan bir JSON belgesi okur.

File1.json
{
    "json": "record 1"
}
File2.json
{
    "json": "record 2"
}
File3.json
{
    "json": "record 3"
}

Satır başına belge seçiliyse, eşleme veri akışları bir dosyadaki her satırdan bir JSON belgesi okur.

File1.json
{"json": "record 1"}

File2.json
 {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
 {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}

File3.json
 {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
 {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}
 {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}

Belge dizisi seçiliyse, eşleme veri akışları bir dosyadan bir belge dizisi okur.

File.json
[
        {
            "time": "2015-04-29T07:12:20.9100000Z",
            "callingimsi": "466920403025604",
            "callingnum1": "678948008",
            "callingnum2": "567834760",
            "switch1": "China",
            "switch2": "Germany"
        },
        {
            "time": "2015-04-29T07:13:21.0220000Z",
            "callingimsi": "466922202613463",
            "callingnum1": "123436380",
            "callingnum2": "789037573",
            "switch1": "US",
            "switch2": "UK"
        },
        {
            "time": "2015-04-29T07:13:21.4370000Z",
            "callingimsi": "466923101048691",
            "callingnum1": "678901578",
            "callingnum2": "345626404",
            "switch1": "Germany",
            "switch2": "UK"
        }
    ]

Alıntılanmamış sütun adları

Alıntılanmamış sütun adları seçilirse, eşleme veri akışları tırnak içine alınmayan JSON sütunlarını okur.

{ json: "record 1" }
{ json: "record 2" }
{ json: "record 3" }

Açıklamaları var

JSON verisinde C veya C++ stili açıklama varsa Açıklamaları var'ı seçin.

{ "json": /** comment **/ "record 1" }
{ "json": "record 2" }
{ /** comment **/ "json": "record 3" }

Tek tırnaklı

JSON alanları ve değerleri çift tırnak yerine tek tırnak kullanıyorsa Tek tırnaklı seçeneğini belirleyin.

{ 'json': 'record 1' }
{ 'json': 'record 2' }
{ 'json': 'record 3' }

Ters eğik çizgi kaçtı

JSON verilerindeki karakterlerin kaçışı için ters eğik çizgi kullanılıyorsa Ters eğik çizgi kaçışı'nı seçin.

{ "json": "record 1" }
{ "json": "\} \" \' \\ \n \\n record 2" }
{ "json": "record 3" }

Havuz Özellikleri

Aşağıdaki tabloda json havuzu tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Ayarlar sekmesinde düzenleyebilirsiniz.

Türetilmiş bir sütunda JSON yapıları oluşturma

Türetilmiş sütun ifade oluşturucusu aracılığıyla veri akışınıza karmaşık bir sütun ekleyebilirsiniz. Türetilen sütun dönüşümünde yeni bir sütun ekleyin ve mavi kutuya tıklayarak ifade oluşturucusunu açın. Sütunu karmaşık hale getirmek için JSON yapısını el ile girebilir veya UX kullanarak etkileşimli olarak alt sütun ekleyebilirsiniz.

İfade oluşturucu UX kullanma

Çıktı şeması yan bölmesinde, bir sütunun üzerine gelin ve artı simgesine tıklayın. Sütunu karmaşık bir tür yapmak için Alt sütun ekle'yi seçin.

Aynı şekilde ek sütunlar ve alt sütunlar ekleyebilirsiniz. Karmaşık olmayan her alan için, sağdaki ifade düzenleyicisine bir ifade eklenebilir.

JSON yapısını el ile girme

JSON yapısını el ile eklemek için yeni bir sütun ekleyin ve ifadeyi düzenleyiciye girin. İfade aşağıdaki genel biçimi izler:

@(
    field1=0,
    field2=@(
        field1=0
    )
)

Bu ifade "complexColumn" adlı bir sütun için girilmişse havuza aşağıdaki JSON olarak yazılır:

{
    "complexColumn": {
        "field1": 0,
        "field2": {
            "field1": 0
        }
    }
}

Tam hiyerarşik tanım için örnek el ile betik

@(
    title=Title,
    firstName=FirstName,
    middleName=MiddleName,
    lastName=LastName,
    suffix=Suffix,
    contactDetails=@(
        email=EmailAddress,
        phone=Phone
    ),
    address=@(
        line1=AddressLine1,
        line2=AddressLine2,
        city=City,
        state=StateProvince,
        country=CountryRegion,
        postCode=PostalCode
    ),
    ids=[
        toString(CustomerID), toString(AddressID), rowguid
    ]
)

İlgili bağlayıcılar ve biçimler

JSON biçimiyle ilgili bazı yaygın bağlayıcılar ve biçimler şunlardır:

• Azure Blob Depolama
• Sınırlandırılmış metin biçimi
• OData bağlayıcısı
• Parquet biçimi

İlgili içerik

• Kopyalama etkinliği genel bakış
• Eşleme veri akışı
• Arama etkinliği
• GetMetadata etkinliği