Azure Stream Analytics'te JSON ve Avro verilerini ayrıştırma

Azure Stream Analytics CSV, JSON ve Avro veri biçimlerindeki işleme olaylarını destekler. Hem JSON hem de Avro verileri yapılandırılabilir ve iç içe nesneler (kayıtlar) ve diziler gibi bazı karmaşık türleri içerebilir.

Veri türlerini kaydetme

Kayıt veri türleri, giriş veri akışlarında karşılık gelen biçimler kullanıldığında JSON ve Avro dizilerini temsil etmek için kullanılır. Bu örnekler, giriş olaylarını JSON biçiminde okuyan bir örnek algılayıcıyı gösterir. Tek bir olay örneği aşağıda verilmiştir:

{
    "DeviceId" : "12345",
    "Location" :
    {
        "Lat": 47,
        "Long": 122
    },
    "SensorReadings" :
    {
        "Temperature" : 80,
        "Humidity" : 70,
        "CustomSensor01" : 5,
        "CustomSensor02" : 99,
        "SensorMetadata" : 
        {
        "Manufacturer":"ABC",
        "Version":"1.2.45"
        }
    }
}

Bilinen şemada iç içe yerleştirilmiş alanlara erişme

İç içe yerleştirilmiş alanlara doğrudan sorgunuzdan kolayca erişmek için noktalı gösterimi (.) kullanın. Örneğin, bu sorgu önceki JSON verilerinde Location özelliğinin altında Enlem ve Boylam koordinatlarını seçer. Noktalı gösterim, aşağıda gösterildiği gibi birden çok düzeyde gezinmek için kullanılabilir.

SELECT
    DeviceID,
    Location.Lat,
    Location.Long,
    SensorReadings.Temperature,
    SensorReadings.SensorMetadata.Version
FROM input

Sonuç:

Tüm özellikleri seçme

İç içe bir kaydın tüm özelliklerini '*' joker karakteri kullanarak seçebilirsiniz. Aşağıdaki örneği inceleyin:

SELECT
    DeviceID,
    Location.*
FROM input

Sonuç:

Özellik adı bir değişken olduğunda iç içe yerleştirilmiş alanlara erişme

Özellik adı bir değişkense GetRecordPropertyValue işlevini kullanın. Bu, özellik adlarını sabit kodlamadan dinamik sorgular oluşturmaya olanak tanır.

Örneğin, örnek veri akışının her cihaz algılayıcısı için eşik içeren başvuru verileriyle birleştirilmesi gerektiğini düşünün. Bu tür başvuru verilerinin kod parçacığı aşağıda gösterilmiştir.

{
    "DeviceId" : "12345",
    "SensorName" : "Temperature",
    "Value" : 85
},
{
    "DeviceId" : "12345",
    "SensorName" : "Humidity",
    "Value" : 65
}

Buradaki amaç, makalenin üst kısmından bu başvuru verilerine örnek veri kümemizi birleştirmek ve her algılayıcı ölçüsü için eşiğinin üzerinde bir olay çıkarmaktır. Bu, birleştirme sayesinde birden çok algılayıcının ilgili eşiklerinin üzerinde olması durumunda yukarıdaki tek olayımızın birden çok çıkış olayı oluşturabileceği anlamına gelir. Birleştirme olmadan benzer sonuçlar elde etmek için aşağıdaki bölüme bakın.

SELECT
    input.DeviceID,
    thresholds.SensorName,
    "Alert: Sensor above threshold" AS AlertMessage
FROM input      -- stream input
JOIN thresholds -- reference data input
ON
    input.DeviceId = thresholds.DeviceId
WHERE
    GetRecordPropertyValue(input.SensorReadings, thresholds.SensorName) > thresholds.Value

GetRecordPropertyValue, SensorReadings'te özelliği seçer ve bu ad başvuru verilerinden gelen özellik adıyla eşleşir. Ardından SensorReadings'ten ilişkili değer ayıklanır.

Sonuç:

Kayıt alanlarını ayrı olaylara dönüştürme

Kayıt alanlarını ayrı olaylara dönüştürmek için APPLY işlecini GetRecordProperties işleviyle birlikte kullanın.

Özgün örnek verilerle, özellikleri farklı olaylara ayıklamak için aşağıdaki sorgu kullanılabilir.

SELECT
    event.DeviceID,
    sensorReading.PropertyName,
    sensorReading.PropertyValue
FROM input as event
CROSS APPLY GetRecordProperties(event.SensorReadings) AS sensorReading

Sonuç:

WITH kullanarak bu olayları farklı hedeflere yönlendirmek mümkündür:

WITH Stage0 AS
(
    SELECT
        event.DeviceID,
        sensorReading.PropertyName,
        sensorReading.PropertyValue
    FROM input as event
    CROSS APPLY GetRecordProperties(event.SensorReadings) AS sensorReading
)

SELECT DeviceID, PropertyValue AS Temperature INTO TemperatureOutput FROM Stage0 WHERE PropertyName = 'Temperature'
SELECT DeviceID, PropertyValue AS Humidity INTO HumidityOutput FROM Stage0 WHERE PropertyName = 'Humidity'

SQL başvuru verilerinde JSON kaydını ayrıştırma

Azure SQL Veritabanı'nı işinizde başvuru verileri olarak kullanırken, JSON biçiminde veri içeren bir sütuna sahip olmak mümkündür. Aşağıda bir örnek gösterilmiştir.

Basit bir JavaScript kullanıcı tanımlı işlevi yazarak Veri sütunundaki JSON kaydını ayrıştırabilirsiniz.

function parseJson(string) {
return JSON.parse(string);
}

Ardından, JSON kayıtlarınızın alanlarına erişmek için aşağıda gösterildiği gibi Stream Analytics sorgunuzda bir adım oluşturabilirsiniz.

WITH parseJson as
(
SELECT DeviceID, udf.parseJson(sqlRefInput.Data) as metadata,
FROM sqlRefInput
)

SELECT metadata.key
INTO output
FROM streamInput
JOIN parseJson 
ON streamInput.DeviceID = parseJson.DeviceID

Dizi veri türleri

Dizi veri türleri, sıralı bir değer koleksiyonudur. Dizi değerleriyle ilgili bazı tipik işlemler aşağıda ayrıntılı olarak verilmiştir. Bu örneklerde GetArrayElement, GetArrayElements, GetArrayLength ve APPLY işleci kullanılır.

Aşağıda bir olay örneği verilmiştir. Hem hem de CustomSensor03dizi türündedir:SensorMetadata

{
    "DeviceId" : "12345",
    "SensorReadings" :
    {
        "Temperature" : 80,
        "Humidity" : 70,
        "CustomSensor01" : 5,
        "CustomSensor02" : 99,
        "CustomSensor03": [12,-5,0]
     },
    "SensorMetadata":[
        {          
            "smKey":"Manufacturer",
            "smValue":"ABC"                
        },
        {
            "smKey":"Version",
            "smValue":"1.2.45"
        }
    ]
}

Belirli bir dizi öğesiyle çalışma

Belirtilen dizinde dizi öğesini seçin (ilk dizi öğesini seçme):

SELECT
    GetArrayElement(SensorReadings.CustomSensor03, 0) AS firstElement
FROM input

Sonuç:

Dizi uzunluğunu seçin

SELECT
    GetArrayLength(SensorReadings.CustomSensor03) AS arrayLength
FROM input

Sonuç:

Dizi öğelerini ayrı olaylara dönüştürme

Tüm dizi öğesini tek tek olaylar olarak seçin. APPLY işleci, GetArrayElements yerleşik işleviyle birlikte tüm dizi öğelerini tek tek olaylar olarak ayıklar:

SELECT
    DeviceId,
	CustomSensor03Record.ArrayIndex,
	CustomSensor03Record.ArrayValue
FROM input
CROSS APPLY GetArrayElements(SensorReadings.CustomSensor03) AS CustomSensor03Record

Sonuç:

SELECT   
    i.DeviceId,	
    SensorMetadataRecords.ArrayValue.smKey as smKey,
    SensorMetadataRecords.ArrayValue.smValue as smValue
FROM input i
CROSS APPLY GetArrayElements(SensorMetadata) AS SensorMetadataRecords

Sonuç:

Ayıklanan alanların sütunlarda görünmesi gerekiyorsa, JOIN işlemine ek olarak WITH söz dizimini kullanarak veri kümesini özetleyebilirsiniz. Bu birleşim, yinelemeyi engelleyen bir zaman sınırı koşulu gerektirir:

WITH DynamicCTE AS (
	SELECT   
		i.DeviceId,
		SensorMetadataRecords.ArrayValue.smKey as smKey,
		SensorMetadataRecords.ArrayValue.smValue as smValue
	FROM input i
	CROSS APPLY GetArrayElements(SensorMetadata) AS SensorMetadataRecords 
)

SELECT
	i.DeviceId,
	i.Location.*,
	V.smValue AS 'smVersion',
	M.smValue AS 'smManufacturer'
FROM input i
LEFT JOIN DynamicCTE V ON V.smKey = 'Version' and V.DeviceId = i.DeviceId AND DATEDIFF(minute,i,V) BETWEEN 0 AND 0 
LEFT JOIN DynamicCTE M ON M.smKey = 'Manufacturer' and M.DeviceId = i.DeviceId AND DATEDIFF(minute,i,M) BETWEEN 0 AND 0

Sonuç:

Ayrıca Bkz.

Azure Stream Analytics'te Veri Türleri