Export dat IoT do služby Blob Storage

Tento článek popisuje, jak nakonfigurovat export dat tak, aby odesílala data do služby Blob Storage.

Pomocí této funkce můžete průběžně exportovat filtrovaná a rozšířená data IoT z vaší aplikace IoT Central. Export dat nasdílí změny téměř v reálném čase do jiných částí cloudového řešení pro přehledy teplé cesty, analýzy a úložiště.

Je například možné:

• Nepřetržitě exportujte telemetrii, změny vlastností, připojení zařízení, životní cyklus zařízení, životní cyklus šablony zařízení a data protokolu auditu ve formátu JSON téměř v reálném čase.
• Filtrováním datových proudů můžete exportovat data, která odpovídají vlastním podmínkám.
• Obohacení datových proudů vlastními hodnotami a hodnotami vlastností ze zařízení
• Transformujte datové proudy a upravte jejich tvar a obsah.

Požadavky

Pokud chcete používat funkce exportu dat, musíte mít oprávnění k exportu dat.

Informace o správě exportu dat pomocí rozhraní IOT Central REST API najdete v tématu Použití rozhraní IOT Central REST API ke správě exportů dat.

Nastavení cíle exportu služby Blob Storage

IoT Central exportuje data jednou za minutu, přičemž každý soubor obsahující dávku změn od předchozího exportu. Exportovaná data se ukládají ve formátu JSON. Výchozí cesty k exportovaným datům v účtu úložiště jsou:

• Telemetrie: {container}/{app-id}/{partition_id}/{YYY}/{MM}/{dd}/{hh}/{mm}/{název_souboru}
• Změny vlastností: {container}/{app-id}/{partition_id}/{YYY}/{MM}/{dd}/{hh}/{mm}/{název_souboru}

Pokud chcete procházet exportované soubory na webu Azure Portal, přejděte do souboru a vyberte Upravit objekt blob.

Možnosti připojení

Cíle blob Storage umožňují nakonfigurovat připojení s připojovací řetězec nebo spravovanou identitou.

Spravované identity jsou bezpečnější, protože:

• Přihlašovací údaje pro prostředek neukládáte do připojovací řetězec v aplikaci IoT Central.
• Přihlašovací údaje jsou automaticky svázané s životností vaší aplikace IoT Central.
• Spravované identity automaticky obměňují klíče zabezpečení pravidelně.

IoT Central aktuálně používá spravované identity přiřazené systémem.

Při konfiguraci spravované identity zahrnuje konfigurace obor a roli:

• Obor definuje, kde můžete použít spravovanou identitu. Jako obor můžete například použít skupinu prostředků Azure. V takovém případě musí být aplikace IoT Central i cíl ve stejné skupině prostředků.
• Role definuje, jaká oprávnění má aplikace IoT Central udělená v cílové službě. Například aby aplikace IoT Central odesílala data do centra událostí, potřebuje spravovaná identita přiřazení role Odesílatele dat služby Azure Event Hubs.

Následující video obsahuje další informace o spravovaných identitách přiřazených systémem:

Vytvoření cíle služby Azure Blob Storage

# Replace the storage account name with your own unique value.
SA=yourstorageaccount$RANDOM

# Replace the IoT Central app name with the name of your
# IoT Central application.
CA=your-iot-central-app

CN=exportdata
RG=centralexportresources
LOCATION=eastus

az group create -n $RG --location $LOCATION
SAID=$(az storage account create --name $SA --resource-group $RG --location $LOCATION --sku Standard_LRS --query "id" --output tsv)
az storage container create --account-name $SA --resource-group $RG --name $CN

# This assumes your IoT Central application is in the 
# default `IOTC` resource group.
az iot central app identity assign --name $CA --resource-group IOTC --system-assigned
PI=$(az iot central app identity show --name $CA --resource-group IOTC --query "principalId" --output tsv)

az role assignment create --assignee $PI --role "Storage Blob Data Contributor" --scope $SAID

az role assignment list --assignee $PI --all -o table

echo "Endpoint URI: https://$SA.blob.core.windows.net/"
echo "Container: $CN"

# Replace the storage account name with your own unique value
SA=yourstorageaccount$RANDOM
CN=exportdata
RG=centralexportresources
LOCATION=eastus

az group create -n $RG --location $LOCATION
az storage account create --name $SA --resource-group $RG --location $LOCATION --sku Standard_LRS
az storage container create --account-name $SA --resource-group $RG --name $CN

CS=$(az storage account show-connection-string --resource-group $RG --name $SA --query "connectionString" --output tsv)

echo "Storage connection string: $CS"

Nastavení exportu dat

Teď, když máte cíl exportovat data do, nastavte export dat v aplikaci IoT Central:

1. Přihlaste se k aplikaci IoT Central.

2. V levém podokně vyberte Export dat.

   Tip

   Pokud v levém podokně nevidíte export dat, nemáte oprávnění ke konfiguraci exportu dat v aplikaci. Požádejte správce o nastavení exportu dat.

3. Vyberte + Nový export.

4. Zadejte zobrazovaný název nového exportu a ujistěte se, že je export dat povolený.

5. Zvolte typ dat, která chcete exportovat. Následující tabulka uvádí podporované typy exportu dat:

   Datový typ	Popis	Formát dat
   Telemetrie	Exportujte telemetrické zprávy ze zařízení téměř v reálném čase. Každá exportovaná zpráva obsahuje úplný obsah původní zprávy o zařízení, normalizované.	Formát zprávy telemetrie
   Změny vlastností	Export změn do vlastností zařízení a cloudu téměř v reálném čase U vlastností zařízení jen pro čtení se exportují změny ohlášených hodnot. U vlastností pro čtení i zápis se vyexportují hlášené i požadované hodnoty.	Změna formátu zprávy vlastnosti
   Připojení zařízení	Exportujte události připojené k zařízení a odpojené události.	Formát zprávy připojení zařízení
   Životní cyklus zařízení	Exportujte registrované, odstraněné, zřízené, povolené, zakázané, displayNameChanged a události deviceTemplateChanged.	Formát zprávy o změně životního cyklu zařízení
   Životní cyklus šablony zařízení	Exportujte publikované změny šablony zařízení, včetně vytvořených, aktualizovaných a odstraněných.	Změna formátu zprávy o životním cyklu šablony zařízení
   Protokoly auditu	Protokoly aktualizací iniciovaných uživatelem u entit v aplikaci Další informace najdete v tématu Použití protokolů auditu ke sledování aktivit v aplikaci IoT Central.	Formát zprávy protokolu auditu

6. Volitelně můžete přidat filtry, abyste snížili množství exportovaných dat. Pro každý typ exportu dat jsou k dispozici různé typy filtrů:

   Typ dat	Dostupné filtry
   Telemetrie	Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení Filtrování streamu tak, aby obsahoval pouze telemetrii, která splňuje podmínky filtru Filtrování datového proudu tak, aby obsahovalo pouze telemetrii ze zařízení s vlastnostmi odpovídajícími podmínkám filtru Filtrujte stream tak, aby obsahoval pouze telemetrii, která má vlastnosti zprávy, které splňují podmínku filtru. Vlastnosti zpráv (označované také jako vlastnosti aplikace) se odesílají v pytli párů klíč-hodnota v každé zprávě telemetrie. Pokud chcete vytvořit filtr vlastností zprávy, zadejte klíč vlastnosti zprávy, který hledáte, a zadejte podmínku. Exportují se pouze zprávy telemetrie s vlastnostmi, které odpovídají zadané podmínce filtru. Další informace o vlastnostech aplikace z dokumentace ke službě IoT Hub
   Změny vlastností	Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení Filtrování datového proudu tak, aby obsahovalo pouze změny vlastností, které splňují podmínky filtru
   Připojení zařízení	Filtrování podle názvu zařízení, ID zařízení, šablony zařízení, organizací a simulovaných zařízení Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
   Životní cyklus zařízení	Filtrování podle názvu zařízení, ID zařízení, šablony zařízení a pokud je zařízení zřízené, povolené nebo simulované Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
   Životní cyklus šablony zařízení	Filtrovat podle šablony zařízení
   Protokoly auditu	–

7. Volitelně můžete rozšířit exportované zprávy o metadata páru klíč-hodnota navíc. Pro telemetrii, změny vlastností, připojení zařízení a typy exportu dat životního cyklu zařízení jsou k dispozici následující rozšíření:

   • Vlastní řetězec: Přidá do každé zprávy vlastní statický řetězec. Zadejte libovolný klíč a zadejte libovolnou řetězcovou hodnotu.
   • Vlastnost, která se přidá do každé zprávy:
     • Metadata zařízení, jako je název zařízení, název šablony zařízení, povoleno, organizace, zřízená a simulovaná.
     • Aktuální hlášená vlastnost zařízení nebo hodnota cloudové vlastnosti pro každou zprávu. Pokud je exportovaná zpráva ze zařízení, které nemá zadanou vlastnost, exportovaná zpráva nezískute obohacení.

Nakonfigurujte cíl exportu:

1. Vyberte + Cíl a přidejte cíl, který jste už vytvořili, nebo vyberte Vytvořit nový.

2. Pokud chcete data před exportem transformovat, vyberte + Transformovat. Další informace najdete v tématu Transformace dat uvnitř aplikace IoT Central pro export.

3. Pokud chcete do jednoho exportu přidat až pět cílů, vyberte + Cíl .

4. Až dokončíte nastavení exportu, vyberte Uložit. Po několika minutách se vaše data zobrazí ve vašich cílech.

Monitorování exportu

Na stránce exportu dat ve službě IoT Central můžete zkontrolovat stav exportů. Pomocí služby Azure Monitor můžete také zjistit, kolik dat exportujete, a případné chyby exportu. K exportu a metrikám stavu zařízení můžete přistupovat v grafech na webu Azure Portal pomocí rozhraní REST API, dotazů v PowerShellu nebo Azure CLI. V současné době můžete monitorovat následující metriky exportu dat ve službě Azure Monitor:

• Počet zpráv příchozích k exportu před aplikování filtrů
• Počet zpráv, které procházejí filtry
• Počet zpráv úspěšně exportovaných do cílů
• Počet nalezených chyb

Další informace najdete v tématu Monitorování stavu aplikace.

Formáty dat

Následující části popisují formáty exportovaných dat:

Formát telemetrie

Každá exportovaná zpráva obsahuje normalizovanou formu celé zprávy, kterou zařízení odeslalo v textu zprávy. Zpráva je ve formátu JSON a kódovaná jako UTF-8. Informace v každé zprávě zahrnují:

• applicationId: ID aplikace IoT Central.
• messageSource: Zdroj zprávy - telemetry.
• deviceId: ID zařízení, které odeslalo zprávu telemetrie.
• schema: Název a verze schématu datové části.
• templateId: ID šablony zařízení přiřazené k zařízení.
• enqueuedTime: Čas, kdy služba IoT Central přijala tuto zprávu.
• enrichments: Všechny rozšiřování nastavené pro export.
• module: Modul IoT Edge, který tuto zprávu odeslal. Toto pole se zobrazí jenom v případě, že zpráva pochází z modulu IoT Edge.
• component: Komponenta, která tuto zprávu odeslala. Toto pole se zobrazí pouze v případě, že funkce odeslané ve zprávě byly modelovány jako součást v šabloně zařízení.
• messageProperties: Další vlastnosti, které zařízení odeslalo se zprávou. Tyto vlastnosti se někdy označují jako vlastnosti aplikace. Další informace najdete v dokumentaci ke službě IoT Hub.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje exportovanou zprávu telemetrie:

{
    "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
    "messageSource": "telemetry",
    "deviceId": "1vzb5ghlsg1",
    "schema": "default@v1",
    "templateId": "urn:qugj6vbw5:___qbj_27r",
    "enqueuedTime": "2020-08-05T22:26:55.455Z",
    "telemetry": {
        "Activity": "running",
        "BloodPressure": {
            "Diastolic": 7,
            "Systolic": 71
        },
        "BodyTemperature": 98.73447010562934,
        "HeartRate": 88,
        "HeartRateVariability": 17,
        "RespiratoryRate": 13
    },
    "enrichments": {
      "userSpecifiedKey": "sampleValue"
    },
    "module": "VitalsModule",
    "component": "DeviceComponent",
    "messageProperties": {
      "messageProp": "value"
    }
}

Vlastnosti zprávy

Zprávy telemetrie mají vlastnosti pro metadata i datovou část telemetrie. Předchozí fragment kódu ukazuje příklady systémových zpráv, například deviceId a enqueuedTime. Další informace o vlastnostech systémových zpráv najdete v tématu Systémové vlastnosti zpráv ioT Hubu typu zařízení-cloud.

Pokud potřebujete do zpráv telemetrie přidat vlastní metadata, můžete do zpráv telemetrie přidat vlastnosti. Když například zařízení vytvoří zprávu, musíte přidat časové razítko.

Následující fragment kódu ukazuje, jak přidat iothub-creation-time-utc vlastnost do zprávy při jejím vytvoření na zařízení:

async function sendTelemetry(deviceClient, index) {
  console.log('Sending telemetry message %d...', index);
  const msg = new Message(
    JSON.stringify(
      deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
    )
  );
  msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
  msg.contentType = 'application/json';
  msg.contentEncoding = 'utf-8';
  await deviceClient.sendEvent(msg);
}

private static void sendTemperatureTelemetry() {
  String telemetryName = "temperature";
  String telemetryPayload = String.format("{\"%s\": %f}", telemetryName, temperature);

  Message message = new Message(telemetryPayload);
  message.setContentEncoding(StandardCharsets.UTF_8.name());
  message.setContentTypeFinal("application/json");
  message.setProperty("iothub-creation-time-utc", Instant.now().toString());

  deviceClient.sendEventAsync(message, new MessageIotHubEventCallback(), message);
  log.debug("My Telemetry: Sent - {\"{}\": {}°C} with message Id {}.", telemetryName, temperature, message.getMessageId());
  temperatureReadings.put(new Date(), temperature);
}

private async Task SendTemperatureTelemetryAsync()
{
  const string telemetryName = "temperature";

  string telemetryPayload = $"{{ \"{telemetryName}\": {_temperature} }}";
  using var message = new Message(Encoding.UTF8.GetBytes(telemetryPayload))
  {
      ContentEncoding = "utf-8",
      ContentType = "application/json",
  };
  message.Properties.Add("iothub-creation-time-utc", DateTime.UtcNow.ToString("yyyy-MM-ddTHH:mm:ssZ"));
  await _deviceClient.SendEventAsync(message);
  _logger.LogDebug($"Telemetry: Sent - {{ \"{telemetryName}\": {_temperature}°C }}.");
}

async def send_telemetry_from_thermostat(device_client, telemetry_msg):
    msg = Message(json.dumps(telemetry_msg))
    msg.custom_properties["iothub-creation-time-utc"] = datetime.now(timezone.utc).isoformat()
    msg.content_encoding = "utf-8"
    msg.content_type = "application/json"
    print("Sent message")
    await device_client.send_message(msg)

Formát změn vlastností

Každá zpráva nebo záznam představuje změny vlastností zařízení a cloudu. Informace v exportované zprávě zahrnují:

• applicationId: ID aplikace IoT Central.
• messageSource: Zdroj zprávy - properties.
• messageType: Buď cloudPropertyChange, devicePropertyDesiredChangenebo devicePropertyReportedChange.
• deviceId: ID zařízení, které odeslalo zprávu telemetrie.
• schema: Název a verze schématu datové části.
• enqueuedTime: Čas, kdy Služba IoT Central tuto změnu zjistila.
• templateId: ID šablony zařízení přiřazené k zařízení.
• properties: Pole vlastností, které se změnily, včetně názvů vlastností a hodnot, které se změnily. Informace o komponentě a modulu jsou zahrnuty, pokud je vlastnost modelována v rámci komponenty nebo modulu IoT Edge.
• enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující fragment kódu ukazuje zprávu o změně vlastnosti exportované do služby Blob Storage:

{
    "applicationId": "11112222-bbbb-3333-cccc-4444dddd5555",
    "messageSource": "properties",
    "deviceId": "Pepjmh1Hcc",
    "enqueuedTime": "2023-03-02T10:35:39.281Z",
    "enrichments": {},
    "messageType": "devicePropertyReportedChange",
    "schema": "default@v1",
    "templateId": "dtmi:azureiot:ddzig4ascxz",
    "properties": [
        {
            "component": "device_info",
            "name": "swVersion",
            "value": "12"
        },
        {
            "component": "device_info",
            "name": "osName",
            "value": "Android"
        },
        {
            "component": "device_info",
            "name": "processorArchitecture",
            "value": "arm64-v8a"
        },
        {
            "component": "device_info",
            "name": "processorManufacturer",
            "value": "unknown"
        }
    ]
}

Formát změn připojení zařízení

Každá zpráva nebo záznam představuje událost připojení z jednoho zařízení. Informace v exportované zprávě zahrnují:

• applicationId: ID aplikace IoT Central.
• messageSource: Zdroj zprávy - deviceConnectivity.
• messageType: Buď connected nebo disconnected.
• deviceId: ID zařízení, které se změnilo.
• schema: Název a verze schématu datové části.
• templateId: ID šablony zařízení přiřazené k zařízení.
• enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
• enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje zprávu o připojení exportovaného zařízení přijatou ve službě Azure Blob Storage.

{
  "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "messageSource": "deviceConnectivity",
  "messageType": "connected",
  "deviceId": "1vzb5ghlsg1",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-04-05T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

Formát změn životního cyklu zařízení

Každá zpráva nebo záznam představuje jednu změnu jednoho zařízení. Informace v exportované zprávě zahrnují:

• applicationId: ID aplikace IoT Central.
• messageSource: Zdroj zprávy - deviceLifecycle.
• messageType: Typ změny, ke které došlo. Jeden z: registered, deleted, , enabledprovisioned, disabled, , displayNameChanged, a deviceTemplateChanged.
• deviceId: ID zařízení, které se změnilo.
• schema: Název a verze schématu datové části.
• templateId: ID šablony zařízení přiřazené k zařízení.
• enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
• enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje zprávu o životním cyklu exportovaného zařízení přijatou ve službě Azure Blob Storage.

{
  "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "messageSource": "deviceLifecycle",
  "messageType": "registered",
  "deviceId": "1vzb5ghlsg1",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-01-01T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

Formát změn životního cyklu šablony zařízení

Každá zpráva nebo záznam představuje jednu změnu v jedné publikované šabloně zařízení. Informace v exportované zprávě zahrnují:

• applicationId: ID aplikace IoT Central.
• messageSource: Zdroj zprávy - deviceTemplateLifecycle.
• messageType: Buď created, updatednebo deleted.
• schema: Název a verze schématu datové části.
• templateId: ID šablony zařízení přiřazené k zařízení.
• enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
• enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje zprávu o životním cyklu exportovaného zařízení přijatou ve službě Azure Blob Storage.

{
  "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "messageSource": "deviceTemplateLifecycle",
  "messageType": "created",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-01-01T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

Formát protokolu auditu

Každá zpráva protokolu auditu představuje změnu iniciovanou uživatelem na auditovatelnou entitu v aplikaci IoT Central. Informace v exportované zprávě zahrnují:

• actor: Informace o uživateli, který entitu upravil.
• applicationId: ID aplikace IoT Central.
• messageSource: Zdroj zprávy - audit.
• messageType: Typ změny, ke které došlo. Jeden z: updated, created, deleted.
• updated: Pouze v případě, že messageType je updated. Poskytuje další podrobnosti o aktualizaci.
• resource: Podrobnosti o upravené entitě.
• schema: Název a verze schématu datové části.
• deviceId: ID zařízení, které se změnilo.
• enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
• enrichments: Všechny rozšiřování nastavené pro export.

Následující příklad ukazuje exportovanou zprávu protokolu auditu přijatou ve službě Azure Blob Storage:

{
  "actor": {
    "id": "test-audit",
    "type": "apiToken"
    },
  "applicationId": "22223333-cccc-4444-dddd-5555eeee6666",
  "enqueuedTime": "2022-07-25T21:54:40.000Z",
  "enrichments": {},
  "messageSource": "audit",
  "messageType": "created",
  "resource": {
    "displayName": "Sensor 1",
    "id": "sensor",
    "type": "device"    
  },
  "schema": "default@v1"
}

Další kroky

Teď, když víte, jak exportovat do služby Blob Storage, je navrhovaným dalším krokem informace o exportu do služby Service Bus.