Export dat IoT do služby Event Hubs

Článek
03/05/2024

Tento článek popisuje, jak nakonfigurovat export dat tak, aby odesílala data do služby Event Hubs.

Pomocí této funkce můžete průběžně exportovat filtrovaná a rozšířená data IoT z vaší aplikace IoT Central. Export dat nasdílí změny téměř v reálném čase do jiných částí cloudového řešení pro přehledy teplé cesty, analýzy a úložiště.

Je například možné:

Nepřetržitě exportujte telemetrii, změny vlastností, připojení zařízení, životní cyklus zařízení, životní cyklus šablony zařízení a data protokolu auditu ve formátu JSON téměř v reálném čase.
Filtrováním datových proudů můžete exportovat data, která odpovídají vlastním podmínkám.
Obohacení datových proudů vlastními hodnotami a hodnotami vlastností ze zařízení
Transformujte datové proudy a upravte jejich tvar a obsah.

Tip

Když zapnete export dat, získáte od této chvíle jenom data. Pokud chcete zachovat historická data, zapněte export dat v rané fázi. Pokud chcete data ručně exportovat z časů, kdy byl export dat vypnutý, přečtěte si téma Použití rozhraní IoT Central REST API k dotazování zařízení.

Poznámka:

V některých případech může trvat až 60 sekund, než se zprávy exportují. Tento čas se měří od okamžiku, kdy IoT Central obdrží zprávu ze základního centra IoT do okamžiku doručení zprávy do cílového koncového bodu.

Požadavky

Pokud chcete používat funkce exportu dat, musíte mít oprávnění k exportu dat.

Nastavení cíle exportu služby Event Hubs

IoT Central exportuje data téměř v reálném čase. Data jsou v textu zprávy a jsou ve formátu JSON zakódovaná jako UTF-8.

Anotace nebo systémová taška vlastností zprávy obsahuje iotcentral-device-idpole , iotcentral-application-id, iotcentral-message-sourcea iotcentral-message-type pole, která mají stejné hodnoty jako odpovídající pole v textu zprávy.

Možnosti připojení

Cíle služby Event Hubs umožňují nakonfigurovat připojení s připojovací řetězec nebo spravovanou identitou.

Spravované identity jsou bezpečnější, protože:

Přihlašovací údaje pro prostředek neukládáte do připojovací řetězec v aplikaci IoT Central.
Přihlašovací údaje jsou automaticky svázané s životností vaší aplikace IoT Central.
Spravované identity automaticky obměňují klíče zabezpečení pravidelně.

IoT Central aktuálně používá spravované identity přiřazené systémem.

Při konfiguraci spravované identity zahrnuje konfigurace obor a roli:

Obor definuje, kde můžete použít spravovanou identitu. Jako obor můžete například použít skupinu prostředků Azure. V takovém případě musí být aplikace IoT Central i cíl ve stejné skupině prostředků.
Role definuje, jaká oprávnění má aplikace IoT Central udělená v cílové službě. Například aby aplikace IoT Central odesílala data do centra událostí, potřebuje spravovaná identita přiřazení role Odesílatele dat služby Azure Event Hubs.

Následující video obsahuje další informace o spravovaných identitách přiřazených systémem:

Upozornění

Pokud chcete exportovat do úložiště objektů blob, nepoužívejte přispěvatele účtu úložiště, jak je znázorněno ve videu. Místo toho použijte roli Přispěvatel dat v objektu blob služby Storage.

Tento článek ukazuje, jak vytvořit spravovanou identitu pomocí Azure CLI. K vytvoření mangované identity můžete také použít Azure Portal.

Pokud nemáte existující obor názvů služby Event Hubs k exportu, spusťte následující skript v prostředí Bash služby Azure Cloud Shell. Skript vytvoří skupinu prostředků, obor názvů služby Event Hubs a centrum událostí. Skript pak povolí spravovanou identitu pro vaši aplikaci IoT Central a přiřadí roli, která potřebuje pro přístup k vašemu centru událostí:

# Replace the Event Hubs namespace name with your own unique value
EHNS=your-event-hubs-namespace-$RANDOM

# Replace the IoT Central app name with the name of your
# IoT Central application.
CA=your-iot-central-app

EH=exportdata
RG=centralexportresources
LOCATION=eastus

RGID=$(az group create -n $RG --location $LOCATION --query "id" --output tsv)
az eventhubs namespace create --name $EHNS --resource-group $RG -l $LOCATION
az eventhubs eventhub create --name $EH --resource-group $RG --namespace-name $EHNS

# This assumes your IoT Central application is in the 
# default `IOTC` resource group.
az iot central app identity assign --name $CA --resource-group IOTC --system-assigned
PI=$(az iot central app identity show --name $CA --resource-group IOTC --query "principalId" --output tsv)

az role assignment create --assignee $PI --role "Azure Event Hubs Data Sender" --scope $RGID

az role assignment list --assignee $PI --all -o table

echo "Host name: $EHNS.servicebus.windows.net"
echo "Event Hub: $EH"

Pokud chcete dále zabezpečit centrum událostí a povolit přístup jenom z důvěryhodných služeb se spravovanými identitami, přečtěte si téma Export dat do zabezpečeného cíle ve službě Azure Virtual Network.

Vytvoření cíle služby Event Hubs ve službě IoT Central na stránce exportu dat:

Vyberte + Nový cíl.
Jako cílový typ vyberte Azure Event Hubs .
Jako typ autorizace vyberte spravovanou identitu přiřazenou systémem.
Zadejte název hostitele vašeho prostředku služby Event Hubs. Pak zadejte název centra událostí rozlišující malá a velká písmena. Název hostitele vypadá takto: contoso-waste.servicebus.windows.net.
Zvolte Uložit.

Pokud nevidíte data přicházející do cílové služby, přečtěte si téma Řešení potíží s exporty dat z aplikace Azure IoT Central.

Pokud nemáte existující obor názvů služby Event Hubs k exportu, spusťte následující skript v prostředí Bash služby Azure Cloud Shell. Skript vytvoří skupinu prostředků, obor názvů služby Event Hubs a centrum událostí. Potom vytiskne připojovací řetězec, které se použijí při konfiguraci exportu dat v IoT Central:

# Replace the Event Hubs namespace name with your own unique value
EHNS=your-event-hubs-namespace-$RANDOM
EH=exportdata
RG=centralexportresources
LOCATION=eastus

az group create -n $RG --location $LOCATION
az eventhubs namespace create --name $EHNS --resource-group $RG -l $LOCATION
az eventhubs eventhub create --name $EH --resource-group $RG --namespace-name $EHNS
az eventhubs eventhub authorization-rule create --eventhub-name $EH --resource-group $RG --namespace-name $EHNS --name SendRule --rights Send

CS=$(az eventhubs eventhub authorization-rule keys list --eventhub-name $EH --resource-group $RG --namespace-name $EHNS --name SendRule --query "primaryConnectionString" -o tsv)

echo "Event hub connection string: $CS"

Vytvoření cíle služby Event Hubs ve službě IoT Central na stránce exportu dat:

Vyberte + Nový cíl.
Jako cílový typ vyberte Azure Event Hubs .
Jako typ autorizace vyberte Připojovací řetězec .
Vložte připojovací řetězec pro prostředek služby Event Hubs a v případě potřeby zadejte název centra událostí s rozlišováním velkých a malých písmen.
Zvolte Uložit.

Nastavení exportu dat

Teď, když máte cíl exportovat data do, nastavte export dat v aplikaci IoT Central:

Přihlaste se k aplikaci IoT Central.
V levém podokně vyberte Export dat.

Tip

Pokud v levém podokně nevidíte export dat, nemáte oprávnění ke konfiguraci exportu dat v aplikaci. Požádejte správce o nastavení exportu dat.
Vyberte + Nový export.
Zadejte zobrazovaný název nového exportu a ujistěte se, že je export dat povolený.

Zvolte typ dat, která chcete exportovat. Následující tabulka uvádí podporované typy exportu dat:

Datový typ	Popis	Formát dat
Telemetrie	Exportujte telemetrické zprávy ze zařízení téměř v reálném čase. Každá exportovaná zpráva obsahuje úplný obsah původní zprávy o zařízení, normalizované.	Formát zprávy telemetrie
Změny vlastností	Export změn do vlastností zařízení a cloudu téměř v reálném čase U vlastností zařízení jen pro čtení se exportují změny ohlášených hodnot. U vlastností pro čtení i zápis se vyexportují hlášené i požadované hodnoty.	Změna formátu zprávy vlastnosti
Připojení zařízení	Exportujte události připojené k zařízení a odpojené události.	Formát zprávy připojení zařízení
Životní cyklus zařízení	Exportujte registrované, odstraněné, zřízené, povolené, zakázané, displayNameChanged a události deviceTemplateChanged.	Formát zprávy o změně životního cyklu zařízení
Životní cyklus šablony zařízení	Exportujte publikované změny šablony zařízení, včetně vytvořených, aktualizovaných a odstraněných.	Změna formátu zprávy o životním cyklu šablony zařízení
Protokoly auditu	Protokoly aktualizací iniciovaných uživatelem u entit v aplikaci Další informace najdete v tématu Použití protokolů auditu ke sledování aktivit v aplikaci IoT Central.	Formát zprávy protokolu auditu

Volitelně můžete přidat filtry, abyste snížili množství exportovaných dat. Pro každý typ exportu dat jsou k dispozici různé typy filtrů:

Typ dat	Dostupné filtry
Telemetrie	Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení Filtrování streamu tak, aby obsahoval pouze telemetrii, která splňuje podmínky filtru Filtrování datového proudu tak, aby obsahovalo pouze telemetrii ze zařízení s vlastnostmi odpovídajícími podmínkám filtru Filtrujte stream tak, aby obsahoval pouze telemetrii, která má vlastnosti zprávy, které splňují podmínku filtru. Vlastnosti zpráv (označované také jako vlastnosti aplikace) se odesílají v pytli párů klíč-hodnota v každé zprávě telemetrie. Pokud chcete vytvořit filtr vlastností zprávy, zadejte klíč vlastnosti zprávy, který hledáte, a zadejte podmínku. Exportují se pouze zprávy telemetrie s vlastnostmi, které odpovídají zadané podmínce filtru. Další informace o vlastnostech aplikace z dokumentace ke službě IoT Hub
Změny vlastností	Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení Filtrování datového proudu tak, aby obsahovalo pouze změny vlastností, které splňují podmínky filtru
Připojení zařízení	Filtrování podle názvu zařízení, ID zařízení, šablony zařízení, organizací a simulovaných zařízení Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
Životní cyklus zařízení	Filtrování podle názvu zařízení, ID zařízení, šablony zařízení a pokud je zařízení zřízené, povolené nebo simulované Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
Životní cyklus šablony zařízení	Filtrovat podle šablony zařízení
Protokoly auditu	–

Volitelně můžete rozšířit exportované zprávy o metadata páru klíč-hodnota navíc. Pro telemetrii, změny vlastností, připojení zařízení a typy exportu dat životního cyklu zařízení jsou k dispozici následující rozšíření:
- Vlastní řetězec: Přidá do každé zprávy vlastní statický řetězec. Zadejte libovolný klíč a zadejte libovolnou řetězcovou hodnotu.
- Vlastnost, která se přidá do každé zprávy:
  - Metadata zařízení, jako je název zařízení, název šablony zařízení, povoleno, organizace, zřízená a simulovaná.
  - Aktuální hlášená vlastnost zařízení nebo hodnota cloudové vlastnosti pro každou zprávu. Pokud je exportovaná zpráva ze zařízení, které nemá zadanou vlastnost, exportovaná zpráva nezískute obohacení.

Nakonfigurujte cíl exportu:

Vyberte + Cíl a přidejte cíl, který jste už vytvořili, nebo vyberte Vytvořit nový.
Pokud chcete data před exportem transformovat, vyberte + Transformovat. Další informace najdete v tématu Transformace dat uvnitř aplikace IoT Central pro export.
Pokud chcete do jednoho exportu přidat až pět cílů, vyberte + Cíl .
Až dokončíte nastavení exportu, vyberte Uložit. Po několika minutách se vaše data zobrazí ve vašich cílech.

Monitorování exportu

Na stránce exportu dat ve službě IoT Central můžete zkontrolovat stav exportů. Pomocí služby Azure Monitor můžete také zjistit, kolik dat exportujete, a případné chyby exportu. K exportu a metrikám stavu zařízení můžete přistupovat v grafech na webu Azure Portal pomocí rozhraní REST API, dotazů v PowerShellu nebo Azure CLI. V současné době můžete monitorovat následující metriky exportu dat ve službě Azure Monitor:

Počet zpráv příchozích k exportu před aplikování filtrů
Počet zpráv, které procházejí filtry
Počet zpráv úspěšně exportovaných do cílů
Počet nalezených chyb

Další informace najdete v tématu Monitorování stavu aplikace.

Formáty dat

Následující části popisují formáty exportovaných dat:

Formát telemetrie

Každá exportovaná zpráva obsahuje normalizovanou formu celé zprávy, kterou zařízení odeslalo v textu zprávy. Zpráva je ve formátu JSON a kódovaná jako UTF-8. Informace v každé zprávě zahrnují:

applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - telemetry.
deviceId: ID zařízení, které odeslalo zprávu telemetrie.
schema: Název a verze schématu datové části.
templateId: ID šablony zařízení přiřazené k zařízení.
enqueuedTime: Čas, kdy služba IoT Central přijala tuto zprávu.
enrichments: Všechny rozšiřování nastavené pro export.
module: Modul IoT Edge, který tuto zprávu odeslal. Toto pole se zobrazí jenom v případě, že zpráva pochází z modulu IoT Edge.
component: Komponenta, která tuto zprávu odeslala. Toto pole se zobrazí pouze v případě, že funkce odeslané ve zprávě byly modelovány jako součást v šabloně zařízení.
messageProperties: Další vlastnosti, které zařízení odeslalo se zprávou. Tyto vlastnosti se někdy označují jako vlastnosti aplikace. Další informace najdete v dokumentaci ke službě IoT Hub.

Vlastnosti zprávy

Zprávy telemetrie mají vlastnosti pro metadata i datovou část telemetrie. Předchozí fragment kódu ukazuje příklady systémových zpráv, například deviceId a enqueuedTime. Další informace o vlastnostech systémových zpráv najdete v tématu Systémové vlastnosti zpráv ioT Hubu typu zařízení-cloud.

Pokud potřebujete do zpráv telemetrie přidat vlastní metadata, můžete do zpráv telemetrie přidat vlastnosti. Když například zařízení vytvoří zprávu, musíte přidat časové razítko.

Následující fragment kódu ukazuje, jak přidat iothub-creation-time-utc vlastnost do zprávy při jejím vytvoření na zařízení:

Důležité

Formát tohoto časového razítka musí být UTC bez informací o časovém pásmu. Je například 2021-04-21T11:30:16Z platný, 2021-04-21T11:30:16-07:00 je neplatný.

async function sendTelemetry(deviceClient, index) {
  console.log('Sending telemetry message %d...', index);
  const msg = new Message(
    JSON.stringify(
      deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
    )
  );
  msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
  msg.contentType = 'application/json';
  msg.contentEncoding = 'utf-8';
  await deviceClient.sendEvent(msg);
}

private static void sendTemperatureTelemetry() {
  String telemetryName = "temperature";
  String telemetryPayload = String.format("{\"%s\": %f}", telemetryName, temperature);

  Message message = new Message(telemetryPayload);
  message.setContentEncoding(StandardCharsets.UTF_8.name());
  message.setContentTypeFinal("application/json");
  message.setProperty("iothub-creation-time-utc", Instant.now().toString());

  deviceClient.sendEventAsync(message, new MessageIotHubEventCallback(), message);
  log.debug("My Telemetry: Sent - {\"{}\": {}°C} with message Id {}.", telemetryName, temperature, message.getMessageId());
  temperatureReadings.put(new Date(), temperature);
}

private async Task SendTemperatureTelemetryAsync()
{
  const string telemetryName = "temperature";

  string telemetryPayload = $"{{ \"{telemetryName}\": {_temperature} }}";
  using var message = new Message(Encoding.UTF8.GetBytes(telemetryPayload))
  {
      ContentEncoding = "utf-8",
      ContentType = "application/json",
  };
  message.Properties.Add("iothub-creation-time-utc", DateTime.UtcNow.ToString("yyyy-MM-ddTHH:mm:ssZ"));
  await _deviceClient.SendEventAsync(message);
  _logger.LogDebug($"Telemetry: Sent - {{ \"{telemetryName}\": {_temperature}°C }}.");
}

async def send_telemetry_from_thermostat(device_client, telemetry_msg):
    msg = Message(json.dumps(telemetry_msg))
    msg.custom_properties["iothub-creation-time-utc"] = datetime.now(timezone.utc).isoformat()
    msg.content_encoding = "utf-8"
    msg.content_type = "application/json"
    print("Sent message")
    await device_client.send_message(msg)

Formát změn vlastností

Každá zpráva nebo záznam představuje změny vlastností zařízení a cloudu. Informace v exportované zprávě zahrnují:

applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - properties.
messageType: Buď cloudPropertyChange, devicePropertyDesiredChangenebo devicePropertyReportedChange.
deviceId: ID zařízení, které odeslalo zprávu telemetrie.
schema: Název a verze schématu datové části.
enqueuedTime: Čas, kdy Služba IoT Central tuto změnu zjistila.
templateId: ID šablony zařízení přiřazené k zařízení.
properties: Pole vlastností, které se změnily, včetně názvů vlastností a hodnot, které se změnily. Informace o komponentě a modulu jsou zahrnuty, pokud je vlastnost modelována v rámci komponenty nebo modulu IoT Edge.
enrichments: Všechny rozšiřování nastavené pro export.

Formát změn připojení zařízení

Každá zpráva nebo záznam představuje událost připojení z jednoho zařízení. Informace v exportované zprávě zahrnují:

applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - deviceConnectivity.
messageType: Buď connected nebo disconnected.
deviceId: ID zařízení, které se změnilo.
schema: Název a verze schématu datové části.
templateId: ID šablony zařízení přiřazené k zařízení.
enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
enrichments: Všechny rozšiřování nastavené pro export.

Formát změn životního cyklu zařízení

Každá zpráva nebo záznam představuje jednu změnu jednoho zařízení. Informace v exportované zprávě zahrnují:

applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - deviceLifecycle.
messageType: Typ změny, ke které došlo. Jeden z: registered, deleted, , enabledprovisioned, disabled, , displayNameChanged, a deviceTemplateChanged.
deviceId: ID zařízení, které se změnilo.
schema: Název a verze schématu datové části.
templateId: ID šablony zařízení přiřazené k zařízení.
enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
enrichments: Všechny rozšiřování nastavené pro export.

Formát změn životního cyklu šablony zařízení

Každá zpráva nebo záznam představuje jednu změnu v jedné publikované šabloně zařízení. Informace v exportované zprávě zahrnují:

applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - deviceTemplateLifecycle.
messageType: Buď created, updatednebo deleted.
schema: Název a verze schématu datové části.
templateId: ID šablony zařízení přiřazené k zařízení.
enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
enrichments: Všechny rozšiřování nastavené pro export.

Formát protokolu auditu

Každá zpráva protokolu auditu představuje změnu iniciovanou uživatelem na auditovatelnou entitu v aplikaci IoT Central. Informace v exportované zprávě zahrnují:

actor: Informace o uživateli, který entitu upravil.
applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - audit.
messageType: Typ změny, ke které došlo. Jeden z: updated, created, deleted.
updated: Pouze v případě, že messageType je updated. Poskytuje další podrobnosti o aktualizaci.
resource: Podrobnosti o upravené entitě.
schema: Název a verze schématu datové části.
deviceId: ID zařízení, které se změnilo.
enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
enrichments: Všechny rozšiřování nastavené pro export.

V případě event Hubs IoT Central exportuje nová data zpráv do centra událostí téměř v reálném čase. Ve vlastnostech uživatele (označovaných také jako vlastnosti aplikace) každé zprávy , iotcentral-device-id, iotcentral-application-id, iotcentral-message-sourcea iotcentral-message-type jsou zahrnuty automaticky.

Další kroky

Teď, když víte, jak exportovat do služby Event Hubs, je navrhovaným dalším krokem informace o exportu do Azure Data Exploreru.

Sdílet prostřednictvím