Zpracování dat z centra událostí pomocí Azure Stream Analytics

  • Článek

Služba Azure Stream Analytics usnadňuje ingestování, zpracování a analýzu streamovaných dat ze služby Azure Event Hubs a umožňuje výkonné přehledy pro řízení akcí v reálném čase. Pomocí webu Azure Portal můžete vizualizovat příchozí data a zapsat dotaz Stream Analytics. Jakmile je dotaz připravený, můžete ho přesunout do produkčního prostředí jenom několika kliknutími.

Klíčové výhody

Tady jsou klíčové výhody integrace služby Azure Event Hubs a Azure Stream Analytics:

  • Náhled dat – Na webu Azure Portal můžete zobrazit náhled příchozích dat z centra událostí.
  • Otestujte dotaz – připravte transformační dotaz a otestujte ho přímo na webu Azure Portal. Syntaxi dotazovacího jazyka najdete v dokumentaci k dotazovacímu jazyku Stream Analytics.
  • Nasaďte dotaz do produkčního prostředí – dotaz můžete nasadit do produkčního prostředí vytvořením a spuštěním úlohy Azure Stream Analytics.

Kompletní tok

Důležité

  • Pokud nejste členem role vlastníka nebo přispěvatele na úrovni předplatného Azure, musíte být členem role Testeru dotazů Stream Analytics na úrovni předplatného Azure, abyste mohli úspěšně dokončit kroky v této části. Tato role umožňuje provádět testovací dotazy bez vytvoření úlohy Stream Analytics. Pokyny k přiřazení role uživateli najdete v tématu Přiřazení rolí AD uživatelům.
  • Pokud vaše centrum událostí umožňuje pouze privátní přístup prostřednictvím privátních koncových bodů, musíte mít úlohu Stream Analytics připojenou ke stejné síti, aby úloha měla přístup k událostem v centru událostí.

  1. Přihlaste se k portálu Azure.

  2. Přejděte do oboru názvů služby Event Hubs a pak přejděte do centra událostí, ve kterém jsou příchozí data.

  3. V levé navigační nabídce rozbalte položku Funkce a vyberte Zpracovat data a potom na dlaždici Povolit přehledy v reálném čase z dlaždice Události.

    Snímek obrazovky zobrazující stránku Zpracovat data s vybranou dlaždicí Povolit přehledy v reálném čase z dlaždicí událostí

  4. Zobrazí se stránka dotazu s hodnotami, které jsou už nastavené pro následující pole. Pokud se zobrazí automaticky otevírané okno o skupině příjemců a vytvářené zásadě, vyberte OK. Na této kartě se okamžitě zobrazí snímek nejnovějších příchozích dat.

    1. Centrum událostí jako vstup pro dotaz.

    2. Ukázkový dotaz SQL s příkazem SELECT

    3. Výstupní alias odkazující na výsledky testu dotazu.

      Snímek obrazovky s editorem dotazů pro dotaz Stream Analytics

    • Typ serializace ve vašich datech se automaticky zjistí (JSON/CSV). Můžete ho také ručně změnit na JSON/CSV/AVRO.

    • Můžete zobrazit náhled příchozích dat ve formátu tabulky nebo nezpracovaného formátu.

    • Pokud zobrazená data nejsou aktuální, vyberte Aktualizovat a zobrazte nejnovější události.

    • Na předchozím obrázku se výsledky zobrazují ve formátu tabulky. Pokud chcete zobrazit nezpracovaná data, vyberte Nezpracovaná data.

      Snímek obrazovky s oknem Náhled vstupu v podokně výsledků stránky Zpracovat data v nezpracované podobě

  5. Výběrem testovacího dotazu zobrazíte snímek výsledků testu dotazu na kartě Výsledky testu. Můžete si také stáhnout výsledky.

    Snímek obrazovky s oknem Náhled vstupu v podokně výsledků s výsledky testu

    Napište vlastní dotaz, který transformuje data. Viz referenční informace k dotazovacímu jazyku Stream Analytics.

  6. Jakmile dotaz otestujete a chcete ho přesunout do produkčního prostředí, vyberte Vytvořit úlohu Stream Analytics.

    Snímek obrazovky se stránkou Dotaz s vybraným odkazem vytvořit úlohu Stream Analytics

  7. Na stránce Nová úloha Stream Analytics postupujte takto:

    1. Zadejte název úlohy.

    2. Vyberte své předplatné Azure, ve kterém chcete úlohu vytvořit.

    3. Vyberte skupinu prostředků pro prostředek úlohy Stream Analytics.

    4. Vyberte umístění úlohy.

    5. Jako název zásady služby Event Hubs vytvořte novou zásadu nebo vyberte existující.

    6. Pro skupinu příjemců služby Event Hubs vytvořte novou skupinu příjemců nebo vyberte existující skupinu příjemců.

    7. Výběrem možnosti Vytvořit vytvořte úlohu Stream Analytics.

      Snímek obrazovky znázorňující okno nové úlohy Stream Analytics

      Poznámka:

      Doporučujeme vytvořit skupinu příjemců a zásadu pro každou novou úlohu Azure Stream Analytics, kterou vytvoříte ze stránky Event Hubs. Skupiny uživatelů umožňují pouze pět souběžných čtenářů, takže poskytnutí vyhrazené skupiny příjemců pro každou úlohu zabrání chybám, které by mohly vzniknout při překročení daného limitu. Vyhrazená zásada umožňuje obměňovat klíč nebo odvolat oprávnění, aniž by to mělo vliv na jiné prostředky.

  8. Vaše úloha Stream Analytics se teď vytvoří tam, kde je váš dotaz stejný, jako jste testovali, a vstup je vaším centrem událostí.

    Snímek obrazovky zobrazující stránku úlohy Stream Analytics s odkazem pro přidání výstupu

  9. Přidejte výstup podle svého výběru.

  10. Přejděte zpět na stránku úlohy Stream Analytics kliknutím na název úlohy v odkazu s popisem cesty.

  11. Vyberte Možnost Upravit dotaz nad oknem Dotaz .

  12. Aktualizujte [OutputAlias] svůj název výstupu a nad dotazem vyberte Uložit odkaz na dotaz . Zavřete stránku Dotazu tak, že v pravém horním rohu vyberete X.

  13. Teď na stránce úlohy Stream Analytics vyberte Spustit na panelu nástrojů a spusťte úlohu.

    Snímek obrazovky s oknem Spustit úlohu pro úlohu Stream Analytics

Access

Problém : Uživatel nemá přístup k datům verze Preview, protože nemá správná oprávnění k předplatnému.

Možnost 1: Uživatel, který chce zobrazit náhled příchozích dat, musí být přidaný jako přispěvatel v předplatném.

Možnost 2: Uživatel musí být přidaný jako role testeru dotazů Stream Analytics v předplatném. Přejděte do řízení přístupu pro předplatné. Přidejte nové přiřazení role pro uživatele jako roli Tester dotazů Stream Analytics.

Možnost 3: Uživatel může vytvořit úlohu Azure Stream Analytics. Nastavte vstup jako toto centrum událostí a přejděte na Dotaz a zobrazte náhled příchozích dat z tohoto centra událostí.

Možnost 4: Správce může v předplatném vytvořit vlastní roli. Přidejte do vlastní role následující oprávnění a přidejte uživatele do nové vlastní role.

Snímky obrazovky se stránkou oprávnění Microsoft.StreamAnalytics

Jednotky streamování

Vaše úloha Azure Stream Analytics ve výchozím nastavení používá tři jednotky streamování (SU). Pokud chcete toto nastavení upravit, vyberte v nabídce Vlevo na stránce úlohy Stream Analytics na webu Azure Portal možnost Škálovat. Další informace o jednotkách streamování najdete v tématu Vysvětlení a úprava jednotek streamování.

Snímky obrazovky zobrazující stránku Škálování pro úlohu Stream Analytics

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce geografického zotavení po havárii služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezaručuje přesně jeden výstup výstupu do výstupu služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako uživatel se službou Event Hubs jako vstupem, může během doby trvání převzetí služeb při selhání sledovat zpoždění vodoznaku a po dokončení převzetí služeb při selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním doporučujeme restartovat úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nedoporučujeme tento model používat pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Související obsah

Další informace o dotazech Stream Analytics najdete v tématu Stream Analytics Query Language.