Mapování toku dat ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Co jsou toky dat mapování?

Mapování toků dat jsou vizuálně navržené transformace dat ve službě Azure Data Factory. Toky dat umožňují datovým inženýrům vyvíjet logiku transformace dat bez psaní kódu. Výsledné toky dat se spouští jako aktivity v kanálech Azure Data Factory, které používají clustery Apache Spark se škálováním na více systémů. Aktivity toku dat je možné zprovoznit pomocí stávajících možností plánování, řízení, toku a monitorování služby Azure Data Factory.

Mapování toků dat poskytuje zcela vizuální prostředí bez nutnosti kódování. Toky dat běží v clusterech spouštění spravovaných službou ADF pro zpracování dat s horizontálním navýšením kapacity. Azure Data Factory zpracovává veškerý překlad kódu, optimalizaci cesty a provádění úloh toku dat.

Začínáme

Toky dat se vytvářejí z podokna prostředků továrny, jako jsou kanály a datové sady. Pokud chcete vytvořit tok dat, vyberte znaménko plus vedle položky Prostředky továrny a pak vyberte Tok dat.

Tato akce vás provede na plátno toku dat, kde můžete vytvořit logiku transformace. Výběrem možnosti Přidat zdroj zahájíte konfiguraci transformace zdroje. Další informace najdete v tématu Transformace zdroje.

Vytváření toků dat

Mapování toku dat má jedinečné plátno pro vytváření, které je navržené tak, aby bylo vytváření logiky transformace snadné. Plátno toku dat je rozděleno do tří částí: horní panel, graf a konfigurační panel.

Graf

Graf zobrazuje stream transformace. Zobrazuje rodokmen zdrojových dat při jejich toku do jednoho nebo více jímek. Jímky můžou být libovolné cíle zdroje dat, kam chcete přesunout výsledky transformovaných dat. Pokud chcete přidat nový zdroj, vyberte Přidat zdroj. Pokud chcete přidat novou transformaci, vyberte znaménko plus v pravém dolním rohu existující transformace. Přečtěte si další informace o správě grafu toku dat.

Konfigurační panel

Na konfiguračním panelu se zobrazí nastavení specifická pro aktuálně vybranou transformaci. Pokud není vybrána žádná transformace, zobrazí se tok dat. V konfiguraci celkového toku dat můžete přidat parametry prostřednictvím karty Parametry . Další informace naleznete v tématu Mapování parametrů toku dat.

Každá transformace obsahuje aspoň čtyři karty konfigurace.

Nastavení transformace

První karta v podokně konfigurace každé transformace obsahuje nastavení specifická pro danou transformaci. Další informace najdete na stránce dokumentace k transformaci.

Optimalizovat

Karta Optimalizovat obsahuje nastavení pro konfiguraci schémat dělení. Další informace o tom, jak optimalizovat toky dat, najdete v průvodci výkonem mapování toku dat.

Inspekce

Karta Kontrola poskytuje zobrazení metadat datového streamu, který transformujete. Můžete zobrazit počty sloupců, změněné sloupce, přidané sloupce, datové typy, pořadí sloupců a odkazy na sloupce. Kontrola je zobrazení metadat jen pro čtení. Pokud chcete zobrazit metadata v podokně Kontrola , nemusíte mít povolený režim ladění.

Když změníte tvar dat prostřednictvím transformací, uvidíte tok změn metadat v podokně Kontrola . Pokud ve zdrojové transformaci neexistuje definované schéma, metadata se v podokně Kontrola nezobrazují. Nedostatek metadat je běžný ve scénářích posunu schématu.

Náhled dat

Pokud je zapnutý režim ladění, na kartě Náhled dat získáte interaktivní snímek dat v každé transformaci. Další informace najdete v tématu Náhled dat v režimu ladění.

Horní panel

Horní panel obsahuje akce, které ovlivňují celý tok dat, jako je ukládání a ověřování. Můžete si také prohlédnout základní kód JSON a skript toku dat logiky transformace. Další informace najdete ve skriptu toku dat.

Dostupné transformace

Zobrazte si přehled transformace toku dat mapování a získejte seznam dostupných transformací.

Datové typy toku dat

• pole
• binární
• boolean
• complex
• decimal (včetně přesnosti)
• datum
• float (číslo s plovoucí řádovou čárkou)
• integer
• long
• map
• short
• string
• časové razítko

Aktivita toku dat

Mapování toků dat se zprovozní v rámci kanálů ADF pomocí aktivity toku dat. Vše, co musí uživatel udělat, je určit, které prostředí Integration Runtime se má použít, a předat hodnoty parametrů. Další informace najdete v prostředí Azure Integration Runtime.

Režim ladění

Režim ladění umožňuje interaktivně zobrazit výsledky jednotlivých kroků transformace při sestavování a ladění toků dat. Ladicí relaci je možné použít jak při vytváření logiky toku dat, tak při spuštění ladění kanálu s aktivitami toku dat. Další informace najdete v dokumentaci k režimu ladění.

Monitorování toků dat

Mapování toků dat se integruje se stávajícími možnostmi monitorování služby Azure Data Factory. Informace o tom, jak porozumět výstupu monitorování toku dat, najdete v tématu monitorování mapování toků dat.

Tým Azure Data Factory vytvořil průvodce laděním výkonu, který vám pomůže optimalizovat dobu provádění toků dat po vytvoření obchodní logiky.

Související obsah

• Zjistěte, jak vytvořit zdrojovou transformaci.
• Naučte se vytvářet toky dat v režimu ladění.