Kopírování dat do Azure Data Exploreru s využitím služby Azure Data Factory

Azure Data Explorer je rychlá plně spravovaná služba pro analýzu dat. Nabízí analýzu velkých objemů dat, která streamují z mnoha zdrojů, jako jsou aplikace, weby a zařízení IoT. Pomocí Azure Data Exploreru můžete iterativní zkoumání dat a identifikaci vzorů a anomálií zlepšit produkty, vylepšit prostředí zákazníků, monitorovat zařízení a zvýšit provoz. Pomůže vám prozkoumat nové otázky a získat odpovědi za pár minut.

Azure Data Factory je plně spravovaná cloudová služba pro integraci dat. Můžete ji použít k naplnění databáze Azure Data Exploreru dat daty z existujícího systému. Může vám pomoct ušetřit čas při vytváření analytických řešení.

Při načítání dat do Azure Data Exploreru nabízí služba Data Factory následující výhody:

• Snadné nastavení: Získejte intuitivního průvodce s pěti kroky bez nutnosti skriptování.
• Podpora bohatého úložiště dat: Získejte integrovanou podporu pro bohatou sadu místních a cloudových úložišť dat. Podrobný seznam najdete v tabulce podporovaných úložišť dat.
• Zabezpečení a dodržování předpisů: Data se přenášejí přes HTTPS nebo Azure ExpressRoute. Globální stav služby zajišťuje, že vaše data nikdy neopustí geografickou hranici.
• Vysoký výkon: Rychlost načítání dat je až 1 gigabajt za sekundu (GBps) do Azure Data Exploreru. Další informace najdete v tématu aktivita Copy výkonu.

V tomto článku použijete nástroj Pro kopírování dat služby Data Factory k načtení dat ze služby Amazon Simple Storage Service (S3) do Azure Data Exploreru. Podobný postup můžete použít ke kopírování dat z jiných úložišť dat, například:

• Azure Blob Storage
• Azure SQL Database
• Azure SQL Data Warehouse
• Google BigQuery
• Oracle
• Systém souborů

Požadavky

• Předplatné Azure. Vytvořte bezplatný účet Azure.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Zdroj dat.

Vytvoření datové továrny

1. Přihlaste se k portálu Azure.

2. V levém podokně vyberte Vytvořit datovou továrnu pro analýzu>prostředků.>

   

3. V podokně Nová datová továrna zadejte hodnoty polí v následující tabulce:

   

   Nastavení	Hodnota, kterou chcete zadat
   Název	Do pole zadejte globálně jedinečný název datové továrny. Pokud se zobrazí chyba, název objektu pro vytváření dat LoadADXDemo není k dispozici, zadejte jiný název datové továrny. Pravidla pro pojmenování artefaktů služby Data Factory najdete v tématu Pravidla pojmenování služby Data Factory.
   Předplatné	V rozevíracím seznamu vyberte předplatné Azure, ve kterém chcete vytvořit datovou továrnu.
   Skupina prostředků	Vyberte Vytvořit nový a zadejte název nové skupiny prostředků. Pokud už máte skupinu prostředků, vyberte Použít existující.
   Verze	V rozevíracím seznamu vyberte V2.
   Místo	V rozevíracím seznamu vyberte umístění datové továrny. V seznamu se zobrazí pouze podporovaná umístění. Úložiště dat používaná objektem pro vytváření dat mohou existovat v jiných umístěních nebo oblastech.

4. Vyberte Vytvořit.

5. Pokud chcete monitorovat proces vytváření, vyberte na panelu nástrojů oznámení . Po vytvoření datové továrny ji vyberte.

   Otevře se podokno Data Factory .

   

6. Pokud chcete aplikaci otevřít v samostatném podokně, vyberte dlaždici Author &Monitor (Autor a monitorování ).

Načtení dat do Azure Data Exploreru

Do Azure Data Exploreru můžete načíst data z mnoha typů úložišť dat. Tento článek popisuje, jak načíst data z AmazonU S3.

Data můžete načíst jedním z následujících způsobů:

• V uživatelském rozhraní služby Azure Data Factory v levém podokně vyberte ikonu Autor . To se zobrazuje v části Vytvoření datové továrny v části Vytvoření datové továrny pomocí uživatelského rozhraní služby Azure Data Factory.
• V nástroji Pro kopírování dat služby Azure Data Factory, jak je znázorněno v nástroji Pro kopírování dat.

Kopírování dat z AmazonU S3 (zdroj)

1. V podokně Začínáme otevřete nástroj Pro kopírování dat výběrem možnosti Kopírovat data.

   

2. V podokně Vlastnosti zadejte do pole Název úlohy název a pak vyberte Další.

   

3. V podokně Zdrojové úložiště dat vyberte Vytvořit nové připojení.

   

4. Vyberte Amazon S3 a pak vyberte Pokračovat.

   

5. V podokně Nová propojená služba (Amazon S3) udělejte toto:

   

   a. Do pole Název zadejte název nové propojené služby.

   b. V rozevíracím seznamu Připojit přes prostředí Integration Runtime vyberte hodnotu.

   c. Do pole ID přístupového klíče zadejte hodnotu.

   Poznámka:

   V AmazonU S3 vyhledejte přístupový klíč, na navigačním panelu vyberte své uživatelské jméno Amazonu a pak vyberte Moje bezpečnostní pověření.

   d. Do pole Tajný přístupový klíč zadejte hodnotu.

   e. Pokud chcete otestovat připojení propojené služby, které jste vytvořili, vyberte test připojení.

   f. Vyberte Dokončit.

   V podokně Zdrojové úložiště dat se zobrazí nové připojení AmazonS31.

6. Vyberte Další.

   

7. V podokně Zvolit vstupní soubor nebo složku proveďte následující kroky:

   a. Přejděte do souboru nebo složky, kterou chcete zkopírovat, a vyberte ji.

   b. Vyberte požadované chování kopírování. Ujistěte se, že je zaškrtnuté políčko Binární kopie .

   c. Vyberte Další.

   

8. V podokně Nastavení formátu souboru vyberte příslušná nastavení souboru. a pak vyberte Další.

   

Kopírování dat do Azure Data Exploreru (cíl)

Vytvoří se nová propojená služba Azure Data Exploreru, která zkopíruje data do cílové tabulky (jímky) Azure Data Exploreru, která je uvedená v této části.

Vytvoření propojené služby Azure Data Exploreru

Pokud chcete vytvořit propojenou službu Azure Data Exploreru, postupujte takto:

1. Pokud chcete použít existující připojení k úložišti dat nebo zadat nové úložiště dat, vyberte v podokně Cílové úložiště dat možnost Vytvořit nové připojení.

   

2. V podokně Nová propojená služba vyberte Azure Data Explorer a pak vyberte Pokračovat.

   

3. V podokně Nová propojená služba (Azure Data Explorer) proveďte následující kroky:

   

   1. Do pole Název zadejte název propojené služby Azure Data Exploreru.

   2. V části Metoda ověřování zvolte spravovanou identitu přiřazenou systémem nebo instanční objekt.

      • Pokud chcete provést ověření pomocí spravované identity, udělte spravované identitě přístup k databázi pomocí názvu spravované identity nebo ID objektu spravované identity.

      • Ověření pomocí instančního objektu:

        1. Do pole Tenant (Tenant) zadejte název tenanta.
        2. Do pole ID instančního objektu zadejte ID instančního objektu.
        3. Vyberte klíč instančního objektu a potom do pole Klíč instančního objektu zadejte hodnotu klíče.

      Poznámka:

      • Instanční objekt používá Služba Azure Data Factory pro přístup ke službě Azure Data Explorer. Pokud chcete vytvořit instanční objekt, přejděte k vytvoření instančního objektu Microsoft Entra.
      • Pokud chcete přiřadit oprávnění spravované identitě nebo instančnímu objektu, přečtěte si téma Správa oprávnění.
      • Nepoužívejte metodu služby Azure Key Vault ani spravovanou identitu přiřazenou uživatelem.

   3. V části Metoda výběru účtu zvolte jednu z následujících možností:

      • Vyberte Z předplatného Azure a pak v rozevíracích seznamech vyberte své předplatné Azure a cluster.

        Poznámka:

        • Rozevírací seznam Cluster obsahuje jenom clustery, které jsou přidružené k vašemu předplatnému.
        • Pro zajištění nejlepšího výkonu musí mít váš cluster odpovídající skladovou položku.

      • Vyberte Enter ručně a zadejte koncový bod.

   4. V rozevíracím seznamu Databáze vyberte název databáze. Případně zaškrtněte políčko Upravit a zadejte název databáze.

   5. Pokud chcete otestovat připojení propojené služby, které jste vytvořili, vyberte test připojení. Pokud se můžete připojit k propojené službě, zobrazí se v podokně zelená značka zaškrtnutí a zpráva o úspěšném připojení.

   6. Výběrem možnosti Vytvořit dokončíte vytvoření propojené služby.

Konfigurace datového připojení Azure Data Exploreru

Po vytvoření propojeného připojení služby se otevře podokno Cílové úložiště dat a připojení, které jste vytvořili, je k dispozici pro použití. Pokud chcete nakonfigurovat připojení, proveďte následující kroky:

1. Vyberte Další.

   

2. V podokně mapování tabulky nastavte název cílové tabulky a pak vyberte Další.

   

3. V podokně mapování sloupců probíhá následující mapování:

   a. První mapování provádí služba Azure Data Factory podle mapování schématu služby Azure Data Factory. Postupujte následovně:

   • Nastavte mapování sloupců pro cílovou tabulku služby Azure Data Factory. Výchozí mapování se zobrazí ze zdroje na cílovou tabulku služby Azure Data Factory.

   • Zrušte výběr sloupců, které nepotřebujete definovat mapování sloupců.

   b. Druhé mapování nastane, když se tato tabulková data ingestují do Azure Data Exploreru. Mapování se provádí podle pravidel mapování sdíleného svazku clusteru. I když zdrojová data nejsou ve formátu CSV, Azure Data Factory převede data do tabulkového formátu. Mapování sdíleného svazku clusteru je proto jediným relevantním mapováním v této fázi. Postupujte následovně:

   • (Volitelné) V části Vlastnosti jímky Azure Data Exploreru (Kusto) přidejte příslušný název mapování příjmu dat, aby bylo možné použít mapování sloupců.

   • Pokud není zadaný název mapování příjmu dat, použije se pořadí mapování podle názvu definované v části Mapování sloupců. Pokud mapování podle názvů selže, Azure Data Explorer se pokusí ingestovat data v pořadí umístění podle sloupce (to znamená, že se mapuje podle pozice jako výchozí).

   • Vyberte Další.

   

4. V podokně Nastavení proveďte následující kroky:

   a. V části Nastavení odolnosti proti chybám zadejte příslušná nastavení.

   b. V části Nastavení výkonu se nepoužijí povolení přípravy a upřesňující nastavení zahrnuje aspekty nákladů. Pokud nemáte žádné konkrétní požadavky, ponechte tato nastavení tak, jak je.

   c. Vyberte Další.

   

5. V podokně Souhrn zkontrolujte nastavení a pak vyberte Další.

   

6. V podokně Dokončení nasazení postupujte takto:

   a. Pokud chcete přepnout na kartu Monitorování a zobrazit stav kanálu (tj. průběh, chyby a tok dat), vyberte Sledovat.

   b. Pokud chcete upravit propojené služby, datové sady a kanály, vyberte Upravit kanál.

   c. Výběrem možnosti Dokončit dokončíte úlohu kopírování dat.

   

Související obsah

• Přečtěte si o konektoru Azure Data Exploreru pro Azure Data Factory.
• Upravte propojené služby, datové sady a kanály v uživatelském rozhraní služby Data Factory.
• Dotazování dat ve webovém uživatelském rozhraní Azure Data Exploreru