Plánování úloh U-SQL pomocí služby SSIS (SQL Server Integration Services)

V tomto dokumentu se dozvíte, jak orchestrovat a vytvářet úlohy U-SQL pomocí služby SSIS (SQL Server Integration Service).

Požadavky

Azure Feature Pack pro integrační služby poskytuje úlohu Azure Data Lake Analytics a Data Lake Analytics Správce připojení Azure, které pomáhají připojit se ke službě Azure Data Lake Analytics. Pokud chcete použít tuto úlohu, nezapomeňte nainstalovat:

• Stažení a instalace SQL Server Data Tools (SSDT) pro Visual Studio
• Instalace balíčku Azure Feature Pack pro integrační služby (SSIS)

Úloha Azure Data Lake Analytics

Úloha Azure Data Lake Analytics umožňuje uživatelům odesílat úlohy U-SQL do účtu Azure Data Lake Analytics.

Zjistěte, jak nakonfigurovat úlohu Azure Data Lake Analytics.

Skript U-SQL můžete získat z různých míst pomocí předdefinovaných funkcí a úloh služby SSIS. Následující scénáře ukazují, jak nakonfigurovat skripty U-SQL pro různé uživatelské případy.

Scénář 1 – Použití vloženého skriptu za volání tvfs a uložených skriptů

V Editor úloh Azure Data Lake Analytics nakonfigurujte SourceType jako DirectInput a vložte příkazy U-SQL do USQLStatement.

Pro snadnou údržbu a správu kódu vkládejte jako vložené skripty pouze krátké skripty U-SQL. Můžete například volat existující funkce vracející tabulku a uložené procedury v databázích U-SQL.

Související článek: Jak předat parametr uloženým procedurami

Scénář 2 – Použití souborů U-SQL ve službě Azure Data Lake Store

Soubory U-SQL můžete také použít v Azure Data Lake Store pomocí úlohy systému souborů Azure Data Lake Store v sadě Azure Feature Pack. Tento přístup umožňuje používat skripty uložené v cloudu.

Pomocí následujícího postupu nastavte připojení mezi úlohou systému souborů Azure Data Lake Store a úlohou azure Data Lake Analytics.

Nastavení toku řízení úloh

V návrhovém zobrazení balíčku SSIS přidejte do kontejneru smyčky Foreach úlohu systému souborů Azure Data Lake Store, kontejner smyčky Foreach a úlohu Azure Data Lake Analytics. Úloha systému souborů Azure Data Lake Store pomáhá stahovat soubory U-SQL ve vašem účtu ADLS do dočasné složky. Kontejner smyčky Foreach a úloha Azure Data Lake Analytics pomáhají odeslat každý soubor U-SQL v dočasné složce do účtu Azure Data Lake Analytics jako úlohu U-SQL.

Konfigurace úlohy systému souborů Azure Data Lake Store

1. Nastavte Operaci na CopyFromADLS.
2. Nastavte AzureDataLakeConnection, přečtěte si další informace o službě Azure Data Lake Store Správce připojení.
3. Nastavte AzureDataLakeDirectory. Přejděte na složku, ve které jsou uloženy vaše skripty U-SQL. Použijte relativní cestu, která je relativní ke kořenové složce účtu Azure Data Lake Store.
4. Nastavte Cíl na složku, která ukládá do mezipaměti stažené skripty U-SQL. Tato cesta ke složce se použije v kontejneru smyčky Foreach pro odesílání úloh U-SQL.

Přečtěte si další informace o úloze systému souborů Azure Data Lake Store.

Konfigurace kontejneru smyčky Foreach

1. Na stránce Kolekce nastavte Enumerator na Foreach File Enumerator.

2. Ve skupině konfigurace Enumerator nastavte Složku na dočasnou složku, která obsahuje stažené skripty U-SQL.

3. V konfiguraci enumerátoru nastavte soubory na *.usql , aby kontejner smyčky zachytá jenom soubory končící .usqlna .

   

4. Na stránce Mapování proměnných přidejte uživatelem definovanou proměnnou, která získá název souboru pro každý soubor U-SQL. Pokud chcete získat název souboru, nastavte index na hodnotu 0. V tomto příkladu definujte proměnnou s názvem User::FileName. Tato proměnná se použije k dynamickému získání připojení k souboru skriptu U-SQL a nastavení názvu úlohy U-SQL ve službě Azure Data Lake Analytics Task.

   

Konfigurace úlohy Azure Data Lake Analytics

1. Nastavte SourceType na FileConnection.

2. Nastavte FileConnection na připojení k souboru, které odkazuje na objekty souborů vrácené z kontejneru smyčky Foreach.

   Vytvoření tohoto připojení k souboru:

   1. Zvolte <Nové připojení...> v nastavení SouborPřipojení.

   2. Nastavte Typ použití na Existující soubor a u položky Soubor nastavte cestu k souboru libovolného existujícího souboru.

      

   3. V zobrazení Správci připojení klikněte pravým tlačítkem na vytvořené připojení k souboru a zvolte Vlastnosti.

   4. V okně Vlastnosti rozbalte Expressions a nastavte ConnectionString na proměnnou definovanou v kontejneru smyčky Foreach, @[User::FileName]například .

      

3. Nastavte AzureDataLakeAnalyticsConnection na účet Azure Data Lake Analytics, do kterého chcete odesílat úlohy. Přečtěte si další informace o Azure Data Lake Analytics Správce připojení.

4. Nastavte další konfigurace úloh. Další informace

5. Pomocí výrazů můžete dynamicky nastavit název úlohy U-SQL:

   1. Na stránce Výrazy přidejte nový pár klíč-hodnota výrazu pro JobName.

   2. Nastavte hodnotu JobName na proměnnou definovanou v kontejneru smyčky Foreach, @[User::FileName]například .

      

Scénář 3 – Použití souborů U-SQL v Azure Blob Storage

Soubory U-SQL můžete v Azure Blob Storage použít pomocí úlohy stažení objektu blob Azure v Azure Feature Pack. Tento přístup umožňuje používat skripty v cloudu.

Postup je podobný jako ve scénáři 2: Použití souborů U-SQL ve službě Azure Data Lake Store. Změňte úlohu systému souborů Azure Data Lake Store na úlohu stažení služby Azure Blob. Přečtěte si další informace o úloze stažení služby Azure Blob.

Tok řízení vypadá takto:

Scénář 4 – Použití souborů U-SQL na místním počítači

Kromě použití souborů U-SQL uložených v cloudu můžete použít také soubory na místním počítači nebo soubory nasazené s balíčky služby SSIS.

1. V projektu SSIS klikněte pravým tlačítkem na Správci připojení a zvolte Nový Správce připojení.

2. Vyberte Typ souboru a vyberte Přidat....

3. Nastavte Typ použití na Existující soubora soubor nastavte na soubor na místním počítači.

   

4. Přidejte úlohu Azure Data Lake Analytics a:

   1. Nastavte SourceType na FileConnection.
   2. Nastavte FileConnection na Vytvořené připojení k souboru.

5. Dokončete další konfigurace úlohy Azure Data Lake Analytics.

Scénář 5 – Použití příkazu U-SQL v proměnné služby SSIS

V některých případech může být nutné dynamicky generovat příkazy U-SQL. Proměnnou služby SSIS můžete použít s výrazem služby SSIS a dalšími úlohami služby SSIS, jako je úloha skriptu, které vám pomůžou dynamicky generovat příkaz U-SQL.

1. Otevřete okno nástroje Variables (Proměnné) prostřednictvím nabídky nejvyšší úrovně SSIS Variables (Proměnné) služby SSIS>.

2. Přidejte proměnnou služby SSIS a nastavte hodnotu přímo nebo pomocí výrazu hodnotu vygenerujte.

3. Přidejte úlohu Azure Data Lake Analytics a:

   1. Nastavte SourceType na Proměnná.
   2. Nastavte SourceVariable na proměnnou SSIS, která se teď vytvořila.

4. Dokončete další konfigurace úlohy Azure Data Lake Analytics.

Scénář 6 – Předání parametrů do skriptu U-SQL

V některých případech můžete chtít dynamicky nastavit hodnotu proměnné U-SQL ve skriptu U-SQL. S tímto scénářem pomáhá funkce mapování parametrů ve službě Azure Data Lake Analytics Task. Obvykle existují dva typické případy uživatelů:

• Nastavte proměnné vstupní a výstupní cesty k souboru dynamicky na základě aktuálního data a času.
• Nastavte parametr pro uložené procedury.

Přečtěte si další informace o tom, jak nastavit parametry pro skript U-SQL.

Další kroky

• Spouštění balíčků služby SSIS v Azure
• Azure Feature Pack pro integrační služby (SSIS)
• Plánování úloh U-SQL pomocí Azure Data Factory