Jak používat parametry, výrazy a funkce ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V tomto dokumentu se zaměříme především na výuku základních konceptů s různými příklady, abychom prozkoumali možnost vytvářet parametrizované datové kanály ve službě Azure Data Factory. Parametrizace a dynamické výrazy jsou tak výraznými doplňky ADF, protože můžou ušetřit obrovské množství času a umožňují mnohem flexibilnější řešení extrakce, transformace, načítání (ETL) nebo extrakce, načítání, transformace (ELT), které výrazně sníží náklady na údržbu řešení a urychlí implementaci nových funkcí do stávajících kanálů. Tyto zisky jsou způsobené tím, že parametrizace minimalizuje objem pevného kódování a zvyšuje počet opakovaně použitelných objektů a procesů v řešení.

Uživatelské rozhraní a parametry služby Azure Data Factory

Pokud s používáním parametrů služby Azure Data Factory v uživatelském rozhraní ADF začínáte, projděte si uživatelské rozhraní služby Data Factory, kde najdete odkazované služby s parametry a uživatelským rozhraním služby Data Factory, kde najdete vizuální vysvětlení v kanálu řízeném metadaty s parametry.

Koncepty parametrů a výrazů

Pomocí parametrů můžete předávat externí hodnoty do kanálů, datových sad, propojených služeb a toků dat. Jakmile se parametr předá do prostředku, nelze ho změnit. Když parametrizujete prostředky, můžete je pokaždé znovu použít s různými hodnotami. Parametry lze použít jednotlivě nebo jako součást výrazů. Hodnoty JSON v definici můžou být literály nebo výrazy, které se vyhodnocují za běhu.

Příklad:

"name": "value"

nebo

"name": "@pipeline().parameters.password"

Výrazy se můžou objevit kdekoli v řetězcové hodnotě JSON a vždy vést k jiné hodnotě JSON. Tady je heslo parametrem kanálu ve výrazu. Pokud je hodnota JSON výrazem, text výrazu se extrahuje odebráním znaku at(@). Pokud je potřeba řetězec literálu, který začíná znakem @, musí být uchvácen pomocí @@. Následující příklady ukazují, jak se výrazy vyhodnocují.

Výrazy se mohou objevit také uvnitř řetězců pomocí funkce označované jako interpolace řetězců, ve které jsou výrazy zabaleny @{ ... }. Příklad: "name" : "First Name: @{pipeline().parameters.firstName} Last Name: @{pipeline().parameters.lastName}"

Pomocí interpolace řetězců je výsledkem vždy řetězec. Řekněme, že jsem definoval myNumber jako 42 a myString jako foo:

Příklady použití parametrů ve výrazech

Příklad komplexního výrazu

Následující příklad ukazuje složitý příklad, který odkazuje na hluboké dílčí pole výstupu aktivity. Pokud chcete odkazovat na parametr kanálu, který se vyhodnotí jako dílčí pole, použijte místo operátoru tečk(.) syntaxi [] (jako v případě dílčího pole1 a dílčího pole2).

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Editor dynamického obsahu

Editor dynamického obsahu po dokončení úprav automaticky uchytá znaky v obsahu. Například následující obsah v editoru obsahu je interpolace řetězců se dvěma funkcemi výrazů.

{ 
  "type": "@{if(equals(1, 2), 'Blob', 'Table' )}",
  "name": "@{toUpper('myData')}"
}

Editor dynamického obsahu převede nad obsah na výraz "{ \n \"type\": \"@{if(equals(1, 2), 'Blob', 'Table' )}\",\n \"name\": \"@{toUpper('myData')}\"\n}". Výsledkem tohoto výrazu je řetězec formátu JSON uvedený níže.

{
  "type": "Table",
  "name": "MYDATA"
}

Datová sada s parametry

V následujícím příkladu přebírá blobDataset parametr pojmenovanou cestu. Jeho hodnota se používá k nastavení hodnoty vlastnosti folderPath pomocí výrazu: dataset().path.

{
    "name": "BlobDataset",
    "properties": {
        "type": "AzureBlob",
        "typeProperties": {
            "folderPath": "@dataset().path"
        },
        "linkedServiceName": {
            "referenceName": "AzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "path": {
                "type": "String"
            }
        }
    }
}

Kanál s parametry

V následujícím příkladu kanál přebírá parametry inputPath a outputPath . Cesta pro parametrizovanou datovou sadu objektů blob je nastavena pomocí hodnot těchto parametrů. Syntaxe použitá tady je: pipeline().parameters.parametername.

{
    "name": "Adfv2QuickStartPipeline",
    "properties": {
        "activities": [
            {
                "name": "CopyFromBlobToBlob",
                "type": "Copy",
                "inputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.inputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.outputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                }
            }
        ],
        "parameters": {
            "inputPath": {
                "type": "String"
            },
            "outputPath": {
                "type": "String"
            }
        }
    }
}

Volání funkcí ve výrazech

Funkce můžete volat ve výrazech. Následující části obsahují informace o funkcích, které lze použít ve výrazu.

Funkce řetězců

Pro práci s řetězci můžete použít tyto řetězcové funkce a také některé funkce kolekce. Řetězcové funkce fungují jenom na řetězcích.

Funkce kolekcí

Pokud chcete pracovat s kolekcemi, obecně polemi, řetězci a někdy slovníky, můžete tyto funkce kolekce používat.

Logické funkce

Tyto funkce jsou užitečné v podmínkách, lze je použít k vyhodnocení libovolného typu logiky.

Převodní funkce

Tyto funkce slouží k převodu mezi jednotlivými nativními typy v jazyce:

• string
• integer
• float (číslo s plovoucí řádovou čárkou)
• boolean
• pole
• slovníky

Matematické funkce

Tyto funkce lze použít pro některý z typů čísel: celá čísla a float.

Datové funkce

Podrobné příklady pro praxi

Podrobný kanál kopírování služby Azure Data Factory s parametry

Tento kurz předávání parametrů kanálu kopírování služby Azure Data Factory vás provede předáním parametrů mezi kanálem a aktivitou i mezi aktivitami.

Podrobný kanál mapování toku dat s parametry

Postupujte podle mapování toku dat s parametry , které poskytují komplexní příklad použití parametrů v toku dat.

Podrobný kanál řízený metadaty s parametry

Pokud chcete získat další informace o tom, jak pomocí parametrů navrhovat kanály řízené metadaty, postupujte podle parametrů . Toto je oblíbený případ použití parametrů.

Související obsah

Seznam systémových proměnných, které můžete použít ve výrazech, najdete v tématu Systémové proměnné.