Kopírování dat z MariaDB pomocí služby Azure Data Factory nebo Synapse Analytics

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak pomocí aktivity kopírování v kanálu Azure Data Factory nebo Synapse Analytics kopírovat data z MariaDB. Vychází z článku s přehledem aktivity kopírování, který představuje obecný přehled aktivity kopírování.

Důležité

Konektor MariaDB s využitím doporučené verze ovladače poskytuje vylepšenou nativní podporu MariaDB. Pokud používáte konektor se starší verzí ovladače, upgradujte ho před 31. říjnem 2024. Podrobnosti o rozdílu mezi starší verzí a doporučenou verzí najdete v této části .

Podporované funkce

Tento konektor MariaDB je podporovaný pro následující funkce:

Podporované funkce IR
aktivita Copy (zdroj/-) (1) (2)
Aktivita Lookup (1) (2)

(1) Prostředí Azure Integration Runtime (2) Místní prostředí Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky aktivitou kopírování najdete v tabulce Podporované úložiště dat.

Služba poskytuje integrovaný ovladač, který umožňuje připojení, takže pomocí tohoto konektoru nemusíte ručně instalovat žádný ovladač.

Tento konektor aktuálně podporuje MariaDB verze 10.x, 11.x v rámci doporučené nové verze ovladače verze 2 a 10.0 až 10.5 pro starší verzi ovladače.

Požadavky

Pokud se vaše úložiště dat nachází uvnitř místní sítě, virtuální sítě Azure nebo amazonového privátního cloudu, musíte nakonfigurovat místní prostředí Integration Runtime pro připojení k němu.

Pokud je vaše úložiště dat spravovanou cloudovou datovou službou, můžete použít Azure Integration Runtime. Pokud je přístup omezený na IP adresy schválené v pravidlech brány firewall, můžete do seznamu povolených přidat IP adresy prostředí Azure Integration Runtime.

K přístupu k místní síti bez nutnosti instalace a konfigurace místního prostředí Integration Runtime můžete také použít funkci Runtime integrace spravované virtuální sítě ve službě Azure Data Factory.

Další informace o mechanismech zabezpečení sítě a možnostech podporovaných službou Data Factory najdete v tématu Strategie přístupu k datům.

Začínáme

K provedení aktivita Copy s kanálem můžete použít jeden z následujících nástrojů nebo sad SDK:

Vytvoření propojené služby s MariaDB pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu s MariaDB v uživatelském rozhraní webu Azure Portal.

  1. Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak klikněte na Nový:

  2. Vyhledejte Maria a vyberte konektor MariaDB.

    Snímek obrazovky s konektorem MariaDB

  3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

    Snímek obrazovky s konfigurací propojené služby pro MariaDB

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor MariaDB.

Vlastnosti propojené služby

Pokud používáte doporučenou verzi ovladače, jsou pro propojenou službu MariaDB podporovány následující vlastnosti:

Vlastnost Popis Povinní účastníci
type Vlastnost typu musí být nastavená na: MariaDB. Ano
driverVersion Verze ovladače, když vyberete doporučenou verzi ovladače. Hodnota je v2. Ano
server Název serveru MariaDB. Ano
port Číslo portu pro připojení k serveru MariaDB. No
database Název databáze MariaDB. Ano
username Vaše uživatelské jméno. Ano
Heslo Heslo pro uživatelské jméno. Označte toto pole jako SecureString, abyste ho bezpečně uložili. Nebo můžete odkazovat na tajný klíč uložený ve službě Azure Key Vault. Ano
sslMode Tato možnost určuje, jestli ovladač při připojování k MariaDB používá šifrování TLS a ověřování. Např. SSLMode=<0/1/2/3/4>
Možnosti: ZAKÁZÁNO (0) / PREFEROVÁNO (1) / POVINNÉ (2) / VERIFY_CA (3) / VERIFY_IDENTITY (4) (výchozí)
Ano
useSystemTrustStore Tato možnost určuje, jestli se má použít certifikát certifikační autority z úložiště důvěryhodnosti systému nebo ze zadaného souboru PEM. Např. UseSystemTrustStore=<0/1>
Možnosti: Povoleno (1) / Zakázáno (0) (výchozí)
No
connectVia Prostředí Integration Runtime , které se má použít pro připojení k úložišti dat. Další informace najdete v části Požadavky . Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No

Příklad:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad: Uložení hesla ve službě Azure Key Vault

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Pokud používáte starší verzi ovladače, podporují se následující vlastnosti:

Vlastnost Popis Povinní účastníci
type Vlastnost typu musí být nastavená na: MariaDB. Ano
připojovací řetězec Rozhraní ODBC připojovací řetězec pro připojení k MariaDB.
Můžete také zadat heslo do služby Azure Key Vault a vytáhnout pwd konfiguraci z připojovací řetězec. Další podrobnosti najdete v následujících ukázkách a ukládání přihlašovacích údajů ve službě Azure Key Vault .
Ano
connectVia Prostředí Integration Runtime , které se má použít pro připojení k úložišti dat. Další informace najdete v části Požadavky . Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No

Příklad:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "connectionString": "Server=<host>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou MariaDB.

Pokud chcete kopírovat data z MariaDB, nastavte vlastnost typu datové sady na MariaDBTable. Tento typ datové sady neobsahuje žádnou další vlastnost specifickou pro typ.

Příklad

{
    "name": "MariaDBDataset",
    "properties": {
        "type": "MariaDBTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MariaDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Vlastnosti aktivity kopírování

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem MariaDB.

MariaDB jako zdroj

Pokud chcete kopírovat data z MariaDB, nastavte typ zdroje v aktivitě kopírování na MariaDBSource. Ve zdrojové části aktivity kopírování jsou podporovány následující vlastnosti:

Vlastnost Popis Povinní účastníci
type Vlastnost typu zdroje aktivity kopírování musí být nastavena na: MariaDBSource. Ano
query Ke čtení dat použijte vlastní dotaz SQL. Například: "SELECT * FROM MyTable". Ne (pokud je v datové sadě zadán název tabulky)

Příklad:

"activities":[
    {
        "name": "CopyFromMariaDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MariaDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MariaDBSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Mapování datových typů pro MariaDB

Při kopírování dat z MariaDB se následující mapování používají z datových typů MariaDB na dočasné datové typy používané službou interně. Informace o tom, jak aktivita kopírování mapuje zdrojové schéma a datový typ na jímku, najdete v mapování schématu schématu a datového typu schématu schématu a datového typu.

Datový typ MariaDB Dočasný datový typ služby Dočasný datový typ služby (pro starší verzi ovladače)
bigint Int64 Int64
bigint unsigned Decimal Decimal
bit(1) UInt64 Boolean
bit(M), M>1 UInt64 Byte[]
blob Byte[] Byte[]
bool Boolean
(Pokud TreatTinyAsBoolean=false, je mapován jako SByte. TreatTinyAsBoolean je ve výchozím nastavení true )
Int16
char String String
date Datetime Datetime
datetime Datetime Datetime
decimal Decimal Decimal, String
double Double Double
double precision Double Double
enum String String
float Single Single
int Int32 Int32
int unsigned Int64 Int64
integer Int32 Int32
integer unsigned Int64 Int64
JSON String -
long varbinary Byte[] Byte[]
long varchar String String
longblob Byte[] Byte[]
longtext String String
mediumblob Byte[] Byte[]
mediumint Int32 Int32
mediumint unsigned Int64 Int64
mediumtext String String
numeric Decimal Decimal
real Double Double
set String String
smallint Int16 Int16
smallint unsigned Int32 Int32
text String String
time TimeSpan TimeSpan
timestamp Datetime Datetime
tinyblob Byte[] Byte[]
tinyint SByte Int16
tinyint unsigned Int16 Int16
tinytext String String
varchar String String
year Int Int

Vlastnosti aktivity vyhledávání

Podrobnosti o vlastnostech najdete v aktivitě Vyhledávání.

Upgrade konektoru MariaDB

Tady jsou kroky, které vám pomůžou s upgradem konektoru MariaDB:

  1. Na stránce Upravit propojenou službu vyberte Doporučené v části Verze ovladače a nakonfigurujte propojenou službu odkazem na vlastnosti propojené služby.

  2. Mapování datových typů pro nejnovější propojenou službu MariaDB se liší od mapování datového typu pro starší verzi. Informace o nejnovějším mapování datových typů najdete v tématu Mapování datových typů pro MariaDB.

  3. Nejnovější verze ovladače v2 podporuje více verzí MariaDB. Další informace najdete v tématu Podporované možnosti.

Následující tabulka ukazuje rozdíly v mapování datových typů mezi MariaDB pomocí doporučené a starší verze ovladače.

Datový typ MariaDB Dočasný datový typ služby (s použitím doporučené verze ovladače) Dočasný datový typ služby (s použitím starší verze ovladače)
bit(1) UInt64 Logická hodnota
bit(M), M>1 UInt64 Bajt[]
bool Logická hodnota Int16
JSON String Bajt[]

Seznam úložišť dat podporovaných jako zdroje a jímky aktivitou kopírování najdete v podporovaných úložištích dat.