Kurz: Nastavení dbt pro datový sklad Fabric

  • Článek

Platí pro:✅ Warehouse v Microsoft Fabric

Tento kurz vás provede nastavením dbt a nasazením prvního projektu do skladu Fabric.

Úvod

Open source architektura dbt (Data Build Tool) zjednodušuje transformaci a analýzu dat. Zaměřuje se na transformace založené na SQL v rámci analytické vrstvy a zpracovává SQL jako kód. dbt podporuje správu verzí, modularizaci, testování a dokumentaci.

Adaptér dbt pro Microsoft Fabric lze použít k vytvoření projektů dbt, které je pak možné nasadit do datového skladu Synapse Fabric.

Cílovou platformu pro projekt dbt můžete také změnit jednoduše změnou adaptéru, například; Projekt vytvořený pro vyhrazený fond SQL Azure Synapse je možné během několika sekund upgradovat na datový sklad Synapse Fabric.

Požadavky na adaptér dbt pro Microsoft Fabric

Podle tohoto seznamu nainstalujte a nastavte požadavky dbt:

  1. Python verze 3.7 (nebo vyšší)

  2. Ovladač Microsoft ODBC pro SQL Server.

  3. Nejnovější verze adaptéru dbt-fabric z úložiště PyPI (Python Package Index) pomocí pip install dbt-fabric.

    pip install dbt-fabric

    Poznámka:

    pip install dbt-fabric Změnou na pip install dbt-synapse a pomocí následujících pokynů můžete nainstalovat adaptér dbt pro vyhrazený fond SYNApse SQL.

  4. Pomocí příkazu ověřte, že jsou nainstalovány pip list dbt-fabric a jeho závislosti:

    pip list

    Z tohoto příkazu by se měl vrátit dlouhý seznam balíčků a aktuálních verzí.

  5. Pokud ho ještě nemáte, vytvořte sklad. Pro toto cvičení můžete použít zkušební kapacitu: zaregistrujte si bezplatnou zkušební verzi Microsoft Fabric, vytvořte pracovní prostor a pak vytvořte sklad.

Začínáme s adaptérem dbt-fabric

Tento kurz používá Visual Studio Code, ale můžete použít preferovaný nástroj podle svého výběru.

  1. Naklonujte projekt dbt ukázky jaffle_shop do počítače.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Otevřete složku projektu v editoru jaffle_shop Visual Studio Code.

    Snímek obrazovky z editoru Visual Studio Code zobrazující otevřený projekt

  3. Registraci můžete přeskočit, pokud jste už vytvořili sklad.

  4. Vytvořte soubor profiles.yml. Přidejte do souboru profiles.yml. Tento soubor nakonfiguruje připojení k vašemu skladu v Microsoft Fabric pomocí adaptéru dbt-fabric.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Poznámka:

    type fabric synapse V případě potřeby přepněte adaptér databáze na Azure Synapse Analytics. Datovou platformu libovolného existujícího projektu dbt je možné aktualizovat změnou adaptéru databáze. Další informace najdete v seznamu dbt podporovaných datových platforem.

  5. Ověřte se v Azure v terminálu editoru Visual Studio Code.

  6. Teď jste připraveni otestovat připojení. Pokud chcete otestovat připojení k vašemu skladu, spusťte dbt debug ho v terminálu editoru Visual Studio Code.

    dbt debug

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz pro ladění dbt

    Všechny kontroly jsou úspěšné, což znamená, že můžete připojit sklad pomocí adaptéru jaffle_shop dbt-fabric z projektu dbt.

  7. Teď je čas otestovat, jestli adaptér funguje nebo ne. Nejprve spusťte dbt seed vložení ukázkových dat do skladu.

    Snímek obrazovky z editoru Visual Studio Code zobrazující počáteční příkaz dbt

  8. Spuštěním ověřte dbt run data v některých testech.

    dbt run

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz pro spuštění dbt

  9. Spuštěním spusťte dbt test modely definované v ukázkovém projektu dbt.

    dbt test

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz dbt test

Nyní jste nasadili projekt dbt do datového skladu Synapse v prostředcích infrastruktury.

Přechod mezi různými sklady

Je to jednoduché přesunutí projektu dbt mezi různými sklady. Pomocí tohoto tří kroků je možné rychle migrovat projekt dbt v libovolném podporovaném skladu:

  1. Nainstalujte nový adaptér. Další informace a úplné pokyny k instalaci najdete v tématu adaptéry dbt.

  2. Aktualizujte type vlastnost v profiles.yml souboru.

  3. Sestavte projekt.

dbt ve službě Fabric Data Factory

Při integraci s Apache Airflow se oblíbený systém správy pracovních postupů stane výkonným nástrojem pro orchestraci transformací dat. Funkce plánování a správy úkolů airflow umožňují datovým týmům automatizovat běhy dbt. Zajišťuje pravidelné aktualizace dat a udržuje konzistentní tok vysoce kvalitních dat pro analýzu a vytváření sestav. Tento kombinovaný přístup s využitím odborných znalostí transformace dbt s řízením pracovních postupů společnosti Airflow poskytuje efektivní a robustní datové kanály, což vede k rychlejším a přehlednějším rozhodnutím založeným na datech.

Apache Airflow je opensourcová platforma používaná k programovému vytváření, plánování a monitorování složitých datových pracovních postupů. Umožňuje definovat sadu úloh označovaných jako operátory, které se dají kombinovat do směrovaných acyklických grafů (DAG), které představují datové kanály.

Další informace o zprovoznění dbt s vaším skladem najdete v tématu Transformace dat pomocí dbt se službou Data Factory v Microsoft Fabric.

Důležité informace

Důležité informace, které je potřeba vzít v úvahu při použití adaptéru dbt-fabric:

  • Projděte si aktuální omezení datových skladů Microsoft Fabric.

  • Prostředky infrastruktury podporují ověřování Microsoft Entra ID (dříve Azure Active Directory) pro objekty zabezpečení uživatele, identity uživatelů a instanční objekty. Doporučený režim ověřování pro interaktivní práci na skladu je rozhraní příkazového řádku (rozhraní příkazového řádku) a použití instančních objektů pro automatizaci.

  • Projděte si příkazy T-SQL (Transact-SQL) nepodporované ve službě Synapse Data Warehouse v Microsoft Fabric.

  • Některé příkazy T-SQL podporují adaptér dbt-fabric pomocí Create Table as Select (CTAS) DROPa CREATE příkazy, například ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

  • Projděte si nepodporované datové typy a seznamte se s podporovanými a nepodporovanými datovými typy.

  • Problémy s adaptérem dbt-fabric na GitHubu můžete protokolovat tak , že navštívíte problémy · microsoft/dbt-fabric · GitHub.

Další krok

Transformace dat pomocí dbt se službou Data Factory v Microsoft Fabric

Související obsah