Zóny a kontejnery Data Lake

Před vstupem do datového jezera je důležité naplánovat datovou strukturu. Pokud máte plán, můžete efektivně používat zabezpečení, dělení a zpracování.

Přehled datových jezer najdete v tématu Přehled služby Azure Data Lake Storage pro analýzy v cloudovém měřítku.

Přehled

Vaše tři účty data lake by se měly srovnat s typickými vrstvami data lake.

Předchozí tabulka ukazuje standardní počet kontejnerů, které doporučujeme pro cílovou zónu dat. Výjimkou tohoto doporučení je, pokud jsou pro data v kontejneru vyžadovány různé zásady obnovitelného odstranění. Tyto požadavky určují, jestli potřebujete více kontejnerů.

Povolte Azure Storage pomocí funkce hierarchického prostoru názvů, která umožňuje efektivně spravovat soubory. Funkce hierarchického prostoru názvů uspořádá objekty a soubory v rámci účtu do hierarchie adresářů a vnořených podadresářů. Tato hierarchie je uspořádaná stejným způsobem jako systém souborů v počítači.

Když váš modul pro příjem dat nebo aplikace pro onboarding zaregistruje nový systém záznamů, vytvoří požadované složky v kontejnerech v nezpracovaných, obohacených a standardizovaných datových vrstvách. Pokud zdrojová datová aplikace ingestuje data, tým datové aplikace potřebuje k vytvoření složek a skupin zabezpečení tým cílové zóny dat. Zadejte název instance nebo spravovanou identitu do správné skupiny a přiřaďte úroveň oprávnění. Zdokumentujte tento proces pro cílové zóny dat a týmy datových aplikací.

Další informace o týmech najdete v tématu Vysvětlení rolí a týmů pro analýzy v cloudovém měřítku v Azure.

Každý datový produkt by měl mít v kontejneru datových produktů dvě složky, které vlastní váš datový produktový tým.

V rozšířené vrstvě standardizovaného kontejneru existují dvě složky na zdrojový systém rozdělené klasifikací. Díky této struktuře může váš tým samostatně ukládat data s různými klasifikacemi zabezpečení a dat a přiřazovat jim různý přístup k zabezpečení.

Váš standardizovaný kontejner potřebuje obecnou složku pro důvěrná nebo nižší data a citlivou složku pro osobní údaje. Řízení přístupu k těmto složkám pomocí seznamů řízení přístupu (ACL). Můžete vytvořit datovou sadu se všemi odebranými osobními údaji a uložit ji do obecné složky. Můžete mít jinou datovou sadu, která zahrnuje všechny osobní údaje ve složce s citlivými osobními údaji.

Kombinace seznamů ACL a skupin Microsoft Entra omezuje přístup k datům. Tyto seznamy a skupiny řídí, k jakým jiným skupinám mají a nemají přístup. Vlastníci dat a týmy datových aplikací můžou schválit nebo odmítnout přístup k datovým prostředkům.

Další informace najdete v tématu Ochrana osobních údajů v datech.

Nezpracovaná vrstva (bronzová) nebo datové jezero jedna

Nezpracovanou vrstvu si můžete představit jako nádrž, která ukládá data v přirozeném a původním stavu. Je nefiltrovaný a neověřený. Data můžete uložit v původním formátu, jako je JSON nebo CSV. Nebo může být nákladově efektivní uložit obsah souboru jako sloupec ve komprimovaném formátu souboru, jako je Avro, Parquet nebo Databricks Delta Lake.

Tato nezpracovaná data jsou neměnná. Ponechte nezpracovaná data zamknutá a pokud udělíte oprávnění všem uživatelům, automatizovaným nebo lidským uživatelům, ujistěte se, že jsou jen pro čtení. Tuto vrstvu můžete uspořádat pomocí jedné složky na zdrojový systém. Udělte každému procesu příjmu dat přístup k zápisu jenom ke své přidružené složce.

Při načítání dat ze zdrojových systémů do nezpracované zóny se můžete rozhodnout:

• Úplné načtení pro extrahování úplné datové sady.
• Rozdílové načtení pro načtení pouze změněná data

Označte zvolený vzor načítání ve struktuře složek, abyste zjednodušili použití pro uživatele dat.

Nezpracovaná data ze zdrojovýchsystémůch Každý proces příjmu dat by měl mít přístup k zápisu pouze ke své přidružené složce.

Rozdíly mezi úplným zatížením a rozdílovými zatíženími jsou:

• Úplné načtení – dokončení dat ze zdroje je možné připojit, pokud:

  • Objem dat ve zdroji je malý.
  • Zdrojový systém neudržuje pole časového razítka, které identifikuje, jestli se data přidávají, aktualizují nebo odstraní.
  • Zdrojový systém pokaždé přepíše úplná data.

• Rozdílové načtení – Přírůstková data ze zdroje se dají připojit, pokud:

  • Objem dat ve zdroji je velký.
  • Zdrojový systém udržuje pole časového razítka, které identifikuje, jestli se data přidávají, aktualizují nebo odstraní.
  • Zdrojový systém vytváří a aktualizuje soubory o změnách dat.

Nezpracované datové jezero se skládá z kontejnerů pro přistání a shodu. Každý kontejner používá 100% povinnou strukturu složek specifickou pro svůj účel.

Rozložení cílového kontejneru

Cílový kontejner je vyhrazený pro nezpracovaná data z rozpoznané zdrojového systému. Modul pro příjem dat nebo zdrojově sladěná datová aplikace načte data, která nejsou v původním podporovaném formátu.

.
|-Landing
|--Log
|---{Application Name}
|--Master and Reference
|---{Source System}
|--Telemetry
|---{Source System}
|----{Application}
|--Transactional
|---{Source System}
|----{Entity}
|-----{Version}
|------Delta
|-------{date (ex. rundate=2019-08-22)}
|------Full

Kontejner shody s nezpracovanou vrstvou

Nezpracovaná vrstva obsahuje data odpovídající kvalitě dat. Při kopírování dat do cílového kontejneru se zpracování dat a výpočetní prostředí aktivuje ke zkopírování dat z cílového kontejneru do kontejneru shody. V této první fázi se data převedou do formátu delta lake a převedou se do vstupní složky. Při spuštění kvality dat se záznamy, které předávají, zkopírují do výstupní složky. Záznamy, které selžou, přistanou do chybové složky.

.
|-Conformance
|--Log
|---{Application Name}
|--Master and Reference
|---{Source System}
|--Telemetry
|---{Source System}
|----{Application}
|--Transactional
|---{Source System}
|----{Entity}
|-----{Version}
|------Delta
|-------Input
|--------{date (ex. rundate=2019-08-22)}
|-------Output
|--------{date (ex. rundate=2019-08-22)}
|-------Error
|--------{date (ex. rundate=2019-08-22)}
|------Full
|-------Input
|--------{date (ex. rundate=2019-08-22)}
|-------Output
|--------{date (ex. rundate=2019-08-22)}
|-------Error
|--------{date (ex. rundate=2019-08-22)}

Rozšířená vrstva (silver) nebo data lake two

Rozšířenou vrstvu si můžete představit jako filtrační vrstvu. Odstraňuje nečistoty a může také zahrnovat obohacení.

Kontejner standardizace obsahuje systémy záznamů a hlavních serverů. Složky jsou nejprve segmentovány podle oblasti předmětu a pak podle entity. Data jsou k dispozici ve sloučených tabulkách rozdělených do oddílů, které jsou optimalizované pro využití analýz.

Standardizovaný kontejner

.
|-Standardized
|--Log
|---{Application Name}
|--Master and Reference
|---{Source System}
|--Telemetry
|---{Source System}
|----{Application}
|--Transactional
|---{Source System}
|----{Entity}
|-----{Version}
|------General
|--------{date (ex. rundate=2019-08-22)}
|-------Sensitive
|--------{date (ex. rundate=2019-08-22)}

Následující diagram znázorňuje tok datových jezer a kontejnerů ze zdrojových dat do standardizovaného kontejneru.

Kurátorovaná vrstva (gold) nebo data lake two

Vaše kurátorovaná vrstva je vrstva spotřeby. Je optimalizovaná pro analýzy místo příjmu nebo zpracování dat. Kurátorovaná vrstva může ukládat data do denormalizovaných datových mart nebo hvězdicových schémat.

Data z vašeho standardizovaného kontejneru se transformují na vysoce hodnotné datové produkty, které se obsluhují příjemcům dat. Tato data mají strukturu. Může se obsluhovat příjemcům, jako jsou poznámkové bloky datových věd, nebo prostřednictvím jiného úložiště dat pro čtení, jako je Azure SQL Database.

Pomocí nástrojů, jako je Spark nebo Data Factory, můžete provádět dimenzionální modelování místo toho, abyste je prováděli v databázovém stroji. Toto použití nástrojů se stává klíčovým bodem, pokud chcete, aby vaše jezero bylo jediným zdrojem pravdy.

Pokud modelujete mimo své jezero, možná budete chtít publikovat modely zpět do jezera kvůli konzistenci. Tato vrstva není náhradou za datový sklad. Jeho výkon obvykle není vhodný pro responzivní řídicí panely nebo koncové uživatele a interaktivní analýzy uživatelů. Tato vrstva je nejvhodnější pro interní analytiky a datové vědce, kteří provozují rozsáhlé, improvizované dotazy nebo analýzy nebo pro pokročilé analytiky, kteří nemají potřeby generování sestav s časovým měřítkem. Vzhledem k tomu, že náklady na úložiště jsou ve vašem datovém jezeře nižší než u datového skladu, může být nákladově efektivní udržovat podrobná a nízká data ve vašem jezeře. Ukládejte agregovaná data do skladu. Tyto agregace můžete vygenerovat pomocí Sparku nebo Azure Data Factory. Před načtením do datového skladu je zachovejte do datového jezera.

Datové prostředky v této zóně jsou vysoce řízené a dobře zdokumentované. Přiřaďte oprávnění podle oddělení nebo funkce a uspořádejte oprávnění podle skupiny příjemců nebo datového tržiště.

Kontejner datových produktů

.
|-{Data Product}
|---{Entity}
|----{Version}
|-----General
|-------{date (ex. rundate=2019-08-22)}
|------Sensitive
|-------{date (ex. rundate=2019-08-22)}

Vývojová vrstva nebo data lake three

Příjemci dat můžou přinést další užitečné datové produkty spolu s daty přijatými do vašeho standardizovaného kontejneru.

V tomto scénáři může vaše datová platforma těmto příjemcům přidělit oblast analytického sandboxu. V sandboxu můžou generovat cenné přehledy pomocí kurátorovaných dat a datových produktů, které přinášejí. Pokud například tým datových věd chce určit nejlepší strategii umístění produktů pro novou oblast, může přinést další datové produkty, jako jsou demografické údaje zákazníků a údaje o využití, z podobných produktů v této oblasti. Tým může využít přehledy o prodeji s vysokou hodnotou z těchto dat k analýze vhodné a nabízené strategie na trhu produktů.

Tyto datové produkty jsou obvykle neznámé kvality a přesnosti. Jsou stále kategorizovány jako datové produkty, ale jsou dočasné a relevantní pouze pro skupinu uživatelů, která data používá.

Jakmile tyto datové produkty zraly, může vaše firma tyto datové produkty propagovat do kurátorované datové vrstvy. Pokud chcete, aby vaše datové produktové týmy odpovídaly za nové datové produkty, poskytněte týmům vyhrazenou složku ve kurátorované zóně dat. Můžou ukládat nové výsledky do složky a sdílet je s ostatními týmy ve vaší organizaci.

Další kroky