Standardy metadanych
Zarządzanie metadanymi odgrywa kluczową rolę w architekturze danych. Metadane to dane dotyczące innych danych. Opisuje ona dane, podając informacje ułatwiające znajdowanie, zabezpieczanie i kontrolowanie danych. Metadane wiążą również dane ze sobą. Może służyć do weryfikowania integralności i jakości danych, kierowania lub replikowania danych do nowej lokalizacji, przekształcania danych i znajomości znaczenia danych. Metadane są również niezbędne w demokratyzowaniu danych za pośrednictwem portali samoobsługowych.
Dobra strategia zarządzania metadanymi rośnie w sposób organiczny. Zaczyna się to od prostego i małego, najpierw identyfikując najważniejsze obszary. Dobra strategia zarządzania metadanymi jest również obsługiwana w przypadku usług i przejrzystych procesów. Aby rozpocząć pracę, warto pamiętać o różnych kategoriach metadanych:
- Metadane biznesowe opisują wszystkie aspekty używane do zapewniania ładu, znajdowania i rozumienia danych. Niektóre dobrze znane przykłady obejmują terminy biznesowe i definicje oraz informacje na temat własności, użycia i pochodzenia danych.
- Metadane techniczne opisują strukturalne aspekty danych w czasie projektowania. Niektóre znane przykłady obejmują informacje o schemacie, format danych i informacje o protokole oraz klucze szyfrowania i odszyfrowywania.
- Metadane operacyjne opisują aspekty przetwarzania danych w czasie wykonywania. Niektóre znane przykłady obejmują informacje o procesie, czas wykonywania, informacje o niepowodzeniu procesu i identyfikatory zadań.
- Metadane społecznościowe opisują perspektywę użytkownika danych od użytkowników. Niektóre dobrze znane przykłady obejmują informacje o użyciu i śledzeniu użytkowników, dane wyników wyszukiwania, filtry i kliknięcia, czas wyświetlania, trafienia profilu i komentarze.
W zdecentralizowanej architekturze danych zarządzanie metadanymi jest wyzwaniem organizacyjnym, które wymaga znalezienia równowagi między centralnie zarządzanymi metadanymi i zarządzanymi metadanymi federacyjnymi. Ważne jest, aby zrozumieć zespoły i funkcje analizy w skali chmury na platformie Azure podczas planowania zarządzania metadanymi. Korzystanie z rozwiązania do wspólnego zarządzania danymi zwiększa komunikację, integrację i automatyzację przepływu danych między zespołami. Niektóre złożoność zarządzania metadanymi można rozwiązać, uderzając właściwą równowagę między centralnym ładem a własnością domeny.
Podczas podejmowania decyzji o tym, jakie metadane mają być zarządzane centralnie lub sfederowane z domenami danych i rozpocząć implementację, zadaj sobie pytanie:
- Jakie metadane biznesowe są krytyczne?
- Jakie metadane techniczne są wymagane do współdziałania?
- Jakie procesy i strumienie przechwytują dane?
- Gdzie są tworzone i obsługiwane modele lub schematy?
- Jakie zespoły informacyjne muszą dostarczać centralnie, aby umożliwić działowi zarządzania danymi prawidłowe wykonywanie pracy?
Korzystając z odpowiedzi na te pytania, zamapuj cykl życia zawartości dla każdego strumienia metadanych i określ wszystkie zależności. Następnie masz model metadanych, który umożliwia łączenie domen biznesowych, procesów, technologii i danych.
Gdy już wiesz, jakie metadane są potrzebne, musisz wybrać miejsce do przechowywania i przetwarzania. Można to zrobić przy użyciu usługi Microsoft Purview.
Zarządzanie zasobami danych za pomocą usługi Microsoft Purview
Microsoft Purview to ujednolicone rozwiązanie do zapewniania ładu danych, które ułatwia zarządzanie danymi lokalnymi, wielochmurowymi i danymi SaaS (software-as-a-service). Wykonuje zarządzanie metadanymi na dużą skalę, ponieważ jest to w pełni zautomatyzowana usługa, która inteligentnie wykonuje odnajdywanie danych, skanowanie danych, jakość danych i zarządzanie dostępem. Zapewnia również całościową mapę wielu szczegółowych informacji na temat architektury siatki danych.
Microsoft Purview to kompleksowy zestaw rozwiązań, które mogą pomóc organizacji zarządzać danymi, chronić je i zarządzać nimi niezależnie od tego, gdzie się znajduje. Rozwiązania Microsoft Purview zapewniają zintegrowane pokrycie i pomagają rozwiązać problem fragmentacji danych w organizacjach, brak widoczności, który utrudnia ochronę danych i ład oraz rozmycie tradycyjnych ról zarządzania IT.
Usługa Microsoft Purview łączy rozwiązania i usługi w zakresie zapewniania ładu i zgodności danych w ujednoliconą platformę, aby pomóc organizacji:
- Uzyskiwanie wglądu w dane w całej organizacji
- Zabezpieczanie poufnych danych i zarządzanie nimi w całym cyklu życia
- Bezproblemowe zarządzanie danymi w nowy, kompleksowy sposób
- Zarządzanie krytycznymi zagrożeniami dotyczącymi danych i wymaganiami prawnymi
Podczas implementowania usługi Microsoft Purview nie wprowadzaj zbyt dużej ilości zmian i złożoności. Metadane techniczne są podstawą firmy Microsoft Purview. Musisz zebrać i zorganizować metadane, zanim będzie można je zrozumieć.
Po utworzeniu metadanych zacznij od podstaw:
- Warunki biznesowe
- Listy autorytatywnych źródeł danych
- Listy baz danych
- Informacje o schemacie
- Własność danych
- Zarządzanie danymi
- Zabezpieczenia
Następnie skaluj przez powolne zaangażowanie większej liczby właścicieli domeny i stewardów danych oraz dodając więcej klasyfikacji i etykiet poufności. Te dodatki usprawniają środowisko wyszukiwania i umożliwiają lepsze zarządzanie dostępem do danych.
W przypadku atrybutów niestandardowych metadanych, takich jak listy domen i metadanych aplikacji, rozważ utworzenie dodatkowych definicji typów w usłudze Microsoft Purview.
Usługa Microsoft Purview oferuje funkcję o nazwie domeny ładu, która ustanawia granice ujednoliconego ładu, własności i odnajdywania produktów danych i pojęć biznesowych w ramach architektury zorientowanej na domenę. Aby uzyskać więcej informacji, zobacz Domeny ładu w usłudze Microsoft Purview.
Tworzenie grafu wiedzy organizacji przy użyciu usługi Azure Cosmos DB
W branży rośnie trend, który przybliża szczegółowe informacje o danych do analityków danych i analityków korzystających z portali, które intensywnie korzystają z metadanych. Ten trend jest znany jako obserwowanie danych. Możliwość obserwowania danych używa takich pojęć jak metadane lake, grafy wiedzy lub grafy metadanych do opisywania platform, na których metadane są scentralizowane. Jest to dobry sposób na utworzenie ujednoliconego widoku wykorzystania i źródła danych w całej organizacji podczas korzystania z rozproszonej siatki danych.
Rozwiązanie do analizy danych musi opisywać sposób użycia danych oraz relacje między jednostkami, takimi jak dane źródłowe i produkty danych oraz między produktami danych z jednej domeny i produktów zależnych z innej domeny. Do modelowania tych relacji można użyć grafowej bazy danych lub niestandardowego interfejsu użytkownika.
Aby utworzyć ujednolicony widok danych organizacji przy użyciu niestandardowego środowiska użytkownika, zapoznaj się z usługą Azure Cosmos DB. Azure Cosmos DB to globalnie rozproszona, wielomodelowa usługa bazy danych z punktami końcowymi NoSQL. Udostępnia ona usługę grafowej bazy danych za pośrednictwem usługi Azure Cosmos DB dla języka Apache Gremlin do przechowywania ogromnych grafów z miliardami wierzchołków i krawędzi.
Wynikiem końcowym architektury usługi Azure Cosmos DB jest graf całej organizacji, który zapewnia ujednolicony widok wszystkich danych w organizacji przy użyciu kompleksowego kontekstu. Magazyn metadanych nie dotyczy tylko przechowywania informacji. Ponadto aktywnie organizuje metadane jako graf, łącząc je z innymi usługami i narzędziami. Ten zorganizowany wykres umożliwia krzyżowe skorelowanie wielu obszarów tematów, w tym:
- Domeny
- Jakość danych
- Użycie danych
- Możliwości biznesowe
- Funkcje aplikacji
- Informacje o architekturze technicznej
- Zdarzenia operacyjne
- Metadane organizacyjne
- Metadane własności aplikacji
- Informacje o lokalizacji
- Informacje o zarządzaniu cyklem życia aplikacji