Obiekty bazy danych w usłudze Azure Databricks

Usługa Azure Databricks używa dwóch podstawowych zabezpieczanych obiektów do przechowywania i uzyskiwania dostępu do danych.

• Tabele zarządzają dostępem do danych tabelarycznych.
• Woluminy zarządzają dostępem do danych innych niż tabelaryczne.

W tym artykule opisano, jak te obiekty bazy danych odnoszą się do katalogów, schematów, widoków i innych obiektów bazy danych w usłudze Azure Databricks. Ten artykuł zawiera również ogólne wprowadzenie do sposobu działania obiektów bazy danych w kontekście ogólnej architektury platformy.

Co to są obiekty bazy danych w usłudze Azure Databricks?

Obiekty bazy danych to jednostki, które ułatwiają organizowanie, uzyskiwanie dostępu i zarządzanie danymi. Usługa Azure Databricks używa hierarchii trójwarstwowej do organizowania obiektów bazy danych:

1. Wykaz: kontener najwyższego poziomu zawiera schematy. Zobacz Co to są wykazy w usłudze Azure Databricks?.
2. Schemat lub baza danych: zawiera obiekty danych. Zobacz Co to są schematy w usłudze Azure Databricks?.
3. Obiekty danych, które mogą być zawarte w schemacie:
   • Wolumin: wolumin logiczny danych innych niż tabelaryczne w magazynie obiektów w chmurze. Zobacz Co to są woluminy wykazu aparatu Unity?.
   • Tabela: kolekcja danych uporządkowana według wierszy i kolumn. Zobacz Co to jest tabela?.
   • Widok: zapisane zapytanie względem co najmniej jednej tabeli. Zobacz Co to jest widok?.
   • Funkcja: zapisana logika zwracająca wartość skalarną lub zestaw wierszy. Zobacz Funkcje zdefiniowane przez użytkownika (UDF) w wykazie aparatu Unity.
   • Model: model uczenia maszynowego spakowany za pomocą biblioteki MLflow. Zobacz Zarządzanie cyklem życia modelu w wykazie aparatu Unity.

Wykazy są rejestrowane w magazynie metadanych zarządzanym na poziomie konta. Tylko administratorzy wchodzą w interakcje bezpośrednio z magazynem metadanych. Zobacz Magazyny metadanych.

Usługa Azure Databricks udostępnia dodatkowe zasoby do pracy z danymi, z których wszystkie można zarządzać przy użyciu kontroli dostępu na poziomie obszaru roboczego lub usługi Unity Catalog, rozwiązania do zapewniania ładu danych usługi Databricks:

• Zasoby danych na poziomie obszaru roboczego, takie jak notesy, zadania i zapytania.
• Zabezpieczane obiekty wykazu aparatu Unity, takie jak poświadczenia magazynu i udziały udostępniania różnicowego, które kontrolują przede wszystkim dostęp do magazynu lub bezpiecznego udostępniania.

Aby uzyskać więcej informacji, zobacz Obiekty bazy danych a obszar roboczy zabezpieczane zasoby danych i zabezpieczane poświadczenia i infrastruktura wykazu aparatu Unity.

Zarządzanie dostępem do obiektów bazy danych przy użyciu wykazu aparatu Unity

Możesz udzielić i odwołać dostęp do obiektów bazy danych na dowolnym poziomie w hierarchii, w tym samego magazynu metadanych. Dostęp do obiektu niejawnie udziela tego samego dostępu wszystkim elementom podrzędnym tego obiektu, chyba że dostęp zostanie odwołany.

Typowe polecenia ANSI SQL umożliwiają udzielanie i odwoływanie dostępu do obiektów w wykazie aparatu Unity. Eksplorator wykazu umożliwia również zarządzanie uprawnieniami obiektu danych opartego na interfejsie użytkownika.

Aby uzyskać więcej informacji na temat zabezpieczania obiektów w wykazie aparatu Unity, zobacz Zabezpieczanie obiektów w wykazie aparatu Unity.

Domyślne uprawnienia obiektu w wykazie aparatu Unity

W zależności od sposobu tworzenia i włączania obszaru roboczego dla wykazu aparatu Unity użytkownicy mogą mieć domyślne uprawnienia do automatycznie aprowizowania katalogów, w tym main wykazu lub wykazu obszarów roboczych (<workspace-name>). Aby uzyskać więcej informacji, zobacz Domyślne uprawnienia użytkownika.

Jeśli obszar roboczy został włączony ręcznie dla wykazu aparatu Unity, zawiera on domyślny schemat o nazwie default w main wykazie, który jest dostępny dla wszystkich użytkowników w obszarze roboczym. Jeśli obszar roboczy został włączony automatycznie dla wykazu aparatu Unity i zawiera <workspace-name> wykaz, ten wykaz zawiera schemat o nazwie default dostępny dla wszystkich użytkowników w obszarze roboczym.

Obiekty bazy danych a zabezpieczane zasoby danych obszaru roboczego

Usługa Azure Databricks umożliwia zarządzanie wieloma zasobami inżynierii danych, analizy, uczenia maszynowego i sztucznej inteligencji wraz z obiektami bazy danych. Te zasoby danych nie są rejestrowane w wykazie aparatu Unity. Zamiast tego te zasoby są zarządzane na poziomie obszaru roboczego przy użyciu list kontrolnych w celu zarządzania uprawnieniami. Te zasoby danych obejmują następujące elementy:

• Notesy
• Pulpity nawigacyjne
• Stanowiska
• Pipelines
• Pliki obszaru roboczego
• Zapytania SQL
• Eksperymenty

Większość zasobów danych zawiera logikę, która współdziała z obiektami bazy danych w celu wykonywania zapytań dotyczących danych, używania funkcji, rejestrowania modeli lub innych typowych zadań. Aby dowiedzieć się więcej na temat zabezpieczania zasobów danych obszaru roboczego, zobacz Listy kontroli dostępu.

Zabezpieczane poświadczenia i infrastruktura wykazu aparatu Unity

Wykaz aparatu Unity zarządza dostępem do magazynu obiektów w chmurze, udostępniania danych i federacji zapytań przy użyciu zabezpieczanych obiektów zarejestrowanych na poziomie magazynu metadanych. Poniżej przedstawiono krótkie opisy tych obiektów, które nie są zabezpieczane przez dane.

Łączenie wykazu aparatu Unity z magazynem obiektów w chmurze

Należy zdefiniować poświadczenia magazynu i lokalizacje zewnętrzne, aby utworzyć nową zarządzaną lokalizację magazynu lub zarejestrować tabele zewnętrzne lub woluminy zewnętrzne. Te zabezpieczane obiekty są rejestrowane w katalogu aparatu Unity:

• Poświadczenie magazynu: długoterminowe poświadczenie w chmurze, które zapewnia dostęp do magazynu w chmurze.
• Lokalizacja zewnętrzna: odwołanie do ścieżki magazynu obiektów w chmurze dostępnej przy użyciu sparowanego poświadczenia magazynu.

Zobacz Nawiązywanie połączenia z magazynem obiektów w chmurze przy użyciu wykazu aparatu Unity.

Udostępnianie różnicowe

Usługa Azure Databricks rejestruje następujące obiekty zabezpieczane przez udostępnianie różnicowe w wykazie aparatu Unity:

• Udział: kolekcja tabel, woluminów i innych zasobów danych tylko do odczytu.
• Dostawca: organizacja lub jednostka, która udostępnia dane. W modelu udostępniania usługi Databricks-to-Databricks dostawca jest zarejestrowany w magazynie metadanych wykazu unity odbiorcy jako unikatowa jednostka zidentyfikowana przez jego identyfikator magazynu metadanych.
• Odbiorca: jednostka, która odbiera udziały od dostawcy. W modelu udostępniania usługi Databricks-to-Databricks odbiorca jest identyfikowany u dostawcy za pomocą unikatowego identyfikatora magazynu metadanych.

Zobacz Co to jest udostępnianie różnicowe?.

Federacja Lakehouse

Federacja Lakehouse umożliwia tworzenie katalogów obcych w celu zapewnienia dostępu tylko do odczytu do danych znajdujących się w innych systemach, takich jak PostgreSQL, MySQL i Snowflake. Aby utworzyć wykazy obce, należy zdefiniować połączenie z systemem zewnętrznym.

Połączenie: Zabezpieczany obiekt wykazu aparatu Unity określa ścieżkę i poświadczenia na potrzeby uzyskiwania dostępu do zewnętrznego systemu bazy danych w scenariuszu federacyjnym usługi Lakehouse.

Zobacz Co to jest Federacja Lakehouse?.

Zarządzane lokalizacje magazynu dla zarządzanych woluminów i tabel

Podczas tworzenia tabel i woluminów usługi Azure Databricks możesz wybrać możliwość zarządzania nimi lub zewnętrznego. Wykaz aparatu Unity zarządza dostępem do zewnętrznych tabel i woluminów z usługi Azure Databricks, ale nie kontroluje bazowych plików ani w pełni zarządza lokalizacją przechowywania tych plików. Z drugiej strony zarządzane tabele i woluminy są w pełni zarządzane przez wykaz aparatu Unity i są przechowywane w zarządzanej lokalizacji magazynu skojarzonej ze schematem zawierającym. Zobacz Określanie lokalizacji magazynu zarządzanego w katalogu aparatu Unity.

Usługa Databricks zaleca woluminy zarządzane i tabele zarządzane dla większości obciążeń, ponieważ upraszczają konfigurację, optymalizację i ład.

Wykaz aparatu Unity a starszy magazyn metadanych Hive

Usługa Databricks zaleca używanie wykazu aparatu Unity do rejestrowania i zarządzania wszystkimi obiektami bazy danych, ale także zapewnia starszą obsługę magazynu metadanych Hive do zarządzania schematami, tabelami, widokami i funkcjami.

Jeśli korzystasz z obiektów bazy danych zarejestrowanych przy użyciu magazynu metadanych Hive, zobacz Obiekty bazy danych w starszym magazynie metadanych Hive.