Co to jest wykaz Unity?

W tym artykule przedstawiono wykaz aparatu Unity, ujednolicone rozwiązanie do zapewniania ładu dla danych i zasobów sztucznej inteligencji w usłudze Azure Databricks.

Omówienie wykazu aparatu Unity

Wykaz aparatu Unity zapewnia scentralizowaną kontrolę dostępu, inspekcję, pochodzenie i możliwości odnajdywania danych w obszarach roboczych usługi Azure Databricks.

Najważniejsze funkcje wykazu aparatu Unity obejmują:

• Definiowanie raz, zabezpieczanie wszędzie: Katalog aparatu Unity oferuje jedno miejsce do administrowania zasadami dostępu do danych, które mają zastosowanie we wszystkich obszarach roboczych.
• Model zabezpieczeń zgodny ze standardami: model zabezpieczeń wykazu aparatu Unity jest oparty na standardowym języku ANSI SQL i umożliwia administratorom udzielanie uprawnień w istniejącym magazynie danych za pomocą znanej składni, na poziomie wykazów, schematów (nazywanych również bazami danych), tabelami i widokami.
• Wbudowane inspekcje i pochodzenie: Wykaz aparatu Unity automatycznie przechwytuje dzienniki inspekcji na poziomie użytkownika, które rejestrują dostęp do danych. Wykaz aparatu Unity przechwytuje również dane pochodzenia, które śledzą sposób tworzenia i użycia zasobów danych we wszystkich językach.
• Odnajdywanie danych: usługa Unity Catalog umożliwia tagowanie i dokumentowanie zasobów danych oraz udostępnia interfejs wyszukiwania, który ułatwia konsumentom danych znajdowanie danych.
• Tabele systemowe (publiczna wersja zapoznawcza): Wykaz aparatu Unity umożliwia łatwy dostęp do danych operacyjnych konta i wykonywanie zapytań o nie, w tym dzienniki inspekcji, rozliczane użycie i pochodzenie danych.

Model obiektów wykazu aparatu Unity

W wykazie aparatu Unity wszystkie metadane są rejestrowane w magazynie metadanych. Hierarchia obiektów bazy danych w dowolnym magazynie metadanych wykazu aparatu Unity jest podzielona na trzy poziomy, reprezentowane jako trzy-poziomowa przestrzeń nazw (catalog.schema.table-etc) podczas odwołowania się do tabel, widoków, woluminów, modeli i funkcji.

Magazyny metadanych

Magazyn metadanych jest kontenerem najwyższego poziomu dla metadanych w wykazie aparatu Unity. Rejestruje metadane dotyczące danych i zasobów sztucznej inteligencji oraz uprawnienia, które zarządzają dostępem do nich. Aby obszar roboczy mógł korzystać z wykazu aparatu Unity, musi mieć dołączony magazyn metadanych wykazu aparatu Unity.

Musisz mieć jeden magazyn metadanych dla każdego regionu, w którym masz obszary robocze. Zazwyczaj magazyn metadanych jest tworzony automatycznie podczas tworzenia obszaru roboczego usługi Azure Databricks w regionie po raz pierwszy. W przypadku niektórych starszych kont administrator konta musi utworzyć magazyn metadanych i przypisać obszary robocze w tym regionie do magazynu metadanych.

Zobacz Tworzenie magazynu metadanych wykazu aparatu Unity.

Hierarchia obiektów w magazynie metadanych

W magazynie metadanych wykazu aparatu Unity hierarchia obiektów bazy danych trzy poziomów składa się z wykazów zawierających schematy, które z kolei zawierają dane i obiekty sztucznej inteligencji, takie jak tabele i modele.

Poziom jeden:

• Wykazy są używane do organizowania zasobów danych i są zwykle używane jako najwyższy poziom w schemacie izolacji danych. Wykazy często dubluje jednostki organizacyjne lub zakresy cyklu życia tworzenia oprogramowania. Zobacz Co to są wykazy w usłudze Azure Databricks?.
• Obiekty niezabezpieczające dane, takie jak poświadczenia magazynu i lokalizacje zewnętrzne, są używane do zarządzania modelem ładu danych w wykazie aparatu Unity. Te żyją również bezpośrednio w magazynie metadanych. Opisano je bardziej szczegółowo w temacie Inne zabezpieczane obiekty.

Poziom drugi:

• Schematy (znane również jako bazy danych) zawierają tabele , widoki, woluminy, modele sztucznej inteligencji i funkcje. Schematy organizują dane i zasoby sztucznej inteligencji w kategorie logiczne, które są bardziej szczegółowe niż wykazy. Zazwyczaj schemat reprezentuje pojedynczy przypadek użycia, projekt lub piaskownicę zespołu. Zobacz Co to są schematy w usłudze Azure Databricks?.

Poziom trzeci:

• Woluminy to woluminy logiczne danych nieustrukturyzowanych, nie tabelarycznych w magazynie obiektów w chmurze. Woluminy mogą być zarządzane za pomocą wykazu aparatu Unity zarządzającego pełnym cyklem życia i układem danych w magazynie lub zewnętrznym, przy czym wykaz aparatu Unity zarządza dostępem do danych z poziomu usługi Azure Databricks, ale nie zarządza dostępem do danych w magazynie w chmurze od innych klientów. Zobacz Co to są woluminy wykazu aparatu Unity? oraz Tabele i woluminy zewnętrzne.
• Tabele to kolekcje danych uporządkowane według wierszy i kolumn. Tabele można zarządzać przy użyciu wykazu aparatu Unity zarządzającego pełnym cyklem życia tabeli lub zewnętrznym, a wykaz aparatu Unity zarządza dostępem do danych z poziomu usługi Azure Databricks, ale nie zarządza dostępem do danych w magazynie w chmurze od innych klientów. Zobacz Co to jest tabela? oraz Tabele i woluminy zewnętrzne.
• Widoki są zapisywane w zapytaniach względem co najmniej jednej tabeli. Zobacz Co to jest widok?.
• Funkcje to jednostki zapisanej logiki, które zwracają wartość skalarną lub zestaw wierszy. Zobacz Funkcje zdefiniowane przez użytkownika (UDF) w wykazie aparatu Unity.
• Modele to modele sztucznej inteligencji spakowane za pomocą platformy MLflow i zarejestrowane w katalogu aparatu Unity. Zobacz Zarządzanie cyklem życia modelu w wykazie aparatu Unity.

Praca z obiektami bazy danych w wykazie aparatu Unity

Praca z obiektami bazy danych w wykazie aparatu Unity jest bardzo podobna do pracy z obiektami bazy danych, które są zarejestrowane w magazynie metadanych Hive, z wyjątkiem tego, że magazyn metadanych Hive nie zawiera katalogów w przestrzeni nazw obiektów. Możesz użyć znanej składni ANSI do tworzenia obiektów bazy danych, zarządzania obiektami bazy danych, zarządzania uprawnieniami i pracy z danymi w wykazie aparatu Unity. Można również tworzyć obiekty bazy danych, zarządzać obiektami bazy danych i zarządzać uprawnieniami do obiektów bazy danych przy użyciu interfejsu użytkownika Eksploratora wykazu.

Aby uzyskać więcej informacji, zobacz Obiekty bazy danych w usłudze Azure Databricks i Praca z wykazem aparatu Unity oraz starszym magazynem metadanych Hive.

Inne zabezpieczane obiekty

Oprócz obiektów bazy danych i zasobów sztucznej inteligencji, które znajdują się w schematach, wykaz aparatu Unity zarządza również dostępem do danych przy użyciu następujących zabezpieczanych obiektów:

• Poświadczenia magazynu, które hermetyzują długoterminowe poświadczenia chmury, które zapewniają dostęp do magazynu w chmurze. Zobacz Tworzenie poświadczeń magazynu na potrzeby nawiązywania połączenia z usługą Azure Data Lake Storage Gen2.

• Lokalizacje zewnętrzne, które zawierają odwołanie do poświadczeń magazynu i ścieżki magazynu w chmurze. Lokalizacje zewnętrzne mogą służyć do tworzenia tabel zewnętrznych lub przypisywania zarządzanej lokalizacji magazynu dla zarządzanych tabel i woluminów. Zobacz Tworzenie lokalizacji zewnętrznej w celu połączenia magazynu w chmurze z usługą Azure Databricks, izolacją danych przy użyciu magazynu zarządzanego i Określanie zarządzanej lokalizacji magazynu w wykazie aparatu Unity.

• Połączenia reprezentujące poświadczenia, które zapewniają dostęp tylko do odczytu do zewnętrznej bazy danych w systemie bazy danych, takim jak MySQL, przy użyciu usługi Lakehouse Federation. Zobacz Federacja lakehouse i Katalog aparatu Unity i Co to jest Federacja Lakehouse?.

• Czyste pokoje reprezentujące środowisko zarządzane przez usługę Databricks, w którym wielu uczestników może współpracować nad projektami bez udostępniania sobie danych bazowych. Zobacz Co to jest usługa Azure Databricks Clean Rooms?.

• Udziały, które są obiektami udostępniania różnicowego, które reprezentują kolekcję danych i zasobów sztucznej inteligencji tylko do odczytu, które dostawca danych współużytkuje z co najmniej jednym adresatem.

• Adresaci, czyli obiekty udostępniania różnicowego reprezentujące jednostkę odbierającą udziały od dostawcy danych.

• Dostawcy, którzy są obiektami udostępniania różnicowego reprezentującymi jednostkę, która udostępnia dane adresatowi.

Aby uzyskać więcej informacji na temat zabezpieczanych obiektów udostępniania różnicowego, zobacz Co to jest udostępnianie różnicowe?.

Udzielanie i odwołowywanie dostępu do obiektów bazy danych i innych zabezpieczanych obiektów w wykazie aparatu Unity

Możesz udzielić i odwołać dostęp do zabezpieczanych obiektów na dowolnym poziomie w hierarchii, w tym samego magazynu metadanych. Dostęp do obiektu niejawnie udziela tego samego dostępu wszystkim elementom podrzędnym tego obiektu, chyba że dostęp zostanie odwołany.

Typowe polecenia ANSI SQL umożliwiają udzielanie i odwoływanie dostępu do obiektów w wykazie aparatu Unity. Na przykład:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Do zarządzania uprawnieniami obiektów można również użyć Eksploratora wykazu, interfejsu wiersza polecenia usługi Databricks i interfejsów API REST.

Aby dowiedzieć się, jak zarządzać uprawnieniami w wykazie aparatu Unity, zobacz Zarządzanie uprawnieniami w wykazie aparatu Unity.

Domyślny dostęp do obiektów bazy danych w wykazie aparatu Unity

Katalog aparatu Unity działa na zasadzie najniższych uprawnień, gdzie użytkownicy mają minimalny dostęp, którego potrzebują do wykonywania wymaganych zadań. Po utworzeniu obszaru roboczego użytkownicy niebędący administratorami mają dostęp tylko do automatycznie aprowizowanego wykazu obszarów roboczych, co sprawia, że ten wykaz jest wygodnym miejscem dla użytkowników, aby wypróbować proces tworzenia obiektów bazy danych i uzyskiwania do nich dostępu w wykazie aparatu Unity. Zobacz Uprawnienia wykazu obszarów roboczych.

Role administratora

Administratorzy obszaru roboczego i administratorzy konta domyślnie mają dodatkowe uprawnienia. Administrator magazynu metadanych jest opcjonalną rolą, wymaganą, jeśli chcesz zarządzać magazynem tabel i woluminów na poziomie magazynu metadanych i wygodne, jeśli chcesz zarządzać danymi centralnie w wielu obszarach roboczych w regionie. Aby uzyskać więcej informacji, zobacz Uprawnienia administratora w katalogu aparatu Unity i (opcjonalnie) Przypisywanie roli administratora magazynu metadanych.

Zarządzane i zewnętrzne tabele i woluminy

Tabele i woluminy mogą być zarządzane lub zewnętrzne.

• Tabele zarządzane są w pełni zarządzane przez wykaz aparatu Unity, co oznacza, że katalog aparatu Unity zarządza zarówno ładem, jak i bazowymi plikami danych dla każdej zarządzanej tabeli. Tabele zarządzane są przechowywane w lokalizacji zarządzanej przez wykaz aparatu Unity w magazynie w chmurze. Tabele zarządzane zawsze używają formatu usługi Delta Lake. Tabele zarządzane można przechowywać na poziomach magazynu metadanych, katalogu lub schematu.
• Tabele zewnętrzne to tabele , których dostęp z usługi Azure Databricks jest zarządzany przez wykaz aparatu Unity, ale którego cykl życia danych i układ plików są zarządzane przy użyciu dostawcy usług w chmurze i innych platform danych. Zazwyczaj używasz tabel zewnętrznych do rejestrowania dużych ilości istniejących danych w usłudze Azure Databricks lub jeśli potrzebujesz również dostępu do zapisu do danych przy użyciu narzędzi spoza usługi Azure Databricks. Tabele zewnętrzne są obsługiwane w wielu formatach danych. Po zarejestrowaniu tabeli zewnętrznej w magazynie metadanych wykazu aparatu Unity możesz zarządzać dostępem do niej i przeprowadzać inspekcję dostępu do niej w usłudze Azure Databricks — i pracować z nią — tak jak w przypadku tabel zarządzanych.
• Woluminy zarządzane są w pełni zarządzane przez wykaz aparatu Unity, co oznacza, że katalog aparatu Unity zarządza dostępem do lokalizacji magazynu woluminu na koncie dostawcy usług w chmurze. Podczas tworzenia woluminu zarządzanego jest on automatycznie przechowywany w zarządzanej lokalizacji magazynu przypisanej do zawierającego schemat.
• Woluminy zewnętrzne reprezentują istniejące dane w lokalizacjach przechowywania zarządzanych poza usługą Azure Databricks, ale zarejestrowane w wykazie aparatu Unity w celu kontrolowania i inspekcji dostępu z poziomu usługi Azure Databricks. Podczas tworzenia woluminu zewnętrznego w usłudze Azure Databricks należy określić jego lokalizację, która musi znajdować się w ścieżce zdefiniowanej w lokalizacji zewnętrznej wykazu aparatu Unity.

Usługa Databricks zaleca zarządzane tabele i woluminy, aby w pełni wykorzystać możliwości zapewniania ładu w wykazie aparatu Unity i optymalizacje wydajności.

Zobacz Praca z tabelami zarządzanymi, Praca z tabelami zewnętrznymi i Woluminy zarządzane a zewnętrzne.

Izolacja danych przy użyciu magazynu zarządzanego

Organizacja może wymagać przechowywania danych niektórych typów na określonych kontach lub zasobnikach w dzierżawie chmury.

Katalog aparatu Unity umożliwia konfigurowanie lokalizacji magazynu na poziomie magazynu metadanych, katalogu lub schematu w celu spełnienia takich wymagań. System ocenia hierarchię lokalizacji magazynu ze schematu do wykazu do magazynu metadanych.

Załóżmy na przykład, że Organizacja ma zasady zgodności firmy, które wymagają danych produkcyjnych odnoszących się do zasobów ludzkich, które znajdują się w kontenerze abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net. W katalogu aparatu Unity można osiągnąć to wymaganie, ustawiając lokalizację na poziomie wykazu, tworząc katalog o nazwie, na przykład hr_prod, i przypisując do niego lokalizację abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog. Oznacza to, że zarządzane tabele lub woluminy utworzone w wykazie hr_prod (na przykład przy użyciu ) CREATE TABLE hr_prod.default.table …przechowują swoje dane w katalogu abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog. Opcjonalnie możesz podać lokalizacje na poziomie schematu w celu organizowania danych na hr_prod catalog bardziej szczegółowym poziomie.

Jeśli izolacja magazynu nie jest wymagana dla niektórych katalogów, możesz opcjonalnie ustawić lokalizację magazynu na poziomie magazynu metadanych. Ta lokalizacja służy jako domyślna lokalizacja dla zarządzanych tabel i woluminów w katalogach i schematach, które nie mają przypisanego magazynu. Zazwyczaj jednak usługa Databricks zaleca przypisanie oddzielnych zarządzanych lokalizacji magazynu dla każdego katalogu.

Aby uzyskać więcej informacji, zobacz Określanie zarządzanej lokalizacji magazynu w wykazie aparatu Unity i dane są fizycznie oddzielone w magazynie.

Powiązanie wykazu obszarów roboczych

Domyślnie właściciele wykazu (i administratorzy magazynu metadanych, jeśli są one zdefiniowane dla konta) mogą udostępnić wykaz użytkownikom w wielu obszarach roboczych dołączonych do tego samego magazynu metadanych wykazu aparatu Unity. Jeśli używasz obszarów roboczych do izolowania dostępu do danych użytkowników, możesz jednak ograniczyć dostęp katalogu do określonych obszarów roboczych na koncie, aby upewnić się, że niektóre rodzaje danych są przetwarzane tylko w tych obszarach roboczych. Możesz chcieć oddzielić obszary robocze produkcyjne i programistyczne, na przykład lub oddzielny obszar roboczy do przetwarzania danych osobowych. Jest to nazywane powiązaniem katalogu obszarów roboczych. Zobacz Ograniczanie dostępu katalogu do określonych obszarów roboczych.

Inspekcja dostępu do danych

Wykaz aparatu Unity przechwytuje dziennik inspekcji akcji wykonywanych względem magazynu metadanych, umożliwiając administratorom uzyskiwanie dostępu do szczegółowych informacji o tym, kto uzyskał dostęp do danego zestawu danych i wykonanych przez nich akcji.

Dostęp do dzienników inspekcji konta można uzyskać przy użyciu tabel systemowych zarządzanych przez wykaz aparatu Unity.

Zobacz Inspekcja zdarzeń wykazu aparatu Unity, zdarzeń wykazu aparatu Unity i Monitorowanie użycia za pomocą tabel systemowych.

Śledzenie pochodzenia danych

Za pomocą wykazu aparatu Unity można przechwytywać pochodzenie danych środowiska uruchomieniowego między zapytaniami w dowolnym języku wykonywanym w klastrze usługi Azure Databricks lub usłudze SQL Warehouse. Pochodzenie jest przechwytywane na poziomie kolumny i obejmuje notesy, zadania i pulpity nawigacyjne związane z zapytaniem. Aby dowiedzieć się więcej, zobacz Przechwytywanie i wyświetlanie pochodzenia danych przy użyciu wykazu aparatu Unity.

Federacja lakehouse i katalog aparatu Unity

Federacja lakehouse to platforma federacyjna zapytań dla usługi Azure Databricks. Termin Federacja zapytań opisuje kolekcję funkcji, które umożliwiają użytkownikom i systemom uruchamianie zapytań względem wielu silosowych źródeł danych bez konieczności migrowania wszystkich danych do ujednoliconego systemu.

Usługa Azure Databricks używa wykazu aparatu Unity do zarządzania federacją zapytań. Wykaz aparatu Unity służy do konfigurowania połączeń tylko do odczytu z popularnymi zewnętrznymi systemami baz danych i tworzenia katalogów obcych dublujących zewnętrzne bazy danych. Narzędzia do zapewniania ładu danych i pochodzenia danych w wykazie aparatu Unity zapewniają, że dostęp do danych jest zarządzany i poddany inspekcji dla wszystkich zapytań federacyjnych wykonanych przez użytkowników w obszarach roboczych usługi Azure Databricks.

Zobacz Co to jest Federacja Lakehouse?.

Udostępnianie różnicowe, witryna Marketplace usługi Databricks i wykaz aparatu Unity

Usługa Delta Sharing to bezpieczna platforma do udostępniania danych, która umożliwia udostępnianie danych i zasobów sztucznej inteligencji użytkownikom spoza organizacji, niezależnie od tego, czy użytkownicy korzystają z usługi Databricks. Mimo że udostępnianie różnicowe jest dostępne jako implementacja typu open source, w usłudze Databricks wymaga, aby wykaz aparatu Unity w pełni korzystał z rozszerzonych funkcji. Zobacz Co to jest udostępnianie różnicowe?.

Witryna Databricks Marketplace, otwarte forum do wymiany produktów danych, jest oparta na udostępnianiu różnicowym, a w związku z tym musisz mieć obszar roboczy z obsługą wykazu aparatu Unity, aby był dostawcą witryny Marketplace. Zobacz Co to jest witryna Databricks Marketplace?.

Jak mogę skonfigurować wykaz aparatu Unity dla mojej organizacji?

Aby można było korzystać z wykazu aparatu Unity, obszar roboczy usługi Azure Databricks musi być włączony dla wykazu aparatu Unity, co oznacza, że obszar roboczy jest dołączony do magazynu metadanych wykazu aparatu Unity. Wszystkie nowe obszary robocze są automatycznie włączone dla wykazu aparatu Unity podczas tworzenia, ale starsze obszary robocze mogą wymagać ręcznego włączenia wykazu aparatu Unity przez administratora konta. Niezależnie od tego, czy obszar roboczy został automatycznie włączony dla wykazu aparatu Unity, wymagane są również następujące kroki, aby rozpocząć pracę z wykazem aparatu Unity:

• Utwórz wykazy i schematy, aby zawierały obiekty bazy danych, takie jak tabele i woluminy.
• Utwórz zarządzane lokalizacje magazynu do przechowywania zarządzanych tabel i woluminów w tych katalogach i schematach.
• Udziel użytkownikowi dostępu do katalogów, schematów i obiektów bazy danych.

Obszary robocze, które są automatycznie włączone dla wykazu aparatu Unity, aprowizują wykaz obszarów roboczych z szerokimi uprawnieniami przyznanymi wszystkim użytkownikom obszaru roboczego. Ten wykaz jest wygodnym punktem wyjścia do wypróbowanie wykazu aparatu Unity.

Aby uzyskać szczegółowe instrukcje dotyczące konfiguracji, zobacz Konfigurowanie wykazu aparatu Unity i zarządzanie nim.

Migrowanie istniejącego obszaru roboczego do wykazu aparatu Unity

Jeśli masz ostatnio włączony starszy obszar roboczy dla wykazu aparatu Unity, prawdopodobnie masz dane zarządzane przez starszy magazyn metadanych Hive. Możesz pracować z danymi wraz z danymi zarejestrowanymi w wykazie aparatu Unity, ale starszy magazyn metadanych Hive jest przestarzały i należy przeprowadzić migrację danych z magazynu metadanych Hive do wykazu aparatu Unity tak szybko, jak to możliwe, aby móc korzystać z doskonałych możliwości ładu i wydajności wykazu aparatu Unity.

Migracja obejmuje następujące elementy:

1. Konwertowanie dowolnych grup lokalnych obszaru roboczego na grupy na poziomie konta. Wykaz aparatu Unity centralizuje zarządzanie tożsamościami na poziomie konta.
2. Migrowanie tabel i widoków zarządzanych w magazynie metadanych Hive do wykazu aparatu Unity.
3. Zaktualizuj zapytania i zadania, aby odwoływać się do nowych tabel wykazu aparatu Unity zamiast starych tabel magazynu metadanych Hive.

Poniższe informacje mogą pomóc w zarządzaniu migracją:

• UCX, projekt usługi Databricks Labs, udostępnia narzędzia, które ułatwiają uaktualnienie obszaru roboczego innego niż Unity-Catalog do wykazu aparatu Unity. UCX to dobry wybór w przypadku migracji na większą skalę. Zobacz Uaktualnianie obszaru roboczego do katalogu aparatu Unity przy użyciu narzędzi UCX.

• Jeśli masz mniejszą liczbę tabel do migracji, usługa Azure Databricks udostępnia kreatora interfejsu użytkownika i polecenia SQL, których można użyć. Zobacz Uaktualnianie tabel i widoków programu Hive do wykazu aparatu Unity.

• Aby dowiedzieć się, jak używać tabel w magazynie metadanych Hive wraz z obiektami bazy danych w wykazie aparatu Unity w tym samym obszarze roboczym, zobacz Praca z wykazem aparatu Unity i starszym magazynem metadanych Hive.

Wymagania i ograniczenia wykazu aparatu Unity

Wykaz aparatu Unity wymaga określonych typów formatów obliczeniowych i plików opisanych poniżej. Poniżej wymieniono również niektóre funkcje usługi Azure Databricks, które nie są w pełni obsługiwane w wykazie aparatu Unity we wszystkich wersjach środowiska Databricks Runtime.

Obsługa regionów

Wszystkie regiony obsługują wykaz aparatu Unity. Aby uzyskać szczegółowe informacje, zobacz Regiony usługi Azure Databricks.

Wymagania dotyczące obliczeń

Wykaz aparatu Unity jest obsługiwany w klastrach z uruchomionym środowiskiem Databricks Runtime 11.3 LTS lub nowszym. Katalog aparatu Unity jest domyślnie obsługiwany we wszystkich wersjach obliczeniowych usługi SQL Warehouse .

Klastry działające we wcześniejszych wersjach środowiska Databricks Runtime nie zapewniają obsługi wszystkich funkcji i funkcji wykazu aparatu Unity.

Aby uzyskać dostęp do danych w wykazie aparatu Unity, klastry muszą być skonfigurowane z odpowiednim trybem dostępu. Katalog aparatu Unity jest domyślnie bezpieczny. Jeśli klaster nie jest skonfigurowany z trybem dostępu współużytkowanego lub jednego użytkownika, klaster nie może uzyskać dostępu do danych w wykazie aparatu Unity. Zobacz Tryby dostępu.

Aby uzyskać szczegółowe informacje o zmianach funkcji wykazu aparatu Unity w każdej wersji środowiska Databricks Runtime, zobacz informacje o wersji.

Ograniczenia dotyczące wykazu aparatu Unity różnią się w zależności od trybu dostępu i wersji środowiska Databricks Runtime. Zobacz Ograniczenia trybu dostępu obliczeniowego dla wykazu aparatu Unity.

Obsługa formatu pliku

Katalog aparatu Unity obsługuje następujące formaty tabeli:

• Tabele zarządzane muszą używać delta formatu tabeli.
• Tabele zewnętrzne mogą używać delta, , CSV, JSONavro, parquetORClub text.

Ograniczenia

Wykaz aparatu Unity ma następujące ograniczenia. Niektóre z nich są specyficzne dla starszych wersji środowiska Databricks Runtime i trybów dostępu obliczeniowego.

Obciążenia przesyłania strumieniowego ze strukturą mają dodatkowe ograniczenia, w zależności od środowiska Databricks Runtime i trybu dostępu. Zobacz Ograniczenia trybu dostępu obliczeniowego dla wykazu aparatu Unity.

Usługa Databricks udostępnia nowe funkcje, które regularnie zmniejszają tę listę.

• Nie można używać grup utworzonych wcześniej w obszarze roboczym (czyli grupach na poziomie obszaru roboczego) w instrukcjach wykazu GRANT aparatu Unity. Ma to na celu zapewnienie spójnego widoku grup, które mogą obejmować obszary robocze. Aby użyć grup w GRANinstrukcjach T, utwórz grupy na poziomie konta i zaktualizuj dowolną automatyzację zarządzania podmiotami zabezpieczeń lub grup (takimi jak łączniki SCIM, Okta i Microsoft Entra ID i Terraform), aby odwoływać się do punktów końcowych konta zamiast punktów końcowych obszaru roboczego. Zobacz Różnice między grupami kont i grupami lokalnymi obszaru roboczego.

• Obciążenia w języku R nie obsługują używania widoków dynamicznych na poziomie wiersza lub na poziomie kolumny w obliczeniach z uruchomionym środowiskiem Databricks Runtime 15.3 lub nowszym.

  Użyj zasobu obliczeniowego pojedynczego użytkownika z uruchomionym środowiskiem Databricks Runtime 15.4 LTS lub nowszym dla obciążeń w języku R, które wysyłają zapytania o widoki dynamiczne (publiczna wersja zapoznawcza). Takie obciążenia wymagają również obszaru roboczego, który jest włączony dla bezserwerowych obliczeń. Aby uzyskać szczegółowe informacje, zobacz Szczegółowe informacje dotyczące kontroli dostępu w obliczeniach pojedynczego użytkownika.

• Płytkie klony nie są obsługiwane w wykazie aparatu Unity na obliczeniach z uruchomionym środowiskiem Databricks Runtime 12.2 LTS i nowszym. Za pomocą płytkich klonów można tworzyć tabele zarządzane w środowisku Databricks Runtime 13.3 LTS lub nowszym. Nie można ich używać do tworzenia tabel zewnętrznych, niezależnie od wersji środowiska Databricks Runtime. Zobacz Płytkie klonowanie tabel wykazu aparatu Unity.

• Zasobniki nie są obsługiwane w przypadku tabel wykazu aparatu Unity. Jeśli uruchomisz polecenia, które spróbują utworzyć tabelę zasobnikową w wykazie aparatu Unity, zgłosi wyjątek.

• Zapisywanie w tej samej ścieżce lub tabeli usługi Delta Lake z obszarów roboczych w wielu regionach może prowadzić do zawodnej wydajności, jeśli niektóre klastry uzyskują dostęp do wykazu aparatu Unity, a inne nie.

• Niestandardowe schematy partycji utworzone przy użyciu poleceń takich jak ALTER TABLE ADD PARTITION nie są obsługiwane w przypadku tabel w wykazie aparatu Unity. Wykaz aparatu Unity może uzyskiwać dostęp do tabel korzystających z partycjonowania w stylu katalogu.

• Tryb zastępowania operacji zapisu ramki danych w wykazie aparatu Unity jest obsługiwany tylko w przypadku tabel delty, a nie dla innych formatów plików. Użytkownik musi mieć CREATE uprawnienia do schematu nadrzędnego i musi być właścicielem istniejącego obiektu lub mieć MODIFY uprawnienia do obiektu.

• Funkcje zdefiniowane przez użytkownika języka Python nie są obsługiwane w środowisku Databricks Runtime 12.2 LTS i poniżej. Obejmuje to funkcje UDAFs, funkcje zdefiniowane przez użytkownika i biblioteki Pandas na platformie Spark (applyInPandas i mapInPandas). Skalarne funkcje zdefiniowane przez użytkownika języka Python są obsługiwane w środowisku Databricks Runtime 13.3 LTS i nowszym.

• Funkcje zdefiniowane przez użytkownika języka Scala nie są obsługiwane w środowisku Databricks Runtime 14.1 i nowszym w klastrach udostępnionych. Scala skalarne funkcje zdefiniowane przez użytkownika są obsługiwane w środowisku Databricks Runtime 14.2 lub nowszym w klastrach udostępnionych.

• Pule wątków języka Scala w warstwie Standardowa nie są obsługiwane. Zamiast tego użyj specjalnych pul wątków w org.apache.spark.util.ThreadUtilspliku , na przykład org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Jednak następujące pule wątków w programie ThreadUtils nie są obsługiwane: ThreadUtils.newForkJoinPool i żadna ScheduledExecutorService pula wątków.

• Rejestrowanie inspekcji jest obsługiwane tylko dla zdarzeń wykazu aparatu Unity na poziomie obszaru roboczego. Zdarzenia, które odbywają się na poziomie konta bez odwołania do obszaru roboczego, takiego jak tworzenie magazynu metadanych, nie są rejestrowane.

Modele zarejestrowane w wykazie aparatu Unity mają dodatkowe ograniczenia. Zobacz Ograniczenia.

Przydziały zasobów

Unity Catalog wymusza limity przydziału zasobów dla wszystkich zabezpieczanych obiektów. Jeśli spodziewasz się przekroczyć te limity zasobów, skontaktuj się z zespołem konta usługi Azure Databricks.

Poniższe wartości limitów przydziału są wyrażane względem obiektu nadrzędnego (lub najwyższego poziomu) w usłudze Unity Catalog.

Aby uzyskać informacje o limitach udostępniania różnicowego, zobacz Limity przydziału zasobów.