Povolení knihoven a inicializačních skriptů ve sdílených výpočetních prostředcích

Ve verzi Databricks Runtime 13.3 LTS a vyšší můžete do katalogu Unity přidat knihovny a inicializační skripty allowlist . To umožňuje uživatelům využívat tyto artefakty na výpočetních prostředcích nakonfigurovaných pomocí režimu sdíleného přístupu.

Seznam povolených adresářů nebo cest k souborům můžete povolit před tím, než tento adresář nebo soubor existuje. Viz Nahrání souborů do svazku katalogu Unity.

Postup přidání položek do seznamu povolených položek

Položky můžete přidat do allowlist Průzkumníka katalogu nebo rozhraní REST API.

Chcete-li otevřít dialogové okno pro přidání položek do seznamu povolených v Průzkumníku katalogů, postupujte takto:

1. V pracovním prostoru Azure Databricks klikněte na Katalog.
2. Kliknutím otevřete podrobnosti metastoru a uživatelské rozhraní oprávnění.
3. Vyberte Povolené skripty JAR/Inicializační skripty.
4. Klikněte na tlačítko Přidat.

Přidání inicializačního skriptu do seznamu povolených

V dialogovém okně seznamu povolených proveďte následující kroky a přidejte do seznamu povolených inicializační skript:

1. Jako typ vyberte Inicializační skript.
2. Jako typ zdroje vyberte svazek nebo protokol úložiště objektů.
3. Zadejte zdrojová cesta, kterou chcete přidat do seznamu povolených. Podívejte se, jak se v seznamu povolených vynucují oprávnění k cestám?

Přidání souboru JAR do seznamu povolených

V dialogovém okně seznamu povolených proveďte následující kroky a přidejte do seznamu povolených soubor JAR:

1. Jako typ vyberte SOUBOR JAR.
2. Jako typ zdroje vyberte svazek nebo protokol úložiště objektů.
3. Zadejte zdrojová cesta, kterou chcete přidat do seznamu povolených. Podívejte se, jak se v seznamu povolených vynucují oprávnění k cestám?

Přidání souřadnic Mavenu do seznamu povolených

V dialogovém okně seznamu povolených dokončete následující kroky a přidejte do seznamu povolených souřadnic Maven:

1. Jako typ vyberte Maven.
2. Jako typ zdroje vyberte Souřadnice.
3. Zadejte souřadnice v následujícím formátu: groudId:artifactId:version.
   • Všechny verze knihovny můžete zahrnout povolením seznamu povolených formátů: groudId:artifactId.
   • Všechny artefakty ve skupině můžete zahrnout přidáním následujícího formátu: groupId.

Jak se v seznamu povolených vynucují oprávnění k cestám?

Pomocí seznamu povolených můžete udělit přístup k jarům nebo inicializačním skriptům uloženým ve svazcích katalogu Unity a úložišti objektů. Pokud místo souboru přidáte cestu k adresáři, rozšíří se oprávnění seznamu allowlist do obsažených souborů a adresářů.

Porovnávání předpon se používá pro všechny artefakty uložené ve svazcích katalogu Unity nebo v úložišti objektů. Pokud chcete zabránit porovnávání předpon na dané úrovni adresáře, uveďte koncové lomítko (/). /Volumes/prod-libraries/ Například nebude provádět porovnávání předpon pro soubory s předponou prod-libraries. Místo toho se do seznamu povolených přidají všechny soubory a adresáře v rámci /Volumes/prod-libraries/ .

Oprávnění můžete definovat na následujících úrovních:

1. Základní cesta ke svazku nebo kontejneru úložiště.
2. Adresář vnořený do jakékoli hloubky ze základní cesty.
3. Jeden soubor.

Přidání cesty do seznamu povolených znamená, že cestu lze použít buď pro inicializační skripty, nebo instalaci SOUBORU JAR. Azure Databricks stále kontroluje oprávnění pro přístup k datům v zadaném umístění.

Použitý objekt zabezpečení musí mít READ VOLUME oprávnění k zadanému svazku. Viz SELECT.

V režimu přístupu jednoho uživatele se používá identita přiřazeného objektu (uživatele nebo instančního objektu).

V režimu sdíleného přístupu:

• Knihovny používají identitu instalačního programu knihovny.
• Inicializační skripty používají identitu vlastníka clusteru.

Databricks doporučuje konfigurovat všechna oprávnění úložiště objektů související s inicializačními skripty a knihovnami s oprávněními jen pro čtení. Uživatelé s oprávněním k zápisu na těchto místech mohou potenciálně upravovat kód v souborech knihovny nebo inicializačních skriptech.

Databricks doporučuje používat instanční objekty Microsoft Entra ID ke správě přístupu k jarům nebo inicializačním skriptům uloženým v Azure Data Lake Storage Gen2. K dokončení tohoto nastavení použijte následující propojenou dokumentaci:

1. Vytvořte instanční objekt s oprávněními ke čtení a výpisu požadovaných objektů blob. Viz Access storage using a service principal & Microsoft Entra ID(Azure Active Directory).

2. Uložte přihlašovací údaje pomocí tajných kódů. Podívejte se na tajné kódy.

3. Při vytváření clusteru nastavte vlastnosti v konfiguraci Sparku a proměnných prostředí, jak je znázorněno v následujícím příkladu:

   Konfigurace Sparku:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   Proměnné prostředí:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (Volitelné) Refaktoring inicializačních skriptů pomocí azcopy nebo Azure CLI

   Proměnné prostředí nastavené během konfigurace clusteru v inicializačních skriptech můžete odkazovat na přihlašovací údaje uložené jako tajné kódy pro ověření.