Povolení podpory brány firewall pro účet úložiště pracovního prostoru

Každý pracovní prostor Azure Databricks má přidružený účet úložiště Azure ve spravované skupině prostředků, která se označuje jako účet úložiště pracovního prostoru. Účet úložiště pracovního prostoru zahrnuje systémová data pracovního prostoru (výstup úlohy, nastavení systému a protokoly), kořen DBFS a v některých případech katalog pracovních prostorů Katalogu Unity. Tento článek popisuje, jak omezit přístup k účtu úložiště pracovního prostoru jenom z autorizovaných prostředků a sítí pomocí šablony ARM (Azure Resource Manager).

Co je podpora brány firewall pro váš účet úložiště pracovního prostoru?

Ve výchozím nastavení účet úložiště Azure pro váš účet úložiště pracovního prostoru přijímá ověřená připojení ze všech sítí. Tento přístup můžete omezit povolením podpory brány firewall pro váš účet úložiště pracovního prostoru. Tím se zajistí, že přístup k veřejné síti je zakázaný a účet úložiště pracovního prostoru není přístupný z neautorizovaných sítí. Můžete to nakonfigurovat, pokud má vaše organizace zásady Azure, které zajišťují, že účty úložiště jsou soukromé.

Pokud je podpora brány firewall pro váš účet úložiště pracovního prostoru povolená, musí veškerý přístup ze služeb mimo Azure Databricks používat schválené privátní koncové body se službou Private Link. Azure Databricks vytvoří přístupový konektor pro připojení k úložišti pomocí spravované identity Azure. Přístup z bezserverového výpočetního prostředí Azure Databricks musí používat buď koncové body služby, nebo privátní koncové body.

Požadavky

• Váš pracovní prostor musí povolit injektáž virtuální sítě pro připojení z klasické výpočetní roviny.

• Váš pracovní prostor musí povolit zabezpečené připojení ke clusteru (bez veřejné IP adresy nebo NPIP) pro připojení z klasické výpočetní roviny.

• Váš pracovní prostor musí být v plánu Premium.

• Pro privátní koncové body účtu úložiště musíte mít samostatnou podsíť. To je kromě hlavních dvou podsítí pro základní funkce Azure Databricks.

  Podsíť musí být ve stejné virtuální síti jako pracovní prostor nebo v samostatné virtuální síti, ke které má pracovní prostor přístup. Použijte minimální velikost /28 v zápisu CIDR.

• Pokud používáte Cloud Fetch se službou Microsoft Fabric služba Power BI, musíte vždy použít bránu pro privátní přístup k účtu úložiště pracovního prostoru nebo zakázat cloudové načítání. Viz krok 2 (doporučeno): Konfigurace privátních koncových bodů pro klientské virtuální sítě cloudového načítání

Šablonu ARM můžete použít také v kroku 5: Nasazení požadované šablony ARM k vytvoření nového pracovního prostoru. V takovém případě před provedením kroků 1 až 4 vypněte všechny výpočetní prostředky v pracovním prostoru.

Krok 1: Vytvoření privátních koncových bodů pro účet úložiště

Vytvořte dva privátní koncové body pro účet úložiště pracovního prostoru z virtuální sítě, kterou jste použili pro injektáž virtuální sítě pro hodnoty cílového dílčího prostředku : dfs a blob.

1. Na webu Azure Portal přejděte do svého pracovního prostoru.

2. V části Základy klikněte na název spravované skupiny prostředků.

3. V části Prostředky klikněte na prostředek typu Účet úložiště, který má název začínající dbstorage.

4. Na bočním panelu klikněte na Položku Sítě.

5. Klikněte na připojení privátního koncového bodu.

6. Klikněte na + privátní koncový bod.

7. V poli Název skupiny prostředků nastavte skupinu prostředků.

   Důležité

   Skupina prostředků nesmí být stejná jako spravovaná skupina prostředků, ve které je váš účet úložiště pracovního prostoru.

8. Do pole Název zadejte jedinečný název pro tento privátní koncový bod:

   • Pro první privátní koncový bod, který vytvoříte pro každou zdrojovou síť, vytvořte koncový bod DFS. Databricks doporučuje přidat příponu. -dfs-pe
   • Pro druhý privátní koncový bod, který vytvoříte pro každou zdrojovou síť, vytvořte koncový bod objektu blob. Databricks doporučuje přidat příponu. -blob-pe

   Pole Název síťového rozhraní se automaticky naplní.

9. Nastavte pole Oblast na oblast vašeho pracovního prostoru.

10. Klikněte na tlačítko Další.

11. V podnabídce cíle klikněte na typ cílového prostředku.

    • Pro první privátní koncový bod, který vytvoříte pro každou zdrojovou síť, nastavte ho na dfs.
    • Pro druhý privátní koncový bod, který vytvoříte pro každou zdrojovou síť, nastavte tento parametr na objekt blob.

12. V poli Virtuální síť vyberte virtuální síť.

13. V poli podsítě nastavte podsíť na samostatnou podsíť, kterou máte pro privátní koncové body pro účet úložiště.

    Toto pole může automaticky naplnit podsítí pro vaše privátní koncové body, ale možná ho budete muset explicitně nastavit. Nemůžete použít jednu ze dvou podsítí pracovního prostoru, které se používají pro základní funkce pracovního prostoru Azure Databricks, které se obvykle volají private-subnet a public-subnet.

14. Klikněte na tlačítko Další. Na kartě DNS se automaticky vyplní správné předplatné a skupina prostředků, které jste předtím vybrali. V případě potřeby je změňte.

15. V případě potřeby klikněte na Další a přidejte značky.

16. Klikněte na Další a zkontrolujte pole.

17. Klikněte na Vytvořit.

Pokud chcete zakázat podporu brány firewall pro váš účet úložiště pracovního prostoru, použijte stejný postup jako výše, ale nastavte parametr Firewall účtu úložiště (storageAccountFirewallv šabloně) na Disabled pole true nebo Workspace Catalog Enabled false na základě toho, jestli váš pracovní prostor používá katalog pracovních prostorů Unity. Podívejte se, co jsou katalogy v Azure Databricks?

Krok 2 (doporučeno): Konfigurace privátních koncových bodů pro klientské virtuální sítě cloudového načítání

Cloudové načítání je mechanismus v rozhraní ODBC a JDBC pro paralelní načítání dat prostřednictvím cloudového úložiště, aby se data rychleji dostala do nástrojů BI. Pokud načítáte výsledky dotazů větší než 1 MB z nástrojů BI, pravděpodobně používáte Cloud Fetch.

Pokud používáte Cloud Fetch, vytvořte privátní koncové body pro účet úložiště pracovního prostoru ze všech virtuálních sítí klientů cloudového načítání.

Pro každou zdrojovou síť pro klienty Cloud Fetch vytvořte dva privátní koncové body, které používají dvě různé hodnoty cílového dílčího prostředku : dfs a blob. Podrobný postup najdete v kroku 1: Vytvoření privátních koncových bodů do účtu úložiště. V těchto krocích nezapomeňte pro pole virtuální sítě při vytváření privátního koncového bodu zadat zdrojovou virtuální síť pro každého klienta pro načtení cloudu.

Krok 3: Potvrzení schválení koncových bodů

Po vytvoření všech privátních koncových bodů do účtu úložiště zkontrolujte, jestli jsou schválené. Můžou je automaticky schválit nebo je možná budete muset schválit v účtu úložiště.

1. Na webu Azure Portal přejděte do svého pracovního prostoru.
2. V části Základy klikněte na název spravované skupiny prostředků.
3. V části Prostředky klikněte na prostředek typu Účet úložiště, který má název začínající dbstorage.
4. Na bočním panelu klikněte na Položku Sítě.
5. Klikněte na připojení privátního koncového bodu.
6. Zkontrolujte stav připojení a potvrďte, že je schválil, nebo ho vyberte a klikněte na Schválit.

Krok 4: Autorizace bezserverových výpočetních připojení

Bezserverové výpočetní prostředky musíte autorizovat pro připojení k účtu úložiště pracovního prostoru připojením konfigurace síťového připojení (NCC) k vašemu pracovnímu prostoru. Při připojení NCC k pracovnímu prostoru se pravidla sítě automaticky přidají do účtu úložiště Azure pro účet úložiště pracovního prostoru. Pokyny najdete v tématu Konfigurace brány firewall pro bezserverový výpočetní přístup.

Pokud chcete povolit přístup z bezserverového výpočetního prostředí Azure Databricks pomocí privátních koncových bodů, obraťte se na svůj tým účtů Azure Databricks.

Krok 5: Nasazení požadované šablony ARM

Tento krok používá šablonu ARM ke správě pracovního prostoru Azure Databricks. Pomocí Terraformu můžete také aktualizovat nebo vytvořit pracovní prostor. Podívejte se na poskytovatele azurerm_databricks_workspace Terraformu.

1. Na webu Azure Portal vyhledejte a vyberte Deploy a custom template.

2. V editoru klikněte na Vytvořit vlastní šablonu.

3. Zkopírujte šablonu ARM ze šablony ARM pro podporu brány firewall pro účet úložiště pracovního prostoru a vložte ji do editoru.

4. Klikněte na Uložit.

5. Zkontrolujte a upravte pole. Použijte stejné parametry, které jste použili k vytvoření pracovního prostoru, jako je předplatné, oblast, název pracovního prostoru, názvy podsítí, ID prostředku existující virtuální sítě.

   Popis polí najdete v tématu Pole šablony ARM.

6. Klikněte na Zkontrolovat a vytvořit a pak vytvořit.