Łączenie obszaru roboczego usługi Azure Databricks z siecią lokalną

  • Artykuł

W tym artykule pokazano, jak ustanowić łączność z obszaru roboczego usługi Azure Databricks do sieci lokalnej. Ruch jest kierowany przez tranzytową sieć wirtualną (VNet) do sieci lokalnej przy użyciu następującej topologii piasty i szprych.

Wdrażanie sieci wirtualnej

Jeśli potrzebujesz pomocy, postępując zgodnie z tym przewodnikiem, skontaktuj się z zespołami ds. kont firmy Microsoft i usługi Databricks.

Wymagania

Obszar roboczy usługi Azure Databricks musi zostać wdrożony we własnej sieci wirtualnej, nazywanej również iniekcją sieci wirtualnej.

Krok 1. Konfigurowanie tranzytowej sieci wirtualnej za pomocą bramy usługi Azure Virtual Network Gateway

Potrzebujesz bramy usługi Azure Virtual Network Gateway (ExpressRoute lub VPN) w tranzytowej sieci wirtualnej skonfigurowanej przy użyciu jednej z tych metod. Jeśli masz już odpowiednią bramę, przejdź do sekcji Komunikacja równorzędna sieci wirtualnej usługi Azure Databricks z tranzytową siecią wirtualną.

Jeśli masz już skonfigurowaną usługę ExpressRoute między siecią lokalną a platformą Azure, wykonaj procedurę opisaną w temacie Konfigurowanie bramy sieci wirtualnej dla usługi ExpressRoute przy użyciu witryny Azure Portal.

W przeciwnym razie wykonaj kroki 1–5 w temacie Konfigurowanie połączenia bramy sieci VPN między sieciami wirtualnymi przy użyciu witryny Azure Portal.

Jeśli potrzebujesz pomocy, skontaktuj się z zespołem kont Microsoft.

Krok 2. Komunikacja równorzędna sieci wirtualnej usługi Azure Databricks z tranzytem sieci wirtualnej

Jeśli obszar roboczy usługi Azure Databricks znajduje się w tej samej sieci wirtualnej co brama sieci wirtualnej, przejdź do sekcji Tworzenie tras zdefiniowanych przez użytkownika i skojarz je z podsieciami sieci wirtualnej usługi Azure Databricks.

W przeciwnym razie postępuj zgodnie z instrukcjami w temacie Komunikacja równorzędna sieci wirtualnych, aby połączyć sieć wirtualną usługi Azure Databricks z tranzytem, wybierając następujące opcje:

  • Użyj bram zdalnych po stronie sieci wirtualnej usługi Azure Databricks.
  • Zezwalaj na tranzyt bramy po stronie tranzytowej sieci wirtualnej.

Aby uzyskać szczegółowe informacje, zobacz Tworzenie komunikacji równorzędnej.

Uwaga

Jeśli lokalne połączenie sieciowe z usługą Azure Databricks nie działa z powyższymi ustawieniami, możesz również wybrać opcję Zezwalaj na ruch przekazywany dalej po obu stronach komunikacji równorzędnej, aby rozwiązać ten problem.

Aby uzyskać informacje na temat konfigurowania tranzytu bramy sieci VPN dla komunikacji równorzędnej sieci wirtualnych, zobacz Konfigurowanie przesyłania bramy sieci VPN na potrzeby komunikacji równorzędnej sieci wirtualnych.

Krok 3. Tworzenie tras zdefiniowanych przez użytkownika i kojarzenie ich z podsieciami sieci wirtualnej usługi Azure Databricks

Po połączeniu sieci wirtualnej usługi Azure Databricks z tranzytem platforma Azure automatycznie konfiguruje wszystkie trasy przy użyciu tranzytowej sieci wirtualnej. Konfiguracja automatyczna nie obejmuje trasy powrotnej z węzłów klastra do płaszczyzny sterowania usługi Azure Databricks. Te trasy niestandardowe należy utworzyć ręcznie przy użyciu tras zdefiniowanych przez użytkownika.

  1. Utwórz tabelę tras, włączając propagację tras protokołu BGP.

    Uwaga

    W niektórych przypadkach propagacja tras protokołu BGP powoduje błędy podczas weryfikowania konfiguracji połączenia sieciowego lokalnego. W ostateczności można wyłączyć propagację tras protokołu BGP.

  2. Dodaj trasy zdefiniowane przez użytkownika dla następujących usług, korzystając z instrukcji w temacie Trasy niestandardowe.

    Jeśli włączono bezpieczną łączność klastra (SCC) dla obszaru roboczego, użyj adresu IP przekaźnika SCC, a nie adresu IP translatora adresów sieciowych płaszczyzny sterowania.

    Źródło Prefiks adresu Typ następnego przeskoku
    Domyślne Adres IP translatora adresów sieciowych płaszczyzny sterowania
    (Tylko wtedy, gdy SCC jest wyłączona)    		 Internet
    Wartość domyślna Adres IP przekaźnika SCC
    (Tylko w przypadku włączenia SCC)    		 Internet
    Wartość domyślna Adres IP aplikacji internetowej Internet
    Wartość domyślna Adres IP magazynu metadanych Internet
    Wartość domyślna Artifact Blob storage IP Internet
    Wartość domyślna Log Blob storage IP Internet
    Wartość domyślna Adres IP magazynu obszarów roboczych (ADLS) Internet
    Wartość domyślna Adres IP magazynu obszarów roboczych (blob) dla obszarów roboczych utworzonych przed 6 marca 2023 r. Internet
    Wartość domyślna Event Hubs IP Internet

    Aby uzyskać adresy IP dla każdej z tych usług, postępuj zgodnie z instrukcjami w temacie Ustawienia trasy zdefiniowanej przez użytkownika dla usługi Azure Databricks.

    Jeśli trasa oparta na adresie IP zakończy się niepowodzeniem podczas walidacji konfiguracji, możesz utworzyć punkt końcowy usługi dla usługi Microsoft.Storage , aby kierować cały ruch magazynu obszaru roboczego za pośrednictwem sieci szkieletowej platformy Azure. Jeśli używasz tej metody, nie musisz tworzyć tras zdefiniowanych przez użytkownika dla magazynu obszarów roboczych.

    Uwaga

    Aby uzyskać dostęp do innych usług danych platformy Azure PaaS, takich jak Cosmos DB lub Azure Synapse Analytics, z usługi Azure Databricks, musisz dodać trasy zdefiniowane przez użytkownika dla tych usług do tabeli tras. Rozwiąż każdy punkt końcowy na swój adres IP przy użyciu nslookup lub równoważnego polecenia.

  3. Skojarz tabelę tras z podsieciami publicznymi i prywatnymi sieci wirtualnej usługi Azure Databricks, korzystając z instrukcji w temacie Kojarzenie tabeli tras z podsiecią.

    Po skojarzeniu niestandardowej tabeli tras z podsieciami sieci wirtualnej usługi Azure Databricks nie trzeba edytować reguł zabezpieczeń ruchu wychodzącego w sieciowej grupie zabezpieczeń. Na przykład nie trzeba bardziej określać reguły ruchu wychodzącego, ponieważ trasy będą kontrolować rzeczywisty ruch wychodzący.

Krok 4. Weryfikowanie konfiguracji

Aby zweryfikować konfigurację:

  1. Utwórz klaster w obszarze roboczym usługi Azure Databricks.

    Jeśli tworzenie klastra zakończy się niepowodzeniem, zapoznaj się z instrukcjami konfiguracji, próbując jedną po kolei uruchomić alternatywne opcje konfiguracji.

    Jeśli nadal nie możesz utworzyć klastra, sprawdź, czy tabela tras zawiera wszystkie wymagane trasy zdefiniowane przez użytkownika. Jeśli używasz punktów końcowych usługi, a nie tras zdefiniowanych przez użytkownika dla usługi ADLS Gen2 (w przypadku obszarów roboczych utworzonych przed 6 marca 2023 r., Azure Blob Storage), sprawdź również te punkty końcowe.

    Jeśli nadal nie możesz utworzyć klastra, skontaktuj się z zespołami ds. kont firmy Microsoft i usługi Databricks, aby uzyskać pomoc.

  2. Wyślij polecenie ping do lokalnego adresu IP z notesu przy użyciu następującego polecenia:

    %sh
ping <IP>

Aby uzyskać więcej wskazówek dotyczących rozwiązywania problemów, zobacz następujące zasoby:

Opcjonalne kroki konfiguracji

Opcja: kierowanie ruchu usługi Azure Databricks przy użyciu urządzenia wirtualnego lub zapory

Cały ruch wychodzący można filtrować z węzłów klastra usługi Azure Databricks przy użyciu zapory lub urządzenia DLP, takiego jak Azure Firewall, Palo Alto lub Barracuda. Dzięki temu można sprawdzić ruch wychodzący w celu spełnienia zasad zabezpieczeń oraz dodać jeden publiczny adres IP typu NAT lub CIDR dla wszystkich klastrów do listy dozwolonych.

Dostosuj następujące kroki zgodnie z potrzebami dla zapory lub urządzenia DLP:

  1. Skonfiguruj urządzenie wirtualne lub zaporę w ramach tranzytowej sieci wirtualnej, korzystając z instrukcji w temacie Tworzenie urządzenia WUS.

    Jeśli potrzebujesz jednej konfiguracji zapory dla wielu obszarów roboczych, możesz utworzyć zaporę w bezpiecznej lub podsieci DMZ w sieci wirtualnej usługi Azure Databricks, która jest oddzielona od istniejących podsieci prywatnych i publicznych.

  2. Utwórz dodatkową trasę w niestandardowej tabeli tras do 0.0.0.0/0.

  3. Jeśli używasz podejścia bezpiecznego lub podsieci DMZ, możesz utworzyć dodatkową tabelę tras skojarzona wyłącznie z podsiecią DMZ. W tej tabeli tras utwórz trasę do 0.0.0.0.

    Ustaw typ następnego przeskoku trasy na Internet, jeśli ruch jest przeznaczony dla sieci publicznej lub do bramy sieci wirtualnej, jeśli ruch jest przeznaczony dla sieci lokalnej.

  4. Skonfiguruj reguły zezwalania i odmowy na urządzeniu zapory.

    W przypadku usunięcia tras dla usługi Blob Storage dodaj te trasy do listy dozwolonych w zaporze.

    Jeśli klastry zależą od repozytoriów publicznych, takich jak repozytoria systemu operacyjnego lub rejestry kontenerów, dodaj je do listy dozwolonych.

    Aby uzyskać informacje o listach dozwolonych, zobacz Ustawienia tras zdefiniowane przez użytkownika dla usługi Azure Databricks.

Opcja: Konfigurowanie niestandardowego systemu DNS

Możesz użyć niestandardowego systemu DNS z obszarami roboczymi usługi Azure Databricks wdrożonym we własnej sieci wirtualnej. Aby uzyskać więcej informacji na temat konfigurowania niestandardowego systemu DNS dla sieci wirtualnej platformy Azure, zobacz następujące artykuły firmy Microsoft:

.. ważne: Aby rozwiązać problemy z adresami IP artefaktów platformy Azure, należy skonfigurować niestandardowy system DNS, aby przekazywać te żądania do modułu rozpoznawania cyklicznego platformy Azure.