Configurare la connettività privata dal calcolo serverless

  • Articolo

Questo articolo descrive come configurare la connettività privata dal calcolo serverless usando l'interfaccia utente della console dell'account di Azure Databricks. È anche possibile usare l'API Configurazioni connessione di rete.

Se si configura la risorsa di Azure per accettare solo connessioni da endpoint privati, è necessario usare anche qualsiasi connessione alla risorsa dalle risorse di calcolo di Databricks classiche.

Per configurare un firewall Archiviazione di Azure per l'accesso di calcolo serverless tramite subnet, vedere Configurare un firewall per l'accesso senza server. Per gestire le regole degli endpoint privati esistenti, vedere Gestire le regole dell'endpoint privato.

Importante

A partire dal 4 dicembre 2024, Databricks inizierà a pagare i costi di rete nei carichi di lavoro serverless che si connettono a risorse esterne. La fatturazione verrà implementata gradualmente e potrebbe non essere addebitato fino al 4 dicembre 2024. Non verrà addebitato retroattivamente l'utilizzo prima dell'abilitazione della fatturazione. Dopo l'abilitazione della fatturazione, è possibile che vengano addebitati i costi seguenti:

  • Connettività privata alle risorse tramite collegamento privato. I costi per l'elaborazione dei dati per la connettività privata alle risorse in collegamento privato vengono annullati per un periodo illimitato. Verranno applicati addebiti per ora.
  • Connettività pubblica alle risorse tramite il gateway NAT.
  • Addebiti per il trasferimento dei dati, ad esempio quando il calcolo serverless e la risorsa di destinazione si trovano in aree diverse.

Panoramica della connettività privata per il calcolo serverless

La connettività di rete serverless viene gestita con configurazioni di connessione di rete. Gli amministratori account creano controller di rete nella console dell'account e un NCC può essere collegato a una o più aree di lavoro

Quando si aggiunge un endpoint privato in un NCC, Azure Databricks crea una richiesta di endpoint privato alla risorsa di Azure. Dopo aver accettato la richiesta sul lato risorsa, l'endpoint privato viene usato per accedere alle risorse dal piano di calcolo serverless. L'endpoint privato è dedicato all'account Azure Databricks ed è accessibile solo dalle aree di lavoro autorizzate.

Gli endpoint privati NCC sono supportati dai data warehouse SQL serverless e dagli endpoint di gestione dei modelli.

Nota

Gli endpoint privati NCC sono supportati solo per le origini dati gestite. Per la connessione all'account di archiviazione dell'area di lavoro, contattare il team dell'account Azure Databricks.

Nota

La gestione del modello usa il percorso di archiviazione BLOB di Azure per scaricare gli artefatti del modello, quindi creare un endpoint privato per il BLOB dell'ID risorsa secondaria. È necessario DBFS per registrare i modelli in Unity Catalog da notebook serverless.

Per altre informazioni sui controller di rete, vedere Che cos'è una configurazione della connessione di rete(NCC)?.

Requisiti

  • L'area di lavoro deve essere nel piano Premium.
  • È necessario essere un amministratore dell'account in Azure Databricks.
  • Ogni account Azure Databricks può avere fino a 10 controller di rete per area.
  • Ogni area può avere 100 endpoint privati, distribuiti in base alle esigenze tra 1 e 10 controller di rete.
  • Ogni NCC può essere collegato a un massimo di 50 aree di lavoro.

Passaggio 1: Creare una configurazione di connettività di rete

Databricks consiglia di condividere un NCC tra aree di lavoro all'interno della stessa business unit e di quelle che condividono le stesse proprietà di connettività dell'area. Ad esempio, se alcune aree di lavoro usano collegamento privato e altre aree di lavoro usano l'abilitazione del firewall, usare controller di rete separati per tali casi d'uso.

  1. In qualità di amministratore dell'account, passare alla console dell'account.
  2. Nella barra laterale, fare clic su Risorse cloud.
  3. Fare clic su Configurazioni di connettività di rete.
  4. Fare clic su Aggiungi configurazione connettività di rete.
  5. Digitare un nome per il NCC.
  6. Seleziona l'area. Deve corrispondere all'area dell'area di lavoro.
  7. Fare clic su Aggiungi.

Passaggio 2: Collegare un NCC a un'area di lavoro

  1. Nella barra laterale della console dell'account fare clic su Aree di lavoro.
  2. Fare clic sul nome dell'area di lavoro.
  3. Fare clic su Aggiornare l’area di lavoro.
  4. Nel campo Configurazione connessione di rete, selezionare il NCC. Se non è visibile, verificare di aver selezionato la stessa area di Azure sia per l'area di lavoro che per il NCC.
  5. Fai clic su Aggiorna.
  6. Attendere 10 minuti affinché le modifiche abbiano effetto.
  7. Riavviare tutti i warehouse SQL serverless in esecuzione nell'area di lavoro.

Passaggio 3: Creare regole di endpoint privato

È necessario creare una regola dell'endpoint privato nel NCC per ogni risorsa di Azure.

  1. Ottenere un elenco di ID risorsa di Azure per tutte le destinazioni.

    1. In un'altra scheda del browser, nella portale di Azure passare all'account Archiviazione di Azure dell'origine dati.
    2. Nella pagina Panoramica esaminare la sezione Informazioni di base.
    3. Fare clic sul collegamento Visualizzazione JSON. L'ID risorsa per l'account di archiviazione viene visualizzato nella parte superiore della pagina.
    4. Copiare l'ID risorsa in un'altra posizione. Ripetere per tutte le destinazioni.

  2. Tornare alla scheda del browser della console dell'account.

  3. Nella barra laterale, fare clic su Risorse cloud.

  4. Fare clic su Configurazioni di connettività di rete.

  5. Selezionare il NCC creato nel passaggio 1.

  6. In Regole endpoint privato fare clic su Aggiungi regola endpoint privato.

  7. Nel campo ID risorsa di Azure di destinazione incollare l'ID risorsa per la risorsa.

  8. Nel campo ID sottorisorsa di Azure impostarlo sul valore della sottorisorsa in base alla tabella seguente. Ogni regola dell'endpoint privato deve usare un ID di sottorisorsa diverso.

    Tipo di destinazione ID sottorisorsa di Azure
    Archiviazione BLOB blob
    Archiviazione ADLS dfs
    SQL di Azure (per usare SQL di Azure come destinazione, è necessario creare la regola dell'endpoint privato usando l'API di connettività di rete) sqlServer

  9. Fare clic su Aggiungi.

  10. Attendere alcuni minuti finché tutte le regole dell'endpoint hanno lo stato PENDING.

Passaggio 4: Approvare i nuovi endpoint privati sulle risorse

Gli endpoint non diventano effettivi finché un amministratore con diritti per la risorsa non approva il nuovo endpoint privato. Per approvare un endpoint privato usando il portale di Azure, eseguire le operazioni seguenti:

  1. Nella portale di Azure passare alla risorsa.

  2. Nella barra laterale fare clic su Rete.

  3. Cliccare su Connessioni endpoint privato.

  4. Fare clic sulla scheda Accesso privato.

  5. In Connessioni endpoint privati esaminare l'elenco di endpoint privati.

  6. Fare clic sulla casella di controllo accanto a ognuna da approvare e fare clic sul pulsante Approva sopra l'elenco.

  7. Tornare al NCC in Azure Databricks e aggiornare la pagina del browser finché tutte le regole dell'endpoint non hanno lo stato ESTABLISHED.

    Elenco di endpoint privati

(Facoltativo) Passaggio 5: Impostare l'account di archiviazione per impedire l'accesso alla rete pubblica

Se non è già stato limitato l'accesso all'account di archiviazione di Azure solo per le reti consentite, è possibile scegliere di eseguire questa operazione.

  1. Vai al portale di Azure.
  2. Passare all’account di archiviazione per l’origine dei dati.
  3. Nella barra laterale fare clic su Rete.
  4. Controllare il valore nel campo Accesso alla rete pubblica. Per impostazione predefinita, il valore è Abilitato da tutte le reti. Impostare questa opzione su Disabilitato

Passaggio 6: Riavviare i warehouse SQL serverless e testare la connessione

  1. Dopo il passaggio precedente, attendere cinque minuti aggiuntivi per la propagazione delle modifiche.
  2. Riavviare tutti i warehouse SQL serverless in esecuzione nelle aree di lavoro a cui è collegato il NCC. Se non sono in esecuzione sql warehouse serverless, avviarne uno ora.
  3. Verificare che tutti i warehouse DI SQL siano stati avviati correttamente.
  4. Eseguire almeno una query sull'origine dati per verificare che sql warehouse serverless possa raggiungere l'origine dati.