Distribuire il cluster Esplora dati di Azure nel Rete virtuale

Questo articolo illustra le risorse presenti quando si distribuisce un cluster di Azure Esplora dati in un'Rete virtuale di Azure personalizzata. Queste informazioni consentono di distribuire un cluster in una subnet nella Rete virtuale rete virtuale (VNet). Per altre informazioni sulle Rete virtuale di Azure, vedere Che cos'è Azure Rete virtuale?

Azure Esplora dati supporta la distribuzione di un cluster in una subnet nella Rete virtuale (VNet). Questa funzionalità consente di:

• Applicare le regole del gruppo di sicurezza di rete (NSG) nel traffico del cluster di Azure Esplora dati.
• Connettere la rete locale alla subnet dei cluster di Esplora dati di Azure.
• Proteggere le origini di connessione dati (Hub eventi e Griglia di eventi) con gli endpoint di servizio.

Accedere al cluster Esplora dati di Azure nella rete virtuale

È possibile accedere al cluster Esplora dati di Azure usando gli indirizzi IP seguenti per ogni servizio (motore e servizi di gestione dei dati):

• IP privato: usato per accedere al cluster all'interno della rete virtuale.
• IP pubblico: usato per accedere al cluster dall'esterno della rete virtuale per la gestione e il monitoraggio e come indirizzo di origine per le connessioni in uscita avviate dal cluster.

Per accedere al servizio vengono creati i record DNS seguenti:

• [clustername].[geo-region].kusto.windows.net (motore) ingest-[clustername].[geo-region].kusto.windows.net (gestione dei dati) viene eseguito il mapping all'indirizzo IP pubblico per ogni servizio.

• private-[clustername].[geo-region].kusto.windows.net (motore) ingest-private-[clustername].[geo-region].kusto.windows.net\private-ingest-[clustername].[geo-region].kusto.windows.net (gestione dei dati) viene eseguito il mapping all'INDIRIZZO IP privato per ogni servizio.

Pianificare le dimensioni della subnet nella rete virtuale

Le dimensioni della subnet usata per ospitare un cluster di azure Esplora dati non possono essere modificate dopo la distribuzione della subnet. Nella rete virtuale, Azure Esplora dati usa un indirizzo IP privato per ogni macchina virtuale e due indirizzi IP privati per i servizi di bilanciamento del carico interno (motore e gestione dei dati). La rete di Azure usa anche cinque indirizzi IP per ogni subnet. Azure Esplora dati effettua il provisioning di due macchine virtuali per il servizio di gestione dei dati. Viene effettuato il provisioning delle macchine virtuali del servizio motore per ogni capacità di scalabilità della configurazione utente.

Numero totale di indirizzi IP:

Endpoint di servizio per la connessione ad Azure Esplora dati

Gli endpoint di servizio di Azure consentono di proteggere le risorse multi-tenant di Azure nella rete virtuale. La distribuzione del cluster nella subnet consente di configurare le connessioni dati con Hub eventi o Griglia di eventi, limitando al tempo stesso le risorse sottostanti per la subnet di Azure Esplora dati.

Endpoint privati

Gli endpoint privati consentono l'accesso privato alle risorse di Azure (ad esempio archiviazione/hub eventi/Data Lake Gen 2) e usano l'indirizzo IP privato del Rete virtuale, portando in modo efficace la risorsa nella rete virtuale. Creare un endpoint privato per le risorse usate dalle connessioni dati, ad esempio l'hub eventi e l'archiviazione, e tabelle esterne, ad esempio Archiviazione, Data Lake Gen 2 e database SQL dalla rete virtuale per accedere privatamente alle risorse sottostanti.

Configurare le regole del gruppo di sicurezza di rete

I gruppi di sicurezza di rete consentono di controllare l'accesso alla rete all'interno di una rete virtuale. È necessario configurare i gruppi di sicurezza di rete per il funzionamento del cluster Esplora dati di Azure nella rete virtuale.

Configurare le regole del gruppo di sicurezza di rete usando la delega della subnet

La delega della subnet è il metodo predefinito per configurare le regole del gruppo di sicurezza di rete per i cluster di Azure Esplora dati distribuiti in una subnet nella rete virtuale. Quando si usa la delega della subnet, è necessario delegare la subnet a Microsoft.Kusto/clusters prima di creare il cluster nella subnet.

Abilitando la delega della subnet nella subnet del cluster, si abilita il servizio per definire le relative condizioni preliminari per la distribuzione sotto forma di criteri di finalità di rete. Quando si crea il cluster nella subnet, le configurazioni del gruppo di sicurezza di rete indicate nelle sezioni seguenti vengono create automaticamente.

Configurare manualmente le regole del gruppo di sicurezza di rete

In alternativa, è possibile configurare manualmente il gruppo di sicurezza di rete. Per impostazione predefinita, la distribuzione di un cluster in una rete virtuale impone la delega della subnet per la configurazione di "Microsoft.Kusto/clusters". Rifiutare esplicitamente questo requisito è possibile usando il riquadro Funzionalità di anteprima.

Configurazione del gruppo di sicurezza di rete in ingresso

Configurazione del gruppo di sicurezza di rete in uscita

Le sezioni seguenti elencano gli indirizzi IP pertinenti per la gestione e il monitoraggio dell'integrità.

Indirizzi IP di gestione di Azure Esplora dati

Indirizzi di monitoraggio dell'integrità

Configurazione di ExpressRoute

Usare ExpressRoute per connettersi alla rete locale all'Rete virtuale di Azure. Una configurazione comune consiste nell'annunciare la route predefinita (0.0.0.0/0) tramite la sessione BGP (Border Gateway Protocol). In questo modo il traffico proveniente dal Rete virtuale deve essere inoltrato alla rete locale del cliente che potrebbe eliminare il traffico, causando l'interruzione dei flussi in uscita. Per superare questo valore predefinito, è possibile configurare la route definita dall'utente (UDR) (0.0.0.0/0) e l'hop successivo sarà Internet. Poiché la route definita dall'utente ha la precedenza su BGP, il traffico sarà destinato a Internet.

Protezione del traffico in uscita con un firewall

Se si vuole proteggere il traffico in uscita usando Firewall di Azure o qualsiasi appliance virtuale per limitare i nomi di dominio, nel firewall devono essere consentiti i nomi di dominio completi (FQDN) seguenti.

prod.warmpath.msftcloudes.com:443
gcs.prod.monitoring.core.windows.net:443
production.diagnostics.monitoring.core.windows.net:443
graph.windows.net:443
graph.microsoft.com:443
*.login.microsoft.com :443
*.update.microsoft.com:443
login.live.com:443
wdcp.microsoft.com:443
login.microsoftonline.com:443
azureprofilerfrontdoor.cloudapp.net:443
*.core.windows.net:443
*.servicebus.windows.net:443,5671
shoebox2.metrics.nsatc.net:443
prod-dsts.dsts.core.windows.net:443
*.vault.azure.net
ocsp.msocsp.com:80
*.windowsupdate.com:80
ocsp.digicert.com:80
go.microsoft.com:80
dmd.metaservices.microsoft.com:80
www.msftconnecttest.com:80
crl.microsoft.com:80
www.microsoft.com:80
adl.windows.com:80
crl3.digicert.com:80

Configurare la tabella di route

È necessario configurare la tabella di route della subnet del cluster con hop successivo Internet per evitare problemi di route asimmetriche.

Configurare la tabella di route usando la delega della subnet

È consigliabile usare la delega subnet per configurare la tabella di route per la distribuzione del cluster, in modo analogo a come è stata eseguita per le regole del gruppo di sicurezza di rete. Abilitando la delega della subnet nella subnet del cluster, si abilita il servizio per configurare e aggiornare automaticamente la tabella di route.

Configurare manualmente la tabella di route

In alternativa, è possibile configurare manualmente la tabella di route. Per impostazione predefinita, la distribuzione di un cluster in una rete virtuale impone la delega della subnet per la configurazione di "Microsoft.Kusto/clusters". Rifiutare esplicitamente questo requisito è possibile usando il riquadro Funzionalità di anteprima.

Per configurare manualmente la tabella di route, è necessario definirla nella subnet. È necessario aggiungere gli indirizzi di gestione e monitoraggio dell'integrità con l'hop successivo Internet.

Ad esempio, per l'area Stati Uniti occidentali, è necessario definire le route definite dall'utente seguenti:

Come individuare automaticamente le dipendenze

Azure Esplora dati fornisce un'API che consente ai clienti di individuare tutte le dipendenze esterne in uscita (FQDN) a livello di codice. Queste dipendenze in uscita consentiranno ai clienti di configurare un firewall alla fine per consentire il traffico di gestione attraverso i nomi di dominio completi dipendenti. I clienti possono avere queste appliance firewall in Azure o in locale. Quest'ultimo potrebbe causare una latenza aggiuntiva e potrebbe influire sulle prestazioni del servizio. I team di servizio dovranno testare questo scenario per valutare l'impatto sulle prestazioni del servizio.

ARMClient viene usato per illustrare l'API REST con PowerShell.

1. Accedere con ARMClient

   armclient login
   

2. Richiamare l'operazione di diagnosi

   $subscriptionId = '<subscription id>'
   $clusterName = '<name of cluster>'
   $resourceGroupName = '<resource group name>'
   $apiversion = '2021-01-01'
   
   armclient get /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName/providers/Microsoft.Kusto/clusters/$clusterName/OutboundNetworkDependenciesEndpoints?api-version=$apiversion
   

3. Controllare la risposta

   {
      "value":
      [
       ...
         {
           "id": "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroup>/providers/Microsoft.Kusto/Clusters/<clusterName>/OutboundNetworkDependenciesEndpoints/AzureActiveDirectory",
           "name": "<clusterName>/AzureActiveDirectory",
           "type": "Microsoft.Kusto/Clusters/OutboundNetworkDependenciesEndpoints",
           "etag": "\"\"",
           "location": "<AzureRegion>",
           "properties": {
             "category": "Azure Active Directory",
             "endpoints": [
               {
                 "domainName": "login.microsoftonline.com",
                 "endpointDetails": [
                   {
                     "port": 443
                   }
                 ]
               },
               {
                 "domainName": "graph.windows.net",
                 "endpointDetails": [
                   {
                     "port": 443
                   }
                 ]
               }
             ],
             "provisioningState": "Succeeded"
           }
         },
         {
           "id": "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroup>/providers/Microsoft.Kusto/Clusters/<clusterName>/OutboundNetworkDependenciesEndpoints/InternalTracing",
           "name": "<clustername>/InternalTracing",
           "type": "Microsoft.Kusto/Clusters/OutboundNetworkDependenciesEndpoints",
           "location": "Australia Central",
           "properties": {
             "category": "Internal Tracing",
             "endpoints": [
               {
                 "domainName": "ingest-<internalTracingCluster>.<region>.kusto.windows.net",
                 "endpointDetails": [
                   {
                     "port": 443,
                     "ipAddress": "25.24.23.22"
                   }
                 ]
               }
             ],
             "provisioningState": "Succeeded"
           }
       }
       ...
      ]
   }
   

Le dipendenze in uscita coprono categorie come Microsoft Entra ID, Monitoraggio di Azure, Autorità di certificazione, Archiviazione di Azure e Traccia interna. In ogni categoria è disponibile un elenco di nomi di dominio e porte necessari per eseguire il servizio. Possono essere usati per configurare a livello di codice l'appliance del firewall preferita.

Distribuire un cluster di Azure Esplora dati nella rete virtuale usando un modello di Azure Resource Manager

Per distribuire il cluster Esplora dati di Azure nella rete virtuale, usare il modello Deploy Azure Esplora dati cluster into your virtual network Azure Resource Manager (Distribuire il cluster di Azure Esplora dati nella rete virtuale di Azure Resource Manager).

Questo modello crea il cluster, la rete virtuale, la subnet, il gruppo di sicurezza di rete e gli indirizzi IP pubblici.

Limitazioni note

• Le risorse di rete virtuale con cluster distribuiti non supportano lo spostamento in un nuovo gruppo di risorse o in un'operazione di sottoscrizione .
• Le risorse dell'indirizzo IP pubblico usate per il motore del cluster o il servizio di gestione dei dati non supportano lo spostamento in un nuovo gruppo di risorse o operazione di sottoscrizione.
• Non è possibile usare il prefisso DNS "privato" della rete virtuale inserita in Azure Esplora dati cluster come parte della query