Nasazení clusteru Azure Data Exploreru do virtuální sítě

Tento článek vysvětluje prostředky, které jsou k dispozici při nasazení clusteru Azure Data Exploreru do vlastní služby Azure Virtual Network. Tyto informace vám pomůžou nasadit cluster do podsítě ve vaší virtuální síti. Další informace o virtuálních sítích Azure najdete v tématu Co je Azure Virtual Network?

Azure Data Explorer podporuje nasazení clusteru do podsítě ve vaší virtuální síti. Tato funkce umožňuje:

• Vynucujte pravidla skupiny zabezpečení sítě (NSG) pro provoz clusteru Azure Data Exploreru.
• Připojení místní sítě k podsíti clusteru Azure Data Exploreru
• Zabezpečte zdroje datových připojení (Event Hubs a Event Grid) pomocí koncových bodů služby.

Přístup ke clusteru Azure Data Exploreru ve virtuální síti

Ke clusteru Azure Data Exploreru můžete přistupovat pomocí následujících IP adres pro každou službu (modul a služby pro správu dat):

• Privátní IP adresa: Používá se pro přístup ke clusteru uvnitř virtuální sítě.
• Veřejná IP adresa: Používá se pro přístup ke clusteru mimo virtuální síť pro správu a monitorování a jako zdrojovou adresu pro odchozí připojení spuštěná z clusteru.

Pro přístup ke službě se vytvoří následující záznamy DNS:

• [clustername].[geo-region].kusto.windows.net (motor) ingest-[clustername].[geo-region].kusto.windows.net (správa dat) se mapují na veřejnou IP adresu pro každou službu.

• private-[clustername].[geo-region].kusto.windows.net (motor) ingest-private-[clustername].[geo-region].kusto.windows.net\private-ingest-[clustername].[geo-region].kusto.windows.net (správa dat) se mapují na privátní IP adresu pro každou službu.

Plánování velikosti podsítě ve virtuální síti

Velikost podsítě použité k hostování clusteru Azure Data Exploreru se po nasazení podsítě nedá změnit. Azure Data Explorer ve vaší virtuální síti používá pro každý virtuální počítač jednu privátní IP adresu a dvě privátní IP adresy pro interní nástroje pro vyrovnávání zatížení (modul a správu dat). Sítě Azure také používají pět IP adres pro každou podsíť. Azure Data Explorer zřídí dva virtuální počítače pro službu správy dat. Virtuální počítače služby stroje se zřizují na kapacitu škálování konfigurace uživatele.

Celkový počet IP adres:

Koncové body služby pro připojení k Azure Data Exploreru

Koncové body služby Azure umožňují zabezpečit víceklientských prostředků Azure s vaší virtuální sítí. Nasazení clusteru do podsítě umožňuje nastavit datová připojení se službou Event Hubs nebo Event Grid a zároveň omezit základní prostředky pro podsíť Azure Data Exploreru.

Privátní koncové body

Privátní koncové body umožňují privátní přístup k prostředkům Azure (například k úložišti, centru událostí nebo Data Lake Gen 2) a k efektivnímu přenesení prostředku do virtuální sítě využívají privátní IP adresu. Vytvořte privátní koncový bod pro prostředky používané datovými připojeními, jako jsou centrum událostí a úložiště, a externí tabulky, jako je Storage, Data Lake Gen2 a SQL Database z vaší virtuální sítě pro privátní přístup k podkladovým prostředkům.

Konfigurace pravidel skupiny zabezpečení sítě

Skupiny zabezpečení sítě umožňují řídit síťový přístup v rámci virtuální sítě. Skupiny zabezpečení sítě musíte nakonfigurovat pro cluster Azure Data Exploreru tak, aby fungovaly ve vaší virtuální síti.

Konfigurace pravidel skupiny zabezpečení sítě pomocí delegování podsítě

Delegování podsítě je výchozí metoda konfigurace pravidel skupiny zabezpečení sítě pro clustery Azure Data Exploreru nasazené do podsítě ve vaší virtuální síti. Při použití delegování podsítě musíte před vytvořením clusteru v podsíti delegovat podsíť na microsoft.Kusto/clustery .

Povolením delegování podsítě v podsíti clusteru povolíte službě definovat její předběžné podmínky pro nasazení ve formě zásad záměru sítě. Při vytváření clusteru v podsíti se automaticky vytvoří konfigurace NSG uvedené v následujících částech.

Ruční konfigurace pravidel skupiny zabezpečení sítě

Alternativně můžete skupinu zabezpečení sítě nakonfigurovat ručně. Nasazení clusteru do virtuální sítě ve výchozím nastavení vynucuje delegování podsítě pro konfiguraci microsoft.Kusto/clusters. Výslovný nesouhlas s tímto požadavkem je možný pomocí podokna funkcí ve verzi Preview.

Konfigurace příchozí skupiny zabezpečení sítě

Konfigurace odchozí skupiny zabezpečení sítě

Následující části obsahují seznam relevantních IP adres pro správu a monitorování stavu.

IP adresy pro správu Azure Data Exploreru

Adresy monitorování stavu

Nastavení ExpressRoute

Pomocí ExpressRoute se připojte k virtuální síti Azure v místní síti. Běžným nastavením je inzerovat výchozí trasu (0.0.0.0/0) prostřednictvím relace protokolu BGP (Border Gateway Protocol). To vynutí přesměrování provozu z virtuální sítě do místní sítě zákazníka, která může přerušit provoz, což způsobí přerušení odchozích toků. Pro vyřešení tohoto výchozího nastavení je možné nakonfigurovat trasu definovanou uživatelem (UDR) (0.0.0.0/0) a další segment směrování bude internet. Vzhledem k tomu, že trasy definované uživatelem mají přednost před protokolem BGP, provoz bude směrován na internet.

Zabezpečení odchozího provozu pomocí brány firewall

Pokud chcete zabezpečit odchozí provoz pomocí služby Azure Firewall nebo libovolného virtuálního zařízení pro omezení názvů domén, musí být v bráně firewall povoleny následující plně kvalifikované názvy domén (FQDN).

prod.warmpath.msftcloudes.com:443
gcs.prod.monitoring.core.windows.net:443
production.diagnostics.monitoring.core.windows.net:443
graph.windows.net:443
graph.microsoft.com:443
*.login.microsoft.com :443
*.update.microsoft.com:443
login.live.com:443
wdcp.microsoft.com:443
login.microsoftonline.com:443
azureprofilerfrontdoor.cloudapp.net:443
*.core.windows.net:443
*.servicebus.windows.net:443,5671
shoebox2.metrics.nsatc.net:443
prod-dsts.dsts.core.windows.net:443
*.vault.azure.net
ocsp.msocsp.com:80
*.windowsupdate.com:80
ocsp.digicert.com:80
go.microsoft.com:80
dmd.metaservices.microsoft.com:80
www.msftconnecttest.com:80
crl.microsoft.com:80
www.microsoft.com:80
adl.windows.com:80
crl3.digicert.com:80

Konfigurace směrovací tabulky

Směrovací tabulku podsítě clusteru musíte nakonfigurovat s internetem dalšího segmentu směrování, abyste zabránili problémům s asymetrickými trasami.

Konfigurace směrovací tabulky pomocí delegování podsítě

Doporučujeme použít delegování podsítě ke konfiguraci směrovací tabulky pro nasazení clusteru podobně jako u pravidel NSG. Povolením delegování podsítě v podsíti clusteru povolíte službě konfigurovat a aktualizovat směrovací tabulku za vás.

Ruční konfigurace směrovací tabulky

Případně můžete směrovací tabulku nakonfigurovat ručně. Nasazení clusteru do virtuální sítě ve výchozím nastavení vynucuje delegování podsítě pro konfiguraci microsoft.Kusto/clusters. Výslovný nesouhlas s tímto požadavkem je možný pomocí podokna funkcí ve verzi Preview.

Pokud chcete ručně nakonfigurovat směrovací tabulku , musíte ji definovat v podsíti. Je potřeba přidat adresy pro monitorování stavu a správy s internetem dalšího segmentu směrování.

Například pro oblast USA – západ musí být definovány následující trasy definované uživatelem:

Automatické zjišťování závislostí

Azure Data Explorer poskytuje rozhraní API, které zákazníkům umožňuje programově zjišťovat všechny externí odchozí závislosti (FQDN). Tyto odchozí závislosti umožní zákazníkům nastavit bránu firewall na jejich konci tak, aby umožňovala správu provozu prostřednictvím závislých plně kvalifikovaných názvů domén. Zákazníci můžou mít tato zařízení brány firewall buď v Azure, nebo v místním prostředí. Druhá možnost může způsobit další latenci a může mít vliv na výkon služby. Týmy služeb budou muset tento scénář otestovat, aby vyhodnotily dopad na výkon služby.

ARMClient slouží k předvedení rozhraní REST API pomocí PowerShellu.

1. Přihlášení pomocí ARMClient

   armclient login
   

2. Vyvolání operace diagnostiky

   $subscriptionId = '<subscription id>'
   $clusterName = '<name of cluster>'
   $resourceGroupName = '<resource group name>'
   $apiversion = '2021-01-01'
   
   armclient get /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName/providers/Microsoft.Kusto/clusters/$clusterName/OutboundNetworkDependenciesEndpoints?api-version=$apiversion
   

3. Kontrola odpovědi

   {
      "value":
      [
       ...
         {
           "id": "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroup>/providers/Microsoft.Kusto/Clusters/<clusterName>/OutboundNetworkDependenciesEndpoints/AzureActiveDirectory",
           "name": "<clusterName>/AzureActiveDirectory",
           "type": "Microsoft.Kusto/Clusters/OutboundNetworkDependenciesEndpoints",
           "etag": "\"\"",
           "location": "<AzureRegion>",
           "properties": {
             "category": "Azure Active Directory",
             "endpoints": [
               {
                 "domainName": "login.microsoftonline.com",
                 "endpointDetails": [
                   {
                     "port": 443
                   }
                 ]
               },
               {
                 "domainName": "graph.windows.net",
                 "endpointDetails": [
                   {
                     "port": 443
                   }
                 ]
               }
             ],
             "provisioningState": "Succeeded"
           }
         },
         {
           "id": "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroup>/providers/Microsoft.Kusto/Clusters/<clusterName>/OutboundNetworkDependenciesEndpoints/InternalTracing",
           "name": "<clustername>/InternalTracing",
           "type": "Microsoft.Kusto/Clusters/OutboundNetworkDependenciesEndpoints",
           "location": "Australia Central",
           "properties": {
             "category": "Internal Tracing",
             "endpoints": [
               {
                 "domainName": "ingest-<internalTracingCluster>.<region>.kusto.windows.net",
                 "endpointDetails": [
                   {
                     "port": 443,
                     "ipAddress": "25.24.23.22"
                   }
                 ]
               }
             ],
             "provisioningState": "Succeeded"
           }
       }
       ...
      ]
   }
   

Odchozí závislosti pokrývají kategorie, jako je Microsoft Entra ID, Azure Monitor, Certifikační autorita, Azure Storage a Interní trasování. V každé kategorii je seznam názvů domén a portů potřebných ke spuštění služby. Dají se použít k programové konfiguraci zařízení brány firewall podle vlastního výběru.

Nasazení clusteru Azure Data Exploreru do virtuální sítě pomocí šablony Azure Resource Manageru

Pokud chcete do virtuální sítě nasadit cluster Azure Data Exploreru, použijte do šablony Azure Resource Manageru nasazení clusteru Azure Data Explorer.

Tato šablona vytvoří cluster, virtuální síť, podsíť, skupinu zabezpečení sítě a veřejné IP adresy.

Známá omezení

• Prostředky virtuální sítě s nasazenými clustery nepodporují přesun do nové skupiny prostředků nebo operace předplatného .
• Prostředky veřejné IP adresy používané pro modul clusteru nebo službu pro správu dat nepodporují přesun do nové skupiny prostředků nebo operace předplatného.
• V rámci dotazu není možné použít předponu PRIVÁTNÍHO DNS virtuální sítě vložené do clusterů Azure Data Exploreru.