Tworzenie prywatnego klastra usługi Azure Kubernetes Service (AKS)

Ten artykuł ułatwia wdrożenie klastra usługi AKS opartego na łączach prywatnych. Jeśli interesuje Cię tworzenie klastra usługi AKS bez wymaganego łącza prywatnego lub tunelu, zobacz Tworzenie klastra usługi Azure Kubernetes Service przy użyciu integracji z siecią wirtualną (wersja zapoznawcza) serwera API Server.

Omówienie

W klastrze prywatnym płaszczyzna sterowania lub serwer interfejsu API ma wewnętrzne adresy IP zdefiniowane w RFC1918 — alokacja adresów dla prywatnego dokumentu internetowego . Korzystając z klastra prywatnego, można zapewnić, że ruch sieciowy między serwerem interfejsu API i pulami węzłów pozostaje tylko w sieci prywatnej.

Płaszczyzna sterowania lub serwer interfejsu API znajduje się w grupie zasobów platformy Azure zarządzanej przez usługę AKS, a pula klastrów lub węzłów znajduje się w grupie zasobów. Serwer i pula klastrów lub węzłów mogą komunikować się ze sobą za pośrednictwem usługi Azure Private Link w sieci wirtualnej serwera interfejsu API i prywatnego punktu końcowego uwidocznionego w podsieci klastra usługi AKS.

Podczas aprowizowania prywatnego klastra usługi AKS usługa AKS domyślnie tworzy prywatną nazwę FQDN z prywatną strefą DNS i dodatkową publiczną nazwą FQDN z odpowiednim A rekordem w publicznym systemie DNS platformy Azure. Węzły agenta nadal używają rekordu A w prywatnej strefie DNS, aby rozpoznać prywatny adres IP prywatnego punktu końcowego na potrzeby komunikacji z serwerem interfejsu API.

Dostępność w regionach

Klastry prywatne są dostępne w regionach publicznych, usługach Azure Government i Microsoft Azure obsługiwanych przez regiony 21Vianet, w których jest obsługiwana usługa AKS.

Wymagania wstępne

• Interfejs wiersza polecenia platformy Azure w wersji 2.28.0 lub nowszej. Uruchom polecenie az --version , aby znaleźć wersję i uruchomić polecenie az upgrade , aby uaktualnić wersję. Jeśli konieczna będzie instalacja lub uaktualnienie, zobacz Instalowanie interfejsu wiersza polecenia platformy Azure.
• aks-preview Rozszerzenie 0.5.29 lub nowsze.
• Jeśli używasz usługi Azure Resource Manager (ARM) lub interfejsu API REST platformy Azure, wersja interfejsu API usługi AKS musi być 2021-05-01 lub nowsza.
• Aby użyć niestandardowego serwera DNS, dodaj publiczny adres IP platformy Azure 168.63.129.16 jako nadrzędny serwer DNS na niestandardowym serwerze DNS i pamiętaj, aby dodać ten publiczny adres IP jako pierwszy serwer DNS. Aby uzyskać więcej informacji na temat adresu IP platformy Azure, zobacz Co to jest adres IP 168.63.129.16?
  • Strefa DNS klastra powinna być przekazywana do adresu 168.63.129.16. Więcej informacji na temat nazw stref można znaleźć w temacie Konfiguracja strefy DNS usług platformy Azure.
• Istniejące klastry usługi AKS włączone z integracją z siecią wirtualną serwera API mogą mieć włączony tryb klastra prywatnego. Aby uzyskać więcej informacji, zobacz Włączanie lub wyłączanie trybu klastra prywatnego w istniejącym klastrze z integracją z siecią wirtualną serwera API Server.

Ograniczenia

• Nie można zastosować zakresów autoryzowanych adresów IP do prywatnego punktu końcowego serwera interfejsu API. Mają one zastosowanie tylko do publicznego serwera interfejsu API.
• Ograniczenia usługi Azure Private Link dotyczą klastrów prywatnych.
• Nie ma obsługi agentów hostowanych przez firmę Microsoft w usłudze Azure DevOps z klastrami prywatnymi. Rozważ użycie własnych agentów.
• Jeśli musisz włączyć usługę Azure Container Registry do pracy z prywatnym klastrem usługi AKS, skonfiguruj link prywatny dla rejestru kontenerów w sieci wirtualnej klastra lub skonfiguruj komunikację równorzędną między siecią wirtualną rejestru kontenerów a siecią wirtualną klastra prywatnego.
• Usunięcie lub zmodyfikowanie prywatnego punktu końcowego w podsieci klienta spowoduje, że klaster przestanie działać.
• Usługa Azure Private Link jest obsługiwana tylko w usłudze Azure Load Balancer w warstwie Standardowa. Usługa Azure Load Balancer w warstwie Podstawowa nie jest obsługiwana.

Tworzenie prywatnego klastra usługi AKS

Używanie domen niestandardowych

Jeśli chcesz skonfigurować domeny niestandardowe, które można rozpoznać tylko wewnętrznie, zobacz Używanie domen niestandardowych.

Wyłączanie publicznej nazwy FQDN

Wyłączanie publicznej nazwy FQDN w nowym klastrze

• Wyłącz publiczną nazwę FQDN podczas tworzenia prywatnego klastra usługi AKS przy użyciu az aks create polecenia z flagą --disable-public-fqdn .

  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone <private-dns-zone-mode> \
      --disable-public-fqdn \
      --generate-ssh-keys
  

Wyłączanie publicznej nazwy FQDN w istniejącym klastrze

• Wyłącz publiczną nazwę FQDN w istniejącym klastrze usługi AKS przy użyciu az aks update polecenia z flagą --disable-public-fqdn .

  az aks update \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --disable-public-fqdn
  

Konfigurowanie prywatnej strefy DNS

Prywatne strefy DNS można skonfigurować przy użyciu następujących parametrów:

• system: jest to wartość domyślna. --private-dns-zone Jeśli argument zostanie pominięty, usługa AKS tworzy prywatną strefę DNS w grupie zasobów węzła.
• none: wartość domyślna to publiczny system DNS. Usługa AKS nie utworzy prywatnej strefy DNS.
• CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID: Wymaga to utworzenia prywatnej strefy DNS w następującym formacie dla chmury globalnej platformy Azure: privatelink.<region>.azmk8s.io lub <subzone>.privatelink.<region>.azmk8s.io. Do użycia w przyszłości potrzebny będzie identyfikator zasobu prywatnej strefy DNS. Potrzebna jest również tożsamość przypisana przez użytkownika lub jednostka usługi z rolami współautora strefy Prywatna strefa DNS i współautora sieci. Podczas wdrażania przy użyciu integracji z siecią wirtualną serwera interfejsu API prywatna strefa DNS obsługuje format private.<region>.azmk8s.io nazewnictwa lub <subzone>.private.<region>.azmk8s.io. Nie można zmienić ani usunąć tego zasobu po utworzeniu klastra, ponieważ może to spowodować problemy z wydajnością i niepowodzenia uaktualniania klastra.
  • Jeśli prywatna strefa DNS znajduje się w innej subskrypcji niż klaster usługi AKS, musisz zarejestrować dostawcę Microsoft.ContainerServices platformy Azure w obu subskrypcjach.
  • Funkcji można używać fqdn-subdomain CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID tylko w celu zapewnienia możliwości poddomeny w usłudze privatelink.<region>.azmk8s.io.
  • Jeśli klaster usługi AKS jest skonfigurowany przy użyciu jednostki usługi Active Directory, usługa AKS nie obsługuje używania przypisanej przez system tożsamości zarządzanej z niestandardową prywatną strefą DNS. Klaster musi używać uwierzytelniania tożsamości zarządzanej przypisanej przez użytkownika.
  • Jeśli określasz wartość <subzone>, istnieje limit 32 znaków dla <subzone> nazwy.

properties.apiServerAccessProfile.privateDNSZone.
"apiServerAccessProfile": {
"enablePrivateCluster": true,
"privateDNSZone": "system|none|[resourceId(..., 'Microsoft.Network/privateDnsZones', 'privatelink.<region>.azmk8s.io']"
}

Tworzenie prywatnego klastra usługi AKS z prywatną strefą DNS

• Utwórz prywatny klaster usługi AKS z prywatną strefą DNS przy użyciu az aks create polecenia z następującymi flagami:

  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone [system|none] \
      --generate-ssh-keys
  

Tworzenie prywatnego klastra usługi AKS z niestandardową prywatną strefą DNS lub prywatną strefą DNS

• Utwórz prywatny klaster usługi AKS z niestandardową prywatną strefą DNS lub podzonem przy użyciu az aks create polecenia z następującymi flagami:

  # The custom private DNS zone name should be in the following format: "<subzone>.privatelink.<region>.azmk8s.io"
  
  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone <custom private dns zone or custom private dns subzone resourceID> \
      --generate-ssh-keys
  

Tworzenie prywatnego klastra usługi AKS z niestandardową prywatną strefą DNS i niestandardową poddomeną

• Utwórz prywatny klaster usługi AKS z niestandardową prywatną strefą DNS i poddomeną az aks create przy użyciu polecenia z następującymi flagami:

  # The custom private DNS zone name should be in one of the following formats: "privatelink.<region>.azmk8s.io" or "<subzone>.privatelink.<region>.azmk8s.io"
  
  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone <custom private dns zone resourceID> \
      --fqdn-subdomain <subdomain> \
      --generate-ssh-keys
  

Aktualizowanie klastra prywatnego z prywatnej strefy DNS do publicznej

Można aktualizować tylko z byo lub system do none. Nie jest obsługiwana żadna inna kombinacja wartości aktualizacji.

• Zaktualizuj klaster prywatny z byo lub system do none polecenia za pomocą az aks update następujących flag:

  az aks update \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --private-dns-zone none
  

Opcje nawiązywania połączenia z klastrem prywatnym

Punkt końcowy serwera interfejsu API nie ma publicznego adresu IP. Aby zarządzać serwerem interfejsu API, należy użyć maszyny wirtualnej, która ma dostęp do usługi Azure Virtual Network (VNet) klastra usługi AKS. Istnieje kilka opcji nawiązywania łączności sieciowej z klastrem prywatnym:

• Utwórz maszynę wirtualną w tej samej sieci wirtualnej co klaster usługi AKS przy użyciu az vm create polecenia z flagą --vnet-name .
• Użyj maszyny wirtualnej w oddzielnej sieci i skonfiguruj komunikację równorzędną sieci wirtualnych.
• Użyj połączenia usługi Express Route lub sieci VPN.
• Użyj funkcji AKScommand invoke.
• Użyj połączenia prywatnego punktu końcowego.
• Użyj wystąpienia usługi Cloud Shell wdrożonego w podsieci połączonej z serwerem interfejsu API dla klastra.

Utworzenie maszyny wirtualnej w tej samej sieci wirtualnej co klaster usługi AKS jest najprostszą opcją. Usługa Express Route i sieci VPN dodają koszty i wymagają dodatkowej złożoności sieci. Komunikacja równorzędna sieci wirtualnych wymaga zaplanowanie zakresów CIDR sieci w celu zapewnienia, że nie ma nakładających się zakresów.

Komunikacja równorzędna sieci wirtualnej

Aby korzystać z komunikacji równorzędnej sieci wirtualnych, należy skonfigurować połączenie między siecią wirtualną a prywatną strefą DNS.

Piasta i szprycha z niestandardowym systemem DNS

Architektury piasty i szprych są często używane do wdrażania sieci na platformie Azure. W wielu z tych wdrożeń ustawienia DNS w sieciach wirtualnych szprych są skonfigurowane do odwołowania się do centralnego usługi przesyłania dalej DNS w celu umożliwienia lokalnego i opartego na platformie Azure rozpoznawania nazw DNS.

Podczas wdrażania klastra usługi AKS w takim środowisku sieciowym należy wziąć pod uwagę następujące zagadnienia:

• Po aprowizacji klastra prywatnego (1) i prywatnej strefy DNS (2) są domyślnie tworzone w grupie zasobów zarządzanych przez klaster. Klaster używa rekordu A w strefie prywatnej, aby rozpoznać adres IP prywatnego punktu końcowego na potrzeby komunikacji z serwerem interfejsu API.
• Prywatna strefa DNS jest połączona tylko z siecią wirtualną, z którą węzły klastra są dołączone (3). Oznacza to, że prywatny punkt końcowy można rozpoznać tylko przez hosty w tej połączonej sieci wirtualnej. W scenariuszach, w których nie skonfigurowano niestandardowego systemu DNS w sieci wirtualnej (ustawienie domyślne), działa to bez problemu jako punkt hostów pod adresem 168.63.129.16 dla systemu DNS, który może rozpoznawać rekordy w prywatnej strefie DNS ze względu na link.
• W scenariuszach, w których sieć wirtualna zawierająca klaster ma niestandardowe ustawienia DNS (4), wdrażanie klastra kończy się niepowodzeniem, chyba że prywatna strefa DNS jest połączona z siecią wirtualną zawierającą niestandardowe narzędzia rozpoznawania nazw DNS (5). Ten link można utworzyć ręcznie po utworzeniu strefy prywatnej podczas aprowizacji klastra lub za pośrednictwem automatyzacji po wykryciu utworzenia strefy przy użyciu mechanizmów wdrażania opartych na zdarzeniach (na przykład usług Azure Event Grid i Azure Functions). Aby uniknąć awarii klastra podczas początkowego wdrażania, klaster można wdrożyć przy użyciu identyfikatora zasobu prywatnej strefy DNS. Działa to tylko z typem Microsoft.ContainerService/managedCluster zasobu i wersją 2022-07-01interfejsu API . Używanie starszej wersji z szablonem usługi ARM lub definicją zasobu Bicep nie jest obsługiwane.

Używanie połączenia prywatnego punktu końcowego

Prywatny punkt końcowy można skonfigurować tak, aby sieć wirtualna nie musiała być równorzędna do komunikacji równorzędnej z klastrem prywatnym. Utwórz nowy prywatny punkt końcowy w sieci wirtualnej zawierającej zasoby zużywające zasoby, a następnie utwórz łącze między siecią wirtualną a nową prywatną strefą DNS w tej samej sieci.

Tworzenie zasobu prywatnego punktu końcowego

Utwórz zasób prywatnego punktu końcowego w sieci wirtualnej:

1. Na stronie głównej witryny Azure Portal wybierz pozycję Utwórz zasób.
2. Wyszukaj pozycję Prywatny punkt końcowy i wybierz pozycję Utwórz>prywatny punkt końcowy.
3. Wybierz pozycję Utwórz.
4. Na karcie Podstawowe skonfiguruj następujące ustawienia:
   • Szczegóły projektu
     • Subskrypcja: wybierz subskrypcję, w której znajduje się klaster prywatny.
     • Grupa zasobów: wybierz grupę zasobów zawierającą sieć wirtualną.
   • Szczegóły wystąpienia
     • Nazwa: wprowadź nazwę prywatnego punktu końcowego, na przykład myPrivateEndpoint.
     • Region: wybierz ten sam region co sieć wirtualna.
5. Wybierz pozycję Dalej: Zasób i skonfiguruj następujące ustawienia:
   • Metoda połączenia: wybierz pozycję Połącz z zasobem platformy Azure w moim katalogu.
   • Subskrypcja: wybierz subskrypcję, w której znajduje się klaster prywatny.
   • Typ zasobu: wybierz pozycję Microsoft.ContainerService/managedClusters.
   • Zasób: wybierz klaster prywatny.
   • Docelowy zasób podrzędny: wybierz pozycję Zarządzanie.
6. Wybierz pozycję Dalej: Sieć wirtualna i skonfiguruj następujące ustawienia:
   • Sieć
     • Sieć wirtualna: wybierz sieć wirtualną.
     • Podsieć: wybierz swoją podsieć.
7. Wybierz pozycję Dalej: DNS>Dalej: Tagi i (opcjonalnie) skonfiguruj wartości kluczy zgodnie z potrzebami.
8. Wybierz pozycję Dalej: Przejrzyj i utwórz.>

Po utworzeniu zasobu zapisz prywatny adres IP prywatnego punktu końcowego do użycia w przyszłości.

Tworzenie prywatnej strefy DNS

Po utworzeniu prywatnego punktu końcowego utwórz nową prywatną strefę DNS o takiej samej nazwie jak prywatna strefa DNS utworzona przez klaster prywatny. Pamiętaj, aby utworzyć tę strefę DNS w sieci wirtualnej zawierającej zasoby zużywające.

1. W witrynie Azure Portal przejdź do grupy zasobów węzła i wybierz zasób prywatnej strefy DNS.
2. W menu usługi w obszarze Zarządzanie systemem DNS wybierz pozycję Zestawy rekordów i zanotuj następujące elementy:
   • Nazwa prywatnej strefy DNS, która jest zgodna ze wzorcem *.privatelink.<region>.azmk8s.io.
   • Nazwa rekordu A (z wyłączeniem prywatnej nazwy DNS).
   • Czas wygaśnięcia (TTL).
3. Na stronie głównej witryny Azure Portal wybierz pozycję Utwórz zasób.
4. Wyszukaj strefę Prywatna strefa DNS i wybierz pozycję Utwórz> Prywatna strefa DNS strefę.
5. Na karcie Podstawowe skonfiguruj następujące ustawienia:
   • Szczegóły projektu:
     • Wybierz swoją subskrypcję.
     • Wybierz grupę zasobów, w której utworzono prywatny punkt końcowy.
   • Szczegóły wystąpienia
     • Nazwa: wprowadź nazwę strefy DNS pobranej z poprzednich kroków.
     • Region domyślnie określa lokalizację grupy zasobów.
6. Wybierz pozycję Przeglądanie + tworzenie>Utwórz.

Tworzenie rekordu A

Po utworzeniu prywatnej strefy DNS utwórz A rekord, który kojarzy prywatny punkt końcowy z klastrem prywatnym:

1. Przejdź do prywatnej strefy DNS utworzonej w poprzednich krokach.
2. W menu usługi w obszarze Zarządzanie systemem DNS wybierz pozycję Zestawy rekordów>Dodaj.
3. Na stronie Dodawanie zestawu rekordów skonfiguruj następujące ustawienia:
   • Nazwa: wprowadź nazwę pobraną z rekordu A w strefie DNS klastra prywatnego.
   • Typ: wybierz pozycję A — rekord adresu.
   • Czas wygaśnięcia: wprowadź liczbę z rekordu A w strefie DNS klastra prywatnego.
   • Jednostka czasu wygaśnięcia: zmień wartość listy rozwijanej, aby dopasować wartość rekordu A z strefy DNS klastra prywatnego.
   • Adres IP: wprowadź adres IP utworzonego prywatnego punktu końcowego.
4. Wybierz pozycję Dodaj , aby utworzyć A rekord.

Łączenie prywatnej strefy DNS z siecią wirtualną

Po utworzeniu rekordu A połącz prywatną strefę DNS z siecią wirtualną, która będzie uzyskiwać dostęp do klastra prywatnego:

1. Przejdź do prywatnej strefy DNS utworzonej w poprzednich krokach.
2. W menu usługi w obszarze Zarządzanie systemem DNS wybierz pozycję Dodaj łącza> sieci wirtualnej.
3. Na stronie Dodawanie linku do sieci wirtualnej skonfiguruj następujące ustawienia:
   • Nazwa łącza: wprowadź nazwę linku sieci wirtualnej.
   • Subskrypcja: wybierz subskrypcję, w której znajduje się klaster prywatny.
   • Sieć wirtualna: wybierz sieć wirtualną klastra prywatnego.
4. Wybierz pozycję Utwórz , aby utworzyć link.

Ukończenie operacji może potrwać kilka minut. Po utworzeniu linku sieci wirtualnej możesz uzyskać do niej dostęp z karty Łącza sieci wirtualnej, która została użyta w kroku 2.

Następne kroki

Aby uzyskać informacje o skojarzonych najlepszych rozwiązaniach, zobacz Najlepsze rozwiązania dotyczące łączności sieciowej i zabezpieczeń w usłudze AKS.