Kommissionieren des AKS-Clusters

Die Packet Core-Instanzen im Azure Private 5G Core-Dienst werden in einem AKS-Cluster (Azure Kubernetes Service) mit Arc-Unterstützung auf einem ASE-Gerät (Azure Stack Edge) ausgeführt. In dieser Schrittanleitung erfahren Sie, wie Sie den AKS-Cluster in ASE kommissionieren, damit er für die Bereitstellung einer Packet Core-Instanz bereit ist.

Voraussetzungen

• Ausführen der erforderlichen Aufgaben für die Bereitstellung eines privaten Mobilfunknetzes.
• Sie müssen für die Ressourcengruppe Ihrer Azure Stack Edge-Ressource über die Berechtigung „Besitzer“ verfügen.

  Hinweis

  Notieren Sie sich die Ressourcengruppe von Azure Stack Edge. Der AKS-Cluster und der benutzerdefinierte Standort, die in diesem Verfahren erstellt werden, müssen zu dieser Ressourcengruppe gehören.

• Machen Sie sich hier mit der Dimensionierung virtueller Azure Stack Edge-Computer vertraut, um sicherzustellen, dass Ihre ASE-Ressource über genügend Speicherplatz für die Kommissionierung des Clusters verfügt.

Konfigurieren von Kubernetes für Azure Private MEC auf dem Azure Stack Edge-Gerät

Diese Schritte ändern den Kubernetes-Cluster auf dem Azure Stack Edge-Gerät, um ihn für Azure Private MEC-Workloads (Multi-Access Edge Computing) zu optimieren.

1. Wählen Sie auf der lokalen Benutzeroberfläche im Menü auf der linken Seite die Option Kubernetes aus.
2. Wählen Sie unter Wählen Sie die Option aus, die Ihr Szenario am besten beschreibt. die Option eine Azure Private MEC-Lösung in Ihrer Umgebung aus.
3. Wählen Sie im Popup Workloadbestätigung die Option Ich bestätige, dass ich Azure Private MEC in meiner Umgebung ausführe. aus, und klicken Sie anschließend auf Anwenden, um das Popup zu schließen.
4. Klicken Sie auf Übernehmen, um die Änderungen zu speichern.

Sie sollten auf der lokalen Benutzeroberfläche eine aktualisierte Option sehen: Kubernetes wird zu Kubernetes (Vorschau), wie in der folgenden Abbildung zu sehen:

Wenn Sie zum Azure-Portal wechseln und zu Ihrer Ressource vom Typ Azure Stack Edge navigieren, sollte die Option Azure Kubernetes Service angezeigt werden. Die Einrichtung der Azure Kubernetes Service-Instanz wird unter Starten des Clusters und Einrichten von Arc beschrieben.

Einrichten von erweitertem Networking

Als Nächstes müssen virtuelle Switches und virtuelle Netzwerke (VNets) für diese Switches konfiguriert werden. Verwenden Sie hierzu den Abschnitt Erweitertes Networking auf der lokalen Benutzeroberfläche von Azure Stack Edge.

Sie können alle Einstellungen auf dieser Seite eingeben und anschließend am unteren Rand Anwenden auswählen, um alle auf einmal anzuwenden.

2. Erstellen Sie virtuelle Netzwerke, die die folgenden Schnittstellen darstellen (für die Sie in Zuordnen von Subnetzen und IP-Adressen Subnetze und IP-Adressen zugewiesen haben):

   • Zugriffsschnittstelle für die Steuerungsebene
   • Zugriffsschnittstelle für die Benutzerebene
   • Datenschnittstellen für die Benutzerebene

   Sie können diese Netzwerke selbst benennen. Der Name muss allerdings der Konfiguration entsprechen, die Sie im Azure-Portal beim Bereitstellen von Azure Private 5G Core festlegen. Wenn Sie VLAN-Trunking (erforderlich für Bereitstellungen mit Hochverfügbarkeit) verwenden, haben Sie ein einzelnes virtuelles N6-Netzwerk ohne IP-Informationen. VLAN- und IP-Informationen werden beim Konfigurieren des Mobilfunknetzwerks ausgeführt. Mit diesem Setup können Sie die Namen N2, N3 und N6 verwenden.

   Im Zugriffs-VLAN- oder Nicht-VLAN-Modus gibt es ein virtuelles N6-Netzwerk für jedes angefügte Datennetzwerk. Sie können die Namen N2, N3 und bis zu zehn N6-DNX verwenden. X entspricht hierbei der Datennetzwerknummer (DN-Nummer) (1–10) in einer Bereitstellung mit mehreren DNs – oder nur N6 (für eine Bereitstellung mit nur einem DN). Optional können Sie jedes virtuelle Netzwerk mit einer VLAN-ID (Virtual Local Area Network Identifier) konfigurieren, um die Trennung des Datenverkehrs der Ebene 2 zu ermöglichen. Im folgenden Beispiel wird eine 5G-Bereitstellung mit mehreren DNs ohne VLANs behandelt.

Hinzufügen von Compute und IP-Adressen

Navigieren Sie auf der lokalen Azure Stack Edge-Benutzeroberfläche zur Seite Kubernetes (Vorschau). Sie richten die gesamte Konfiguration ein und wenden sie dann genau wie unter Einrichten von erweitertem Networking einmalig an.

1. Wählen Sie unter Virtueller Compute-Switch die Option Ändern aus.
   1. Wählen Sie den virtuellen Switch mit Computeabsicht aus (z. B. vswitch-port2).
   2. Geben Sie sechs IP-Adressen in einem Bereich für die Knoten-IP-Adressen im Verwaltungsnetzwerk ein.
   3. Geben Sie eine einzelne IP-Adresse in einem Bereich für die Dienst-IP-Adresse ein (ebenfalls im Verwaltungsnetzwerk). Diese wird für den Zugriff auf lokale Überwachungstools für die Packet Core-Instanz verwendet.
   4. Wählen Sie am unteren Rand des Bereichs die Option Ändern aus, um die Konfiguration zu speichern.

   Wichtig

   Wenn Sie VLAN-Trunking (erforderlich für Bereitstellungen mit Hochverfügbarkeit) verwenden, erfolgt zu diesem Zeitpunkt keine IP-Konfiguration für die virtuellen Netzwerke. Die IP-Konfiguration wird beim Konfigurieren des Mobilfunknetzwerks ausgeführt.

2. Wählen Sie unter Virtuelles Netzwerk ein virtuelles Netzwerk aus. Im VLAN-Trunkingmodus ist dies entweder N2, N3 oder N6. Wählen Sie andernfalls N2, N3 oder N6-DNX- aus (wobei X die DN-Nummer 1 bis 10 ist). Gehen Sie im Seitenbereich wie folgt vor:
   1. Aktivieren Sie das virtuelle Netzwerk für Kubernetes, und fügen Sie einen IP-Adresspool hinzu. Wenn NICHT im VLAN-Trunkingmodus, fügen Sie auch einen IP-Adresspool hinzu:
   2. Fügen Sie bei einer Standardbereitstellung einen Bereich einer einzelnen IP-Adresse für die entsprechende Adresse hinzu (N2, N3 oder N6-DNX, wie zuvor erfasst). Beispiel: 10.10.10.20-10.10.10.20.
   3. Fügen Sie bei einer Hochverfügbarkeitsbereitstellung einen Bereich von zwei IP-Adressen für jedes virtuelle Netzwerk hinzu, wobei sich die N2- und N3-Pod-IP-Adressen im lokalen Zugriffssubnetz und die N6-Pod-IP-Adressen im entsprechenden lokalen Datensubnetz befinden.
   4. Wiederholen Sie diesen Vorgang für jedes der virtuellen Netzwerke (N2, N3 und N6-DNX).
   5. Wählen Sie am unteren Rand des Bereichs die Option Ändern aus, um die Konfiguration zu speichern.
3. Wählen Sie unten auf der Seite die Option Anwenden aus, und warten Sie, bis die Einstellungen angewendet wurden. Die Anwendung der Einstellungen dauert ungefähr fünf Minuten.

Die Seite sollte (im VLAN-Trunkingmodus) nun in etwa wie folgt aussehen:

Aktivieren der Cloudverwaltung für virtuelle Computer in der ASE

1. Navigieren Sie im Azure-Portal zur Ressource Azure Stack Edge, die Sie im Azure-Portal erstellt haben.
2. Wählen Sie Edgedienste aus.
3. Wählen Sie Virtuelle Computer aus.
4. Wählen Sie Aktivieren.

Starten des Clusters und Einrichten von Arc

Wenn in Ihrer Azure Stack Edge-Ressource noch andere virtuelle Computer (VMs) ausgeführt werden, empfiehlt es sich, diese jetzt zu beenden und sie wieder zu starten, nachdem der Cluster bereitgestellt wurde. Der Cluster benötigt Zugriff auf bestimmte CPU-Ressourcen, die ggf. bereits von ausgeführten VMs beansprucht werden.

1. Navigieren Sie im Azure-Portal zur Ressource Azure Stack Edge, die Sie im Azure-Portal erstellt haben.

2. Wählen Sie zum Bereitstellen des Clusters die Option Kubernetes und anschließend die Schaltfläche Hinzufügen aus, um den Cluster zu konfigurieren.

   

3. Wählen Sie unter Knotengröße die Option Standard_F16s_HPN aus.

4. Stellen Sie sicher, dass das Kontrollkästchen Kubernetes mit Arc-Unterstützung aktiviert ist.

5. Wählen Sie den Link Ändern aus, und geben Sie die Microsoft Entra-Anwendungsobjekt-ID (OID) für den benutzerdefinierten Standort ein, die Sie im Rahmen von Abrufen der Objekt-ID (OID) abgerufen haben.

   

6. Der Kubernetes-Dienst mit Arc-Unterstützung wird automatisch in der gleichen Ressourcengruppe erstellt, in der sich auch Ihre Ressource vom Typ Azure Stack Edge befindet. Falls sich Ihre Azure Stack Edge-Ressourcengruppe in einer Region befindet, die Azure Private 5G Core nicht unterstützt, müssen Sie die Region ändern.

7. Klicken Sie auf Konfigurieren, um die Konfiguration anzuwenden.

8. Vergewissern Sie sich, dass die Felder Region und Microsoft Entra-Anwendungsobjekt-ID (OID) die entsprechenden Werte enthalten, und klicken Sie dann auf Erstellen.

9. Durchlaufen Sie die Eingabeaufforderungen zum Einrichten des Diensts.

Die Erstellung des Kubernetes-Clusters dauert ungefähr 20 Minuten. Während der Erstellung wird möglicherweise ein kritischer Alarm für die Ressource Azure Stack Edge angezeigt. Dieser Alarm ist zu erwarten und sollte nach einigen Minuten verschwinden.

Nach der Bereitstellung sollte auf der Übersichtsseite im Portal die Meldung Kubernetes-Dienst wird ausgeführt angezeigt werden.

Einrichten des kubectl-Zugriffs

Sie benötigen kubectl-Zugriff, um überprüfen zu können, ob der Cluster erfolgreich bereitgestellt wurde. Für schreibgeschützten kubectl-Zugriff auf den Cluster können Sie eine Datei vom Typ KUBECONFIG über die lokale Benutzeroberfläche von ASE herunterladen. Wählen Sie unter Gerät die Option Konfiguration herunterladen aus.

Die heruntergeladene Datei heißt config.json. Diese Datei verfügt über Berechtigungen zum Beschreiben von Pods und zum Anzeigen von Protokollen, aber nicht über Zugriff auf Pods mit kubectl exec.

Einrichten des Portalzugriffs

Öffnen Sie Ihre Ressource vom Typ Azure Stack Edge im Azure-Portal. Navigieren Sie zum Bereich „Azure Kubernetes Service“ (wie unter Starten des Clusters und Einrichten von Arc gezeigt), und wählen Sie den Link Verwalten aus, um den Bereich Arc zu öffnen.

Erkunden Sie den Cluster mithilfe der Optionen des Menüs Kubernetes-Ressourcen (Vorschau):

Zunächst wird ein Feld mit einer Anmeldeanforderung angezeigt. Das zu verwendende Token für die Anmeldung stammt aus der Datei vom Typ KUBECONFIG, die im Rahmen von Einrichten des kubectl-Zugriffs über die lokale Benutzeroberfläche abgerufen wurde. Am Ende der Datei vom Typ KUBECONFIG befindet sich eine Zeichenfolge mit dem Präfix token:. Kopieren Sie diese Zeichenfolge (ohne ggf. vorhandene Zeilenumbruchzeichen) in das Feld im Portal, und wählen Sie anschließend Anmelden aus.

Nun können Sie sich darüber informieren, was in dem Cluster ausgeführt wird. Hier sehen Sie ein Beispiel aus dem Bereich Workloads:

Überprüfen der Clusterkonfiguration

Es empfiehlt sich, zu überprüfen, ob der AKS-Cluster ordnungsgemäß eingerichtet wurde. Führen Sie dazu die folgenden kubectl-Befehle unter Verwendung der Datei vom Typ KUBECONFIG aus, die Sie im Rahmen von Einrichten des kubectl-Zugriffs über die Benutzeroberfläche heruntergeladen haben:

kubectl get nodes

Dieser Befehl sollte zwei Knoten zurückgeben: nodepool-aaa-bbb und target-cluster-control-plane-ccc.

Führen Sie zum Anzeigen aller ausgeführten Pods Folgendes aus:

kubectl get pods -A

Darüber hinaus sollte Ihr AKS-Cluster jetzt unter Ihrer Azure Stack Edge-Ressource im Portal angezeigt werden.

Erfassen der Variablen für die Kubernetes-Erweiterungen

Sammeln Sie jeden der Werte in der folgenden Tabelle.

Installieren von Kubernetes-Erweiterungen

Das private Azure Private 5G Core-Mobilfunknetz benötigt einen benutzerdefinierten Standort und bestimmte Kubernetes-Erweiterungen, die mithilfe der Azure CLI in Azure Cloud Shell konfiguriert werden müssen.

1. Melden Sie sich unter Verwendung von Azure Cloud Shell bei der Azure CLI an, und wählen Sie im Dropdownmenü die Option Bash aus.

2. Legen Sie die folgenden Umgebungsvariablen fest, und verwenden Sie dabei die erforderlichen Werte für Ihre Bereitstellung:

   SUBSCRIPTION_ID=<subscription ID>
   RESOURCE_GROUP_NAME=<resource group name>
   LOCATION=<deployment region, for example eastus>
   CUSTOM_LOCATION=<custom location for the AKS cluster>
   ARC_CLUSTER_RESOURCE_NAME=<resource name>
   TEMP_FILE=./tmpfile
   

3. Bereiten Sie Ihre Shell-Umgebung vor:

   az account set --subscription "$SUBSCRIPTION_ID"
   az extension add --upgrade --name k8s-extension
   az extension add --upgrade --name customlocation
   

4. Erstellen Sie die Kubernetes-Erweiterung „Network Function Operator“:

   cat > $TEMP_FILE <<EOF
   {
     "helm.versions": "v3",
     "Microsoft.CustomLocation.ServiceAccount": "azurehybridnetwork-networkfunction-operator",
     "meta.helm.sh/release-name": "networkfunction-operator",
     "meta.helm.sh/release-namespace": "azurehybridnetwork",
     "app.kubernetes.io/managed-by": "helm",
     "helm.release-name": "networkfunction-operator",
     "helm.release-namespace": "azurehybridnetwork",
     "managed-by": "helm"
   }
   EOF 
   

   az k8s-extension create \
   --name networkfunction-operator \
   --cluster-name "$ARC_CLUSTER_RESOURCE_NAME" \
   --resource-group "$RESOURCE_GROUP_NAME" \
   --cluster-type connectedClusters \
   --extension-type "Microsoft.Azure.HybridNetwork" \
   --auto-upgrade-minor-version "true" \
   --scope cluster \
   --release-namespace azurehybridnetwork \
   --release-train preview \
   --config-settings-file $TEMP_FILE 
   

5. Erstellen Sie die Kubernetes-Erweiterung „Packet Core Monitor“:

   az k8s-extension create \
   --name packet-core-monitor \
   --cluster-name "$ARC_CLUSTER_RESOURCE_NAME" \
   --resource-group "$RESOURCE_GROUP_NAME" \
   --cluster-type connectedClusters \
   --extension-type "Microsoft.Azure.MobileNetwork.PacketCoreMonitor" \
   --release-train stable \
   --auto-upgrade true 
   

6. Erstellen des benutzerdefinierten Standorts:

   az customlocation create \
   -n "$CUSTOM_LOCATION" \
   -g "$RESOURCE_GROUP_NAME" \
   --location "$LOCATION" \
   --namespace azurehybridnetwork \
   --host-resource-id "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP_NAME/providers/Microsoft.Kubernetes/connectedClusters/$ARC_CLUSTER_RESOURCE_NAME" \
   --cluster-extension-ids "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP_NAME/providers/Microsoft.Kubernetes/connectedClusters/$ARC_CLUSTER_RESOURCE_NAME/providers/Microsoft.KubernetesConfiguration/extensions/networkfunction-operator"
   

Das neue Element Benutzerdefinierter Standort sollte im Azure-Portal als Ressource innerhalb der angegebenen Ressourcengruppe angezeigt werden. Der Befehl kubectl get pods -A (mit Zugriff auf Ihre Datei vom Typ KUBECONFIG) sollte zudem neue Pods anzeigen, die den installierten Erweiterungen entsprechen. Es sollte ein Pod im Namespace azurehybridnetwork und ein Pod im Namespace packet-core-monitor vorhanden sein.

Rollback

Sollte die Azure Stack Edge-Konfiguration einen Fehler enthalten, können Sie das Portal verwenden, um den AKS-Cluster zu entfernen. (Weitere Informationen finden Sie unter Bereitstellen des Azure Kubernetes-Diensts in Azure Stack Edge.) Anschließend können Sie die Einstellungen über die lokale Benutzeroberfläche ändern.

Alternativ können Sie über das Blatt Gerät zurücksetzen der lokalen Benutzeroberfläche eine vollständige Zurücksetzung durchführen, wie unter Zurücksetzen und Reaktivieren des Azure Stack Edge-Geräts beschrieben, und dann dieses Verfahren neu starten. In diesem Fall sollten Sie auch alle ggf. zugeordneten Ressourcen löschen, die nach Abschluss der Azure Stack Edge-Zurücksetzung im Azure-Portal noch vorhanden sind. Dies schließt einige oder alle der folgenden Elemente ein – je nachdem, in welcher Phase des Prozesses Sie sich befinden:

• Ressource Azure Stack Edge
• Automatisch generierter Schlüsseltresor (KeyVault), der der Ressource Azure Stack Edge zugeordnet ist
• Automatisch generiertes Speicherkonto (StorageAccount), das der Ressource Azure Stack Edge zugeordnet ist
• Azure Kubernetes-Cluster (sofern erfolgreich erstellt)
• Benutzerdefinierter Standort (sofern erfolgreich erstellt)

Ändern der ASE-Konfiguration nach der Bereitstellung

Es kann vorkommen, dass die ASE-Konfiguration nach der Bereitstellung der Packet Core-Instanz aktualisiert werden muss – etwa, um ein Datennetzwerk hinzuzufügen, ein angefügtes Datennetzwerk zu entfernen oder eine IP-Adresse zu ändern. Wenn Sie die ASE-Konfiguration ändern möchten, müssen Sie die Ressourcen Benutzerdefinierter Standort und Azure Kubernetes Service zerstören, die erforderlichen Änderungen an der ASE-Konfiguration vornehmen und die genannten Ressourcen anschließend neu erstellen. Dadurch können Sie die Verbindung mit der Packet Core-Instanz vorübergehend trennen, anstatt sie zu zerstören und neu zu erstellen, was den Konfigurationsaufwand minimiert. Möglicherweise müssen auch an der Packet Core-Konfiguration entsprechende Änderungen vorgenommen werden.

1. Navigieren Sie im Azure-Portal zur Ressourcengruppenübersicht (für die Ressourcengruppe, die die Packet Core-Instanz enthält). Wählen Sie die Ressource Packet Core-Steuerungsebene und anschließend Packet Core ändern aus. Legen Sie Benutzerdefinierter Azure Arc-Standort auf Kein fest, und wählen Sie Ändern aus.
2. Navigieren Sie zu der Ressourcengruppe, die die Ressource Benutzerdefinierter Standort enthält. Aktivieren Sie das Kontrollkästchen für die Ressource Benutzerdefinierter Standort, und wählen Sie Löschen aus. Bestätigen Sie den Löschvorgang.
3. Navigieren Sie zur Ressource Azure Stack Edge, und entfernen Sie die gesamte Konfiguration für Azure Kubernetes Service.
4. Greifen Sie auf die lokale ASE-Benutzeroberfläche zu, und aktualisieren Sie die Konfiguration nach Bedarf.
5. Erstellen Sie den Kubernetes-Cluster neu. Weitere Informationen finden Sie unter Starten des Clusters und Einrichten von Arc.
6. Erstellen Sie die Ressource für den benutzerdefinierten Standort neu. Wählen Sie die Ressource Packet Core-Steuerungsebene und anschließend Benutzerdefinierten Standort konfigurieren aus.

Ihre Packet Core-Instanz sollte nun mit der aktualisierten ASE-Konfiguration aktiv sein. Informationen zum Aktualisieren der Packet Core-Konfiguration finden Sie unter Ändern einer Paketkerninstanz.

Nächste Schritte

Ihr Azure Stack Edge-Gerät ist jetzt für Azure Private 5G Core bereit. Bei einer Hochverfügbarkeitsbereitstellung müssen Sie auch Ihre Router konfigurieren. Andernfalls besteht der nächste Schritt darin, die Informationen zu sammeln, die Sie zum Bereitstellen Ihres privaten Netzwerks benötigen.

• Konfigurieren von Routern für eine hochverfügbare Bereitstellung
• Sammeln der erforderlichen Informationen zum Bereitstellen eines privaten Mobilfunknetzes