Azure Arc 사용 Kubernetes 클러스터 준비

• Azure 구독 Azure 구독이 아직 없는 경우 시작하기 전에 무료 구독을 만듭니다.

• 개발 머신에 설치된 Azure CLI 버전 2.64.0 이상. az --version을 사용하여 버전을 확인하고 필요한 경우 az upgrade를 사용하여 업데이트합니다. 자세한 내용은 Azure CLI 설치 방법을 참조하세요.

• Azure CLI용 Azure IoT Operations 확장의 최신 버전입니다. 다음 명령을 사용하여 확장 프로그램을 추가하거나 최신 버전으로 업데이트합니다.

  az extension add --upgrade --name azure-iot-ops
  

• 시스템 요구 사항을 충족하는 하드웨어:

  • 컴퓨터에 사용 가능한 최소 16GB RAM, 8개의 사용 가능한 vCPU 및 Azure IoT Operations용으로 예약된 52GB의 사용 가능한 디스크 공간이 있는지 확인합니다.
  • Azure Arc 지원 Kubernetes 시스템 요구 사항
  • AKS Edge Essentials 요구 사항 및 지원 매트릭스.
  • AKS Edge Essentials 네트워킹 지침입니다.

• 내결함성을 사용하도록 설정된 다중 노드 클러스터에 Azure IoT 작업을 배포하려는 경우 Edge 볼륨용 Linux 준비에서 하드웨어 및 스토리지 요구 사항을 검토합니다.

• Azure 구독 Azure 구독이 아직 없는 경우 시작하기 전에 무료 구독을 만듭니다.

• 개발 머신에 설치된 Azure CLI 버전 2.64.0 이상. az --version을 사용하여 버전을 확인하고 필요한 경우 az upgrade를 사용하여 업데이트합니다. 자세한 내용은 Azure CLI 설치 방법을 참조하세요.

• Azure CLI용 Azure IoT Operations 확장의 최신 버전입니다. 다음 명령을 사용하여 확장 프로그램을 추가하거나 최신 버전으로 업데이트합니다.

  az extension add --upgrade --name azure-iot-ops
  

• 시스템 요구 사항을 충족하는 하드웨어:

  • 컴퓨터에 사용 가능한 최소 16GB RAM과 Azure IoT Operations용으로 예약된 8개의 사용 가능한 vCPU가 있는지 확인합니다.
  • Azure Arc 지원 Kubernetes 시스템 요구 사항
  • K3s 요구 사항.

Azure Kubernetes Service 엣지에센셜은 컨테이너화된 애플리케이션 실행을 대규모로 자동화하는 Azure Kubernetes Service(AKS)의 온-프레미스 Kubernetes 구현입니다. AKS Edge Essentials에는 PC 클래스 또는 "밝은" 에지 하드웨어를 지원하는 작은 공간과 간단한 설치 환경을 갖춘 경량 Kubernetes 배포판이 포함된 Microsoft 지원 Kubernetes 플랫폼이 포함되어 있습니다.

AksEdgeQuickStartForAio.ps1 스크립트는 클러스터를 만들고 연결하는 프로세스를 자동화하며 AKS Edge Essentials에서 Azure IoT 작업을 배포하는 데 권장되는 경로입니다.

1. 관리자 권한으로 PowerShell 창을 열고 디렉터리를 작업 폴더로 변경합니다.

2. objectId Azure Arc 서비스가 테넌트에서 사용하는 Microsoft Entra ID 애플리케이션을 가져옵니다.

   az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv
   

3. 자리 표시자 값을 사용자의 정보로 바꾸어 다음 명령을 실행합니다.

   자리 표시자	값
   SUBSCRIPTION_ID	Azure 구독의 ID입니다. 구독 ID를 모르는 경우 Azure 구독 찾기를 참조하세요.
   TENANT_ID	Microsoft Entra 테넌트의 ID 테넌트 ID를 모르는 경우 Microsoft Entra 테넌트 찾기를 참조하세요.
   RESOURCE_GROUP_NAME	기존 리소스 그룹의 이름 또는 만들 새 리소스 그룹의 이름
   위치	가까운 Azure 지역입니다. 현재 지원되는 Azure 지역 목록은 지원되는 지역을 참조하세요.
   CLUSTER_NAME	새로 생성될 클러스터의 이름
   ARC_APP_OBJECT_ID	이전 단계에서 검색한 개체 ID 값입니다.

   $url = "https://raw.githubusercontent.com/Azure/AKS-Edge/main/tools/scripts/AksEdgeQuickStart/AksEdgeQuickStartForAio.ps1"
   Invoke-WebRequest -Uri $url -OutFile .\AksEdgeQuickStartForAio.ps1
   Unblock-File .\AksEdgeQuickStartForAio.ps1
   Set-ExecutionPolicy -ExecutionPolicy Bypass -Scope Process -Force
   .\AksEdgeQuickStartForAio.ps1 -SubscriptionId "<SUBSCRIPTION_ID>" -TenantId "<TENANT_ID>" -ResourceGroupName "<RESOURCE_GROUP_NAME>"  -Location "<LOCATION>"  -ClusterName "<CLUSTER_NAME>" -CustomLocationOid "<ARC_APP_OBJECT_ID>"
   

   컴퓨터가 이 프로세스의 일부로 다시 부팅되는 경우를 포함하여 배포 중에 문제가 있으면 전체 명령 집합을 다시 실행합니다.

4. 다음 명령을 실행하여 배포가 성공했는지 확인합니다.

   Import-Module AksEdge
   Get-AksEdgeDeploymentInfo
   

   Get-AksEdgeDeploymentInfo 명령의 출력에 클러스터의 Arc 상태가 Connected로 표시되어야 합니다.

Ubuntu에서 K3s Kubernetes 클러스터를 준비하려면 다음을 수행합니다.

1. K3s 빠른 시작 가이드의 지침에 따라 K3를 설치합니다.

2. kubectl이 K3의 일부로 설치되었는지 확인합니다. 그렇지 않은 경우 지침에 따라 Linux에 kubectl을 설치합니다.

   kubectl version --client
   

3. 지침에 따라 Helm을 설치합니다.

4. .kube/config에서 K3s 구성 yaml 파일 생성:

   mkdir ~/.kube
   sudo KUBECONFIG=~/.kube/config:/etc/rancher/k3s/k3s.yaml kubectl config view --flatten > ~/.kube/merged
   mv ~/.kube/merged ~/.kube/config
   chmod  0600 ~/.kube/config
   export KUBECONFIG=~/.kube/config
   #switch to k3s context
   kubectl config use-context default
   sudo chmod 644 /etc/rancher/k3s/k3s.yaml
   

5. 다음 명령을 실행하여 사용자 조사식/인스턴스 제한을 늘립니다.

   echo fs.inotify.max_user_instances=8192 | sudo tee -a /etc/sysctl.conf
   echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf
   
   sudo sysctl -p
   

6. 성능을 향상시키려면 파일 설명자 제한을 늘입니다.

   echo fs.file-max = 100000 | sudo tee -a /etc/sysctl.conf
   
   sudo sysctl -p
   

Azure Container Storage에 대한 다중 노드 클러스터 구성

노드가 3개 이상인 다중 노드 클러스터에서는 Azure IoT Operations를 배포할 때 Azure Arc에서 사용하도록 설정된 Azure Container Storage를 사용하여 스토리지에 내결함성을 사용하도록 설정하는 옵션이 있습니다. 이 옵션을 사용하도록 설정하려면 다음 단계를 사용하여 다중 노드 클러스터를 준비합니다.

1. 다음 명령을 사용하여 커널에 필요한 NVME over TCP 모듈을 설치합니다.

   sudo apt install linux-modules-extra-`uname -r`
   

   참고 항목

   지원되는 최소 Linux 커널 버전은 5.1입니다. 현재 6.4 및 6.2에는 알려진 문제가 있습니다. 최신 정보는 Azure Container Storage 릴리스 정보를 참조 하세요.

2. 클러스터의 각 노드에서 다음 명령을 사용하여 HugePages 수를 512로 설정합니다.

   HUGEPAGES_NR=512
   echo $HUGEPAGES_NR | sudo tee /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
   echo "vm.nr_hugepages=$HUGEPAGES_NR" | sudo tee /etc/sysctl.d/99-hugepages.conf
   

이전 섹션에서 실행한 AksEdgeQuickStartForAio.ps1 스크립트는 클러스터를 연결하는 단계를 처리했습니다. Arc에서 지원되도록 하기 위한 추가 단계는 필요하지 않습니다.

클러스터를 Azure Arc에 연결하는 방법:

1. Kubernetes 클러스터를 배포한 컴퓨터에서 Azure CLI를 이용해 로그인합니다.

   az login
   

   리소스에 액세스하기 위해 디바이스를 관리해야 한다는 오류가 발생하는 경우 다시 실행하고 az login 브라우저를 사용하여 대화형으로 로그인해야 합니다.

2. Azure 구독, 위치, 새 리소스 그룹 및 클러스터 이름에 대한 환경 변수를 리소스 그룹에 표시하려는 대로 설정합니다.

   현재 지원되는 Azure 지역 목록은 지원되는 지역을 참조하세요.

   # Id of the subscription where your resource group and Arc-enabled cluster will be created
   export SUBSCRIPTION_ID=<SUBSCRIPTION_ID>
   
   # Azure region where the created resource group will be located
   export LOCATION=<REGION>
   
   # Name of a new resource group to create which will hold the Arc-enabled cluster and Azure IoT Operations resources
   export RESOURCE_GROUP=<NEW_RESOURCE_GROUP_NAME>
   
   # Name of the Arc-enabled cluster to create in your resource group
   export CLUSTER_NAME=<NEW_CLUSTER_NAME>
   

1. 로그인한 후 Azure CLI는 모든 구독을 표시하고 별표 *가 있는 기본 구독을 나타냅니다. 기본 구독을 계속하려면 .를 선택합니다 Enter. 그렇지 않은 경우 사용하려는 Azure 구독 수를 입력합니다.

2. 구독에 필요한 리소스 공급자를 등록합니다.

   참고 항목

   이 단계는 구독당 한 번만 실행하면 됩니다. 리소스 공급자를 등록하려면 구독 기여자 및 소유자 역할에 포함된 /register/action 작업을 수행할 수 있는 권한이 필요합니다. 자세한 내용은 Azure 리소스 공급자 및 형식을 참조하세요.

   az provider register -n "Microsoft.ExtendedLocation"
   az provider register -n "Microsoft.Kubernetes"
   az provider register -n "Microsoft.KubernetesConfiguration"
   az provider register -n "Microsoft.IoTOperations"
   az provider register -n "Microsoft.DeviceRegistry"
   

3. az group create 명령을 사용하여 Azure 구독에 리소스 그룹을 만들어 모든 리소스를 저장합니다.

   az group create --location $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID
   

4. 연결된 기존 k8s cli(있는 경우) 제거

   az extension remove --name connectedk8s 
   

5. Azure CLI용 확장의 connectedk8s 미리 보기 버전을 다운로드하여 설치합니다.

   curl -L -o connectedk8s-1.10.0-py2.py3-none-any.whl https://github.com/AzureArcForKubernetes/azure-cli-extensions/raw/refs/heads/connectedk8s/public/cli-extensions/connectedk8s-1.10.0-py2.py3-none-any.whl   
   az extension add --upgrade --source connectedk8s-1.10.0-py2.py3-none-any.whl
   

6. az connectedk8s connect 명령을 사용하여 Kubernetes 클러스터를 Arc로 사용하도록 설정하고 Azure 리소스 그룹의 일부로 관리합니다.

   az connectedk8s connect --name $CLUSTER_NAME -l $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID --enable-oidc-issuer --enable-workload-identity
   

7. 클러스터의 발급자 URL을 가져옵니다.

   az connectedk8s show --resource-group $RESOURCE_GROUP --name $CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv
   

   다음 단계에서 사용할 이 명령의 출력을 저장합니다.

8. k3s 구성 파일을 만듭니다.

   sudo nano /etc/rancher/k3s/config.yaml
   

9. 자리 표시자를 클러스터의 config.yaml 발급자 URL로 대체 <SERVICE_ACCOUNT_ISSUER> 하여 파일에 다음 콘텐츠를 추가합니다.

   kube-apiserver-arg:
    - service-account-issuer=<SERVICE_ACCOUNT_ISSUER>
    - service-account-max-token-expiration=24h
   

10. 파일을 저장하고 Nano 편집기를 종료합니다.

11. objectId Azure Arc 서비스가 테넌트에서 사용하는 Microsoft Entra ID 애플리케이션을 가져와서 환경 변수로 저장합니다.

    export OBJECT_ID=$(az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv)
    

12. az connectedk8s enable-features 명령을 사용하여 클러스터에서 사용자 지정 위치 지원을 사용하도록 설정합니다. 이 명령은 Azure Arc 서비스에서 사용하는 Microsoft Entra ID 애플리케이션의 objectId를 사용합니다. Kubernetes 클러스터를 배포한 컴퓨터에서 이 명령을 실행하세요.

    az connectedk8s enable-features -n $CLUSTER_NAME -g $RESOURCE_GROUP --custom-locations-oid $OBJECT_ID --features cluster-connect custom-locations
    

13. K3를 다시 시작합니다.

    systemctl restart k3s