Kubernetes 节点和节点池管理

Kubernetes 体系结构基于两层：控制平面和节点池中的一个或多个节点。 本文描述并比较了 Amazon Elastic Kubernetes 服务 (Amazon EKS) 和 Azure Kubernetes 服务 (AKS) 如何管理代理或工作器节点。

在 Amazon EKS 和 AKS 中，云平台提供和管理控制平面层，而客户管理节点层。 下图显示了 AKS Kubernetes 体系结构中控制平面和节点之间的关系。

Amazon EKS 托管节点组

Amazon EKS 托管节点组为 Amazon EKS 集群自动配置和管理 Amazon Elastic Compute Cloud (EC2) (EC2) 工作器节点。 Amazon Web Services (AWS) 用户可以使用 eksctl 命令行实用程序为其 EKS 集群创建、更新或终止节点。 节点更新和终止会自动封锁和排出节点，以确保应用程序保持可用。

每个托管节点都作为 Amazon EKS 操作和控制的 Amazon EC2 自动缩放组的一部分进行预置。 当 Pod 失败或被重新调度到其他节点时，Kubernetes 群集自动缩放器会自动调整群集中的工作节点数量。 每个节点组都可以配置为跨区域内的多个可用性区域运行。

有关 Amazon EKS 托管节点的更多信息，请参阅创建托管节点组和更新托管节点组。

你还可以在 AWS Fargate 上运行 Kubernetes Pod。 Fargate 为容器提供按需、大小合适的计算容量。 有关如何将 Fargate 与 Amazon EKS 一起使用的更多信息，请参阅 AWS Fargate。

AKS 节点和节点池

创建 AKS 群集会自动创建和配置控制平面，该控制平面提供核心 Kubernetes 服务和应用程序工作负载编排。 Azure 平台免费提供 AKS 控制平面作为托管 Azure 资源。 控制平面及其资源仅存在于创建群集的区域。

节点，也称为代理节点或工作器节点，承载工作负载和应用程序。 在 AKS 中，客户完全管理附加到 AKS 群集的代理节点并为其付费。

要运行应用程序和支持服务，AKS 群集需要至少一个节点：一个 Azure 虚拟机 (VM) 来运行 Kubernetes 节点组件和容器运行时。 每个 AKS 群集必须至少包含一个系统节点池，该池至少包含一个节点。

AKS 会将具有相同配置的节点分组到运行 AKS 工作负载的 VM 的节点池中。 系统节点池主要用于托管关键系统 Pod（例如 CoreDNS）。 用户节点池主要用于承载工作负载 Pod。 如果你希望 AKS 群集中只有一个节点池，例如在开发环境中，你可以在系统节点池中计划应用程序 pod。

你还可以创建多个用户节点池来隔离不同节点上的不同工作负载，以避免邻居干扰问题，或者支持具有不同计算或存储需求的应用程序。

系统或用户节点池的每个代理节点都是作为 Azure 虚拟机规模集的一部分预配并由 AKS 群集管理的 VM。 有关更多信息，请参阅节点和节点池。

你可以在创建 AKS 群集或将新节点和节点池添加到现有 AKS 群集时定义工作程序节点的初始数量和大小。 如果未指定 VM 大小，则默认大小为 Standard_D2s_v3（适用于 Windows 节点池）和 Standard_DS2_v2（适用于 Linux 节点池）。

节点池创建

你可以使用 Azure 门户、Azure CLI、AKS REST API 或基础架构即代码 (IaC) 工具（如 Bicep、Azure 资源管理器模板或 Terraform）将节点池添加到新的或现有的 AKS 群集。 有关如何将节点池添加到现有 AKS 群集的详细信息，请参阅在 Azure Kubernetes 服务 (AKS) 中为群集创建和管理多个节点池。

创建新节点池时，会在节点资源组中创建关联的虚拟机规模集，这是一个包含 AKS 群集的所有基础结构资源的 Azure 资源组。 这些资源包括 Kubernetes 节点、虚拟网络资源、托管标识和存储。

默认情况下，节点资源组使用类似于 MC_<resourcegroupname>_<clustername>_<location> 的名称。 AKS 会在删除群集时自动删除节点资源组，因此你应该仅将此资源组用于共享群集生命周期的资源。

添加节点池

以下代码示例使用 Azure CLI az aks nodepool add 命令将具有三个节点的名为 mynodepool 的节点池添加到 myAKSCluster 资源组中名为 myResourceGroup 的现有 AKS 群集。

az aks nodepool add \
      --resource-group myResourceGroup \
      --cluster-name myAKSCluster \
      --node-vm-size Standard_D8ds_v4 \
      --name mynodepool \
      --node-count 3

现成节点池

现成节点池是现成虚拟机规模集支持的节点池。 将现成虚拟机用于具有 AKS群集的节点可以利用未使用的 Azure 容量，从而显着节省成本。 可用的未用容量因很多因素而异，包括节点大小、区域、时间等。

部署现成节点池时，如果有可用的容量，Azure 将分配现成节点。 但现成节点没有服务级别协议 (SLA)。 支持现成节点池的现成规模集部署在单个容错域中，不提供高可用性保证。 当 Azure 需要恢复容量时，Azure 基础架构会逐出现成节点，并且你最多会在逐出前 30 秒收到通知。 请注意，现成节点池不能是群集的默认节点池。 现成节点池只能用于辅助池。

现成节点非常适用于可处理中断、提前终止或逐出的工作负载。 例如，批处理作业、开发和测试环境以及大型计算工作负载是在现成节点池上调度的理想选择。 有关更多详细信息，请参阅现成实例的限制。

以下 az aks nodepool add 命令将一个点节点池添加到启用了自动缩放的现有群集。

  az aks nodepool add \
      --resource-group myResourceGroup \
      --cluster-name myAKSCluster \
      --name myspotnodepool \
      --node-vm-size Standard_D8ds_v4 \
      --priority Spot \
      --eviction-policy Delete \
      --spot-max-price -1 \
      --enable-cluster-autoscaler \
      --min-count 1 \
      --max-count 3 \
      --no-wait

有关现成节点池的详细信息，请参阅向 Azure Kubernetes 服务 (AKS)群集添加现成节点池。

临时 OS 磁盘

默认情况下，Azure 会自动将虚拟机操作系统 (OS) 磁盘复制到 Azure 存储，以避免在 VM 需要重定位到另一台主机时丢失数据。 但由于容器并非旨在持久保存本地状态，因此将 OS 磁盘保存在存储中对 AKS 的价值有限。 有一些缺点，例如节点预配较慢，读/写延迟较高。

相比之下，临时 OS 磁盘仅存储在主机上，就像临时磁盘一样，提供更低的读/写延迟和更快的节点扩展和群集升级。 与临时磁盘一样，临时 OS 磁盘包含在 VM 价格中，因此不会产生额外的存储成本。

要使用临时 OS，OS 磁盘必须适合 VM 缓存。 Azure VM 文档在 IO 吞吐量旁边的括号中将 VM 缓存大小显示以吉比字节 (GiB) 为单位的缓存大小。

例如，具有默认 100 GB OS 磁盘大小的 AKS 默认 Standard_DS2_v2 VM 大小支持临时 OS，但缓存大小只有 86 GB。 如果你未明确指定，则此配置默认为托管磁盘。 如果明确要求此大小的临时 OS，则会收到验证错误。

如果你请求具有 60 GB OS 磁盘的相同 Standard_DS2_v2 VM，则默认情况下会获得临时 OS。 请求的 60 GB OS 大小小于最大 86 GB 缓存大小。

具有 100 GB OS 磁盘的 Standard_D8s_v3 支持临时 OS 并具有 200 GB 缓存空间。 如果用户未指定 OS 磁盘类型，则节点池默认获取临时 OS。

以下 az aks nodepool add 命令显示如何将新节点池添加到具有临时 OS 磁盘的现有群集。 --node-osdisk-type 参数将 OS 磁盘类型设置为 Ephemeral，--node-osdisk-size 参数定义 OS 磁盘大小。

  az aks nodepool add \
      --resource-group myResourceGroup \
      --cluster-name myAKSCluster \
      --name mynewnodepool \
      --node-vm-size Standard_D8ds_v4 \
      --node-osdisk-type Ephemeral \
      --node-osdisk-size 48

有关临时 OS 磁盘的更多信息，请参阅临时 OS。

虚拟节点

可以使用虚拟节点在 AKS 群集中快速扩展应用程序工作负载。 虚拟节点为你提供快速的 Pod 配置，并且你只需为执行时间支付每秒费用。 无需等待群集自动扩缩器部署新的工作节点来运行更多的 Pod 副本。 只有 Linux Pod 和节点支持虚拟节点。 AKS 的虚拟节点加载项基于开源虚拟 Kubelet 项目。

虚拟节点功能取决于 Azure 容器实例。 有关虚拟节点的详细信息，请参阅创建和配置 Azure Kubernetes 服务 (AKS) 群集以使用虚拟节点。

污点、标签和标记

创建节点池时，可以将 Kubernetes 污点和标签以及 Azure 标记添加到该节点池。 添加排斥、标签或标记时，该节点池中的所有节点会获取该排斥、标签或标记。

要创建带有污点的节点池，可以使用带有 --node-taints 参数的 az aks nodepool add 命令。 要标记节点池中的节点，可以使用 --labels 参数并指定标签列表，如以下代码所示：

  az aks nodepool add \
      --resource-group myResourceGroup \
      --cluster-name myAKSCluster \
      --name mynodepool \
      --node-vm-size Standard_NC6 \
      --node-taints sku=gpu:NoSchedule \
      --labels dept=IT costcenter=9999

有关详细信息，请参阅为节点池指定排斥、标签或标记。

保留的系统标签

Amazon EKS 向托管节点组（如用于指定容量类型的 eks.amazonaws.com/capacityType）中的所有节点添加自动 Kubernetes 标签。 AKS 还会自动将系统标签添加到代理节点。

以下前缀保留供 AKS 使用，不能用于任何节点：

• kubernetes.azure.com/
• kubernetes.io/

有关其他预留前缀，请参阅 Kubernetes 的已知标签、注释和排斥。

下表列出了保留供 AKS 使用且不能用于任何节点的标签。 在表中，虚拟节点使用情况列指定虚拟节点上是否支持标签。

在虚拟节点使用情况列中：

• 不适用表示该属性不适用于虚拟节点，因为它需要修改主机。
• 相同意味着虚拟节点池的预期值与标准节点池的预期值相同。
• 虚拟取代了 VM SKU 值，因为虚拟节点 pod 不公开任何底层 VM。
• 虚拟节点版本是指虚拟 Kubelet-ACI 连接器的当前版本。
• 虚拟节点子网名称是将虚拟节点 Pod 部署到 Azure 容器实例的子网。
• 虚拟节点虚拟网络是包含虚拟节点子网的虚拟网络。

Windows 节点池

AKS 支持通过 Azure 容器网络接口 (CNI) 网络插件来创建和使用 Windows Server 容器节点池。 要规划所需的子网范围和网络注意事项，请参阅配置 Azure CNI 网络。

以下 az aks nodepool add 命令添加运行 Windows Server 容器的节点池。

  az aks nodepool add \
      --resource-group myResourceGroup \
      --cluster-name myAKSCluster \
      --name mywindowsnodepool \
      --node-vm-size Standard_D8ds_v4 \
      --os-type Windows \
      --node-count 1

上述命令使用 AKS 群集虚拟网络中的默认子网。 有关如何使用 Windows 节点池生成 AKS 群集的详细信息，请参阅 在 AKS 中创建 Windows Server 容器。

节点池注意事项

创建和管理节点池和多个节点池时，以下注意事项和限制适用：

• 配额、VM 大小限制和区域可用性适用于 AKS 节点池。

• 系统池必须至少包含一个节点。 如果你在 AKS 群集中有另一个可取代它的系统节点池，则可以删除系统节点池。 用户节点池可以包含零个或多个节点。

• 创建节点池后，无法更改其 VM 大小。

• 对于多个节点池，AKS 群集必须使用标准 SKU 负载平衡器。 基本 SKU 负载平衡器不支持多个节点池。

• 所有群集节点池必须位于同一虚拟网络中，并且分配给任何节点池的所有子网必须位于同一虚拟网络中。

• 如果你在群集创建时创建多个节点池，则所有节点池的 Kubernetes 版本必须与控制平面版本匹配。 在群集已经通过按节点池操作预配后，你便可以更新版本。

节点池缩放

随着应用程序工作负载的变化，可能需要更改节点池中的节点数。 可以使用 az aks nodepool scale 命令手动增加或减少节点数。 以下示例将 mynodepool 中的节点数缩减为 5：

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mynodepool \
    --node-count 5

使用群集自动缩放器自动缩放节点池

AKS 支持使用群集自动缩放器自动缩放节点池。 你在每个节点池上启用此功能，并定义最小和最大节点数。

以下 az aks nodepool add 命令将名为 mynodepool 的新节点池添加到现有群集。 --enable-cluster-autoscaler 参数在新节点池上启用群集自动缩放器，而 --min-count 和 --max-count 参数分别指定池中的最小和最大节点数。

  az aks nodepool add \
  --resource-group myResourceGroup \
  --cluster-name myAKSCluster \
  --name mynewnodepool \
  --node-vm-size Standard_D8ds_v4 \
  --enable-cluster-autoscaler \
  --min-count 1 \
  --max-count 5

以下 az aks nodepool update 命令将 mynewnodepool 节点池的最小节点数从 1 个更新为 3 个。

  az aks nodepool update \
  --resource-group myResourceGroup \
  --cluster-name myAKSCluster \
  --name mynewnodepool \
  --update-cluster-autoscaler \
  --min-count 1 \
  --max-count 3

可以使用 az aks nodepool update 并传递 --disable-cluster-autoscaler 参数来禁用群集自动缩放器。

  az aks nodepool update \
  --resource-group myResourceGroup \
  --cluster-name myAKSCluster \
  --name mynodepool \
  --disable-cluster-autoscaler

要在现有群集上重新启用群集自动缩放器，请使用 az aks nodepool update 并指定 --enable-cluster-autoscaler、--min-count 和 --max-count 参数。

有关如何将群集自动缩放器用于单个节点池的详细信息，请参阅自动缩放群集以满足 Azure Kubernetes 服务 (AKS) 上的应用程序需求。

更新和升级

Azure 会定期更新其 VM 承载平台，以提高可靠性、性能和安全性。 此类更新包括修补宿主环境中的软件组件、升级网络组件或将硬件解除授权等。 有关 Azure 如何更新 VM 的详细信息，请参阅 Azure 中的虚拟机维护。

VM 托管基础结构更新通常不会影响托管 VM，例如现有 AKS 群集的代理节点。 对于影响托管 VM 的更新，Azure 将在更新主机时暂停 VM 或将 VM 实时迁移到已更新的主机，以最大限度减少需要重新启动的情况。

如果更新需要重新启动，Azure 会提供通知和时间窗口，以便你可以在更新适合你时启动更新。 主机的自我维护窗口通常为 35 天，除非更新紧急。

可以使用计划内维护更新 VM，并可通过 Azure CLI、PowerShell 或 Azure 门户来管理计划内维护通知。 计划内维护会检测你是否在使用群集自动升级并在维护时段内自动安排升级。 有关计划内维护的详细信息，请参阅 az aks maintenanceconfiguration 命令和使用计划内维护来安排 Azure Kubernetes 服务 (AKS) 群集的维护时段。

Kubernetes 升级

AKS 群集生命周期的一部分定期升级到最新的 Kubernetes 版本。 应用升级以获得最新的安全版本和功能非常重要。 要升级现有节点池 VM 的 Kubernetes 版本，你必须封锁和排空节点，并将它们替换为基于更新的 Kubernetes 磁盘映像的新节点。

默认情况下，AKS 会将升级配置为使用一个额外节点进行激增。 max-surge 设置的默认值 1 通过在封锁或耗尽现有应用程序之前创建一个额外的节点来替换旧版本的节点来最大限度地减少工作负载中断。 你可以自定义每个节点池的 max-surge 值，以便在升级速度和升级中断之间进行权衡。 增大 max-surge 值可以更快地完成升级过程，但 max-surge 的值增大可能会导致升级过程中断。

例如，max-surge 值为 100% 时，可以让升级过程尽可能快（通过将节点计数加倍），但也会导致节点池中的所有节点同时被耗尽。 你可能希望使用此高值进行测试，但对于生产节点池，将 max-surge 设置为 33% 会更好。

AKS 接受 max-surge 的整数值和百分比值。 整数值（例如 5）指示要激增五个额外的节点。 max-surge 的百分比值最小可以是 1%，最大可以是 100%，向上取整到最接近的节点数。 值为 50% 指示激增值为池中当前节点计数的一半。

在升级过程中，max-surge 值最小可以为 1，最大为节点池中的节点数。 你可以设置更大的值，但用于 max-surge 的最大节点数不会高于池中的节点数。

升级节点池

要查看可用的升级，请使用 az aks get-upgrades。

az aks get-upgrades --resource-group <myResourceGroup> --name <myAKSCluster>

要查看节点池的状态，请使用 az aks nodepool list。

  az aks nodepool list -g <myResourceGroup> --cluster-name <myAKSCluster>

以下命令使用 az aks nodepool upgrade 升级单个节点池。

  az aks nodepool upgrade \
      --resource-group <myResourceGroup> \
      --cluster-name <myAKSCluster> \
      --name <mynodepool> \
      --kubernetes-version <KUBERNETES_VERSION>

有关如何为群集控制平面和节点池升级 Kubernetes 版本的更多信息，请参阅：

• Azure Kubernetes 服务 (AKS) 节点映像升级
• 升级包含多个节点池的群集控制平面

升级注意事项

请注意在 AKS 群集中升级 Kubernetes 版本的这些最佳做法和注意事项。

• 最好将 AKS 群集中的所有节点池升级到相同的 Kubernetes 版本。 az aks upgrade 的默认行为是升级所有节点池和控制平面。

• 手动升级，或在你的群集上设置自动升级通道。 如果你使用计划内维护来修补 VM，自动升级也会在你指定的维护时段内启动。 有关详细信息，请参阅升级 Azure Kubernetes 服务 (AKS) 群集。

• 带有 --control-plane-only 标志的 az aks upgrade 命令仅升级群集控制平面，不会更改群集中的任何关联节点池。 要升级单个节点池，请在 az aks nodepool upgrade 命令中指定目标节点池和 Kubernetes 版本。

• AKS 群集升级会触发节点的隔离和排空。 如果可用计算配额较低，则升级可能会失败。 有关增加配额的更多信息，请参阅增加区域 vCPU 配额。

• 根据需要配置 max-surge 参数，使用整数或百分比值。 对于生产节点池，请将 max-surge 设置为 33%。 更多信息，请参阅自定义节点激增升级。

• 升级使用 CNI 网络的 AKS 群集时，请确保子网有足够的可用私有 IP 地址用于 max-surge 设置创建的额外节点。 有关详细信息，请参阅在 Azure Kubernetes 服务 (AKS) 中配置 Azure CNI 网络。

• 如果你的群集节点池跨越一个区域内的多个可用性区域，则升级过程可能会暂时导致不平衡的区域配置。 有关更多信息，请参阅跨多个可用性区域的节点池的特殊注意事项。

节点虚拟网络

创建新群集或向现有群集添加新节点池时，可在部署代理节点的群集 虚拟网络中指定子网的资源 ID。 某个工作负载可能会要求将群集的节点拆分为单独的节点池以进行逻辑隔离。 可以使用单独的子网实现这种隔离，每个子网都专用于一个单独的节点池。 每个节点池 VM 从其关联的子网中获取一个专用 IP 地址。

AKS 支持两个网络插件：

• Kubenet 是一个基本的、简单的 Linux 网络插件。 借助 kubenet，节点可从 Azure 虚拟网络子网获取专用 IP 地址。 Pod 从逻辑上不同的地址空间获取 IP 地址。 网络地址转换 (NAT) 允许 Pod 通过将源流量的 IP 地址转换为节点的主 IP 地址来访问 Azure 虚拟网络上的资源。 这种方法减少了需要在网络空间中为 Pod 保留的 IP 地址数量。

• Azure 容器网络接口 (CNI) 为每个 Pod 提供一个 IP 地址，以便直接调用和访问。 这些 IP 地址在你的网络空间中必须是唯一的。 每个节点都有一个配置参数来表示它支持的最大 Pod 数。 这样，就会为每个节点预留相应的 IP 地址数。 使用此方法需要经过提前规划，并且可能会耗尽 IP 地址，或者随着应用程序需求增长而需要在更大的子网中重建群集。

  创建新的群集或将新的节点池添加到使用 Azure CNI 的群集时，可以指定两个单独子网的资源 ID，一个用于节点，一个用于 Pod。 有关详细信息，请参阅 IP 的动态分配和增强的子网支持。

动态 IP 分配

使用 Azure CNI 的 Pod 将从承载节点池的子网中获取专用 IP 地址。 Azure CNI 动态 IP 分配可以将专用 IP 地址分配给子网中的 Pod，该子网与节点池托管子网不同。 此功能提供以下优势：

• Pod 子网将 IP 动态分配给 Pod。 较之于为每个节点进行静态分配 IP 的传统 CNI 解决方案，动态分配提高了 IP 利用率。

• 你可以独立扩展和共享节点和 Pod 子网。 可以在同一虚拟网络中部署的多个节点池或群集之间共享单个 Pod 子网。 你还可以为节点池配置单独的 Pod 子网。

• 由于 Pod 具有虚拟网络专用 IP，因此它们可以直接连接到虚拟网络中的其他群集 Pod 和资源。 对于超大群集，此功能可以提高性能。

• 如果 Pod 有单独的子网，你可以为 Pod 配置不同于节点策略的虚拟网络策略。 单独的策略支持许多有用的方案，例如仅允许 Pod 而不允许节点进行 Internet 连接、通过使用 NAT 网关固定节点池中 Pod 的源 IP，以及使用网络安全组 (NSG) 筛选节点池之间的流量。

• 网络策略和 Calico Kubernetes 网络策略都适用于动态 IP 分配。

作者

本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。

主要作者：

• Paolo Salvatori | 首席系统工程师

其他参与者：

• Laura Nicolas | 高级软件工程师
• Chad Kittel | 首席软件工程师
• Ed Price | 高级内容项目经理
• Theano Petersen | 技术文档撰写人

要查看非公开的 LinkedIn 个人资料，请登录到 LinkedIn。

后续步骤

• 适用于 Amazon EKS 专业人员的 AKS
• Kubernetes 标识和访问管理
• Kubernetes 监视和日志记录
• 保护对 Kubernetes 的网络访问
• Kubernetes 群集的存储选项
• Kubernetes 的成本管理
• 群集治理
• Azure Kubernetes 服务 (AKS) 解决方案历程
• Azure Kubernetes 服务 (AKS) 第 2 天操作指南
• 在边缘计算选项中选择 Kubernetes
• Azure Kubernetes 服务的 GitOps

相关资源

• AKS 群集最佳做法
• 创建具有公共 DNS 区域的专用 AKS 群集
• 使用 Terraform 和 Azure DevOps 创建专用 Azure Kubernetes 服务群集
• 使用 Azure NAT 网关和 Azure 应用程序网关创建公共或专用 Azure Kubernetes 服务群集
• 将专用终结点与专用 AKS 群集结合使用
• 使用应用程序网关入口控制器创建 Azure Kubernetes 服务群集
• Kubernetes 简介
• Azure 上的 Kubernetes 简介
• 实现 Azure Kubernetes 服务 (AKS)
• 在 Kubernetes 上开发和部署应用程序
• 优化 Azure Kubernetes 服务 (AKS) 上的计算成本