Устранение неполадок с насыщенностью памяти в кластерах AKS

Статья
10/15/2024

В этой статье рассматриваются методы устранения проблем с насыщенностью памяти. Насыщенность памяти возникает, если по крайней мере одно приложение или процесс требует больше памяти, чем узел контейнера может предоставить, или если узел исчерпает доступную память.

Предварительные требования

Средство командной строки Kubernetes kubectl . Чтобы установить kubectl с помощью Azure CLI, выполните команду az aks install-cli.

Симптомы

В следующей таблице описаны распространенные симптомы насыщенности памяти.

Симптом	Description
Незапланированные модули pod	Дополнительные модули pod не могут быть запланированы, если узел близок к заданному ограничению памяти.
Вытеснение pod	Если узел не хватает памяти, kubelet может вытеснить модули pod. Хотя плоскость управления пытается перепланировать вытеснили модули pod на других узлах, имеющих ресурсы, нет никакой гарантии, что другие узлы имеют достаточно памяти для запуска этих модулей pod.
Узел не готов	Насыщенность памяти может вызвать `kubelet` и `containerd` стать неответственным, в конечном итоге вызывая проблемы готовности узла.
Вне памяти (OOM) убивает	Проблема OOM возникает, если вытеснение модуля pod не может предотвратить проблему с узлом.

Контрольный список по устранению неполадок

Чтобы уменьшить насыщенность памяти, используйте эффективные средства мониторинга и применяйте рекомендации.

Шаг 1. Определение узлов с насыщенностью памяти

Используйте любой из следующих методов для идентификации узлов с насыщенностью памяти:

В веб-браузере используйте функцию Аналитики контейнеров AKS в портал Azure.
В консоли используйте средство командной строки Kubernetes (kubectl).

Браузер
Командная строка

Container Insights — это функция в AKS, которая отслеживает производительность рабочей нагрузки контейнера. Дополнительные сведения см. в разделе "Включение аналитики контейнеров" для кластера Служба Azure Kubernetes (AKS).

На портал Azure найдите и выберите службы Kubernetes.
В списке служб Kubernetes выберите имя кластера.
В области навигации кластера найдите заголовок "Мониторинг " и выберите " Аналитика".
Задайте соответствующее значение диапазона времени.
Выберите вкладку "Узлы".
В списке метрик выберите рабочий набор памяти (вычисляемый из allocatable).
В селекторе процентилей задайте для примера значение Max, а затем дважды выберите метку столбца Max % . Это действие сортирует узлы таблицы по максимальному проценту используемой памяти от максимального до наименьшего.

В таблице есть четыре строки, и они представляют четыре узла в масштабируемом наборе виртуальных машин пула агентов AKS. Все состояния : **ОК**, максимальный процент используемой памяти составляет от 64 до 58 процентов, максимальная используемая память составляет от 2,6 ГБ до 2,86 ГБ, количество используемых контейнеров — 20–24, а время ожидания — от 6 до 15 дней. Не указаны контроллеры.
Так как первый узел имеет наибольшее использование памяти, выберите этот узел, чтобы изучить использование памяти модулей pod, работающих на узле.

Девять процессов перечислены в узле. Все состояния : **ОК**, максимальный процент памяти, используемой для процессов, составляет от 16 до 0,3 процента, максимальная используемая память составляет от 0,7 мс до 22 мс, количество используемых контейнеров — 1–3, а время ожидания — 3–4 дня. В отличие от узла, все процессы имеют соответствующий контроллер. На этом снимке экрана имена контроллеров являются префиксами имен процессов и гиперссылками.

Примечание.

Процент использования ЦП или памяти для модулей pod зависит от запроса ЦП, указанного для контейнера. Он не представляет процент использования ЦП или памяти для узла. Таким образом, обратите внимание на фактическое использование ЦП или памяти, а не процент использования ЦП или памяти для модулей pod.

Эта процедура использует команды kubectl в консоли. Отображается только текущее состояние узлов.

Получите использование памяти узлов, выполнив команду kubectl top node :

kubectl top node

Выходные данные этой команды похожи на следующий текст:

NAME                                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
aks-agentpool-30486455-vmss000003    239m         12%    3148Mi          69%
aks-agentpool-30486455-vmss000005    326m         17%    2143Mi          46%
aks-testmemory-30616462-vmss000000   66m          3%     1532Mi          28%
aks-testmemory-30616462-vmss000001   90m          4%     1689Mi          31%
aks-testmemory-30616462-vmss000002   74m          3%     1715Mi          31%

Получите список модулей pod, выполняемых на узле, и их использование памяти, выполнив команды kubectl get pod и kubectl top pods :

kubectl get pods --all-namespaces --output wide \
    | grep <node-name> \
    | awk '{print $1" "$2}' \
    | xargs -n2 kubectl top pods --namespace \
    | awk 'NR==1 || NR%2==0' \
    | sort -k3n \
    | column -t

Примечание.

В этом фрагменте кода замените <имя> узла фактическим именем узла.

Выходные данные фрагмента кода похожи на следующий текст:

NAME                                 CPU(cores)   MEMORY(bytes)
coredns-autoscaler-5655d66f64-9fp2k  1m           7Mi
shippingservice-7946db7679-qzplg     6m           15Mi
azure-ip-masq-agent-tb8xv            1m           16Mi
cloud-node-manager-wggqd             1m           16Mi
kube-proxy-c244z                     1m           22Mi
coredns-59b6bf8b4f-5zg5s             3m           24Mi
coredns-59b6bf8b4f-5x62d             3m           25Mi
currencyservice-7977f668dc-rvbwm     12m          32Mi
csi-azurefile-node-9fcx8             2m           38Mi
metrics-server-5f8d84558d-frsq4      4m           42Mi
metrics-server-5f8d84558d-rc5nj      4m           43Mi
csi-azuredisk-node-9fh7h             2m           46Mi
adservice-795589cf6f-xs66r           4m           87Mi
ama-metrics-node-54sfj               16m          249Mi
ama-logs-rs-6db98d6dff-vj4xw         13m          259Mi
ama-logs-w5bmd                       12m          403Mi

Просмотрите запросы и ограничения для каждого модуля pod на узле, выполнив команду kubectl описать узел :

kubectl describe node <node-name>

Выходные данные этой команды похожи на следующий текст:

  Namespace    Name                                 CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
  ---------    ----                                 ------------  ----------  ---------------  -------------  ---
  default      adservice-795589cf6f-dgrx7           200m (10%)    300m (15%)  180Mi (3%)       300Mi (6%)     49m
  default      cartservice-6d994d9676-tcr6m         200m (10%)    300m (15%)  64Mi (1%)        128Mi (2%)     49m
  default      frontend-848d9f9dc9-x712b            100m (5%)     200m (10%)  64Mi (1%)        128Mi (2%)     49m
  default      loadgenerator-5c9656f8d6-7vmjr       300m (15%)    500m (26%)  256Mi (5%)       512Mi (11%)    38m
  default      redis-cart-799c85c644-vzpjl          70m (3%)      125m (6%)   200Mi (4%)       256Mi (5%)     49m
  kube-system  ama-logs-zs4qf                       150m (7%)     1 (52%)     550Mi (12%)      1774Mi (38%)   16h
  kube-system  azure-ip-masq-agent-rqqpn            100m (5%)     500m (26%)  50Mi (1%)        250Mi (5%)     16h
  kube-system  cloud-node-manager-nbnrq             50m (2%)      0 (0%)      50Mi (1%)        512Mi (11%)    16h
  kube-system  coredns-59b6bf8b4f-m2prf             100m (5%)     3 (157%)    70Mi (1%)        500Mi (10%)    16h
  kube-system  csi-azuredisk-node-h445m             30m (1%)      0 (0%)      60Mi (1%)        400Mi (8%)     16h
  kube-system  csi-azurefile-node-489cp             30m (1%)      0 (0%)      60Mi (1%)        600Mi (13%)    16h
  kube-system  konnectivity-agent-665c7dfdb8-25p2f  20m (1%)      1 (52%)     20Mi (1%)        1Gi (22%)      15h
  kube-system  kube-proxy-v9gp4                     100m (5%)     0 (0%)      0 (0%)           0 (0%)         16h
Allocated resources:
  ...

Примечание.

Процент использования ЦП или памяти для узла основан на выделенных ресурсах на узле, а не на фактической емкости узла.

Теперь, когда вы определили модули pod, использующие высокую память, можно определить приложения, работающие в модуле pod.

Шаг 2. Ознакомьтесь с рекомендациями по предотвращению насыщенности памяти

Ознакомьтесь со следующей таблицей, чтобы узнать, как реализовать рекомендации по предотвращению насыщенности памяти.

Рекомендация	Description
Использование запросов и ограничений памяти	Kubernetes предоставляет параметры для указания минимального размера памяти (запроса) и максимального размера памяти (ограничения) для контейнера. Настроив лимиты для объектов pod, можно избежать нехватки памяти на узле. Убедитесь, что суммарные лимиты для всех работающих pod не превышают доступную память узла. Эта ситуация называется переполнением. Планировщик Kubernetes выделяет ресурсы на основе заданных запросов и ограничений через качество обслуживания (QoS). Без соответствующих ограничений планировщик может выделить слишком много объектов pod на одном узле. Это может в конечном итоге привести к отключению узла. Кроме того, когда компонент kubelet исключает объекты pod, он отдает приоритет тем, в которых использование памяти превышает определенные для них запросы. Рекомендуем установить запрос памяти, близкий к фактическому использованию.
Включение горизонтального автомасштабирования pod	При масштабировании кластера вы можете сбалансировать запросы по множеству pod, чтобы насыщенности памяти не возникало. Этот метод позволяет уменьшить занимаемую память на определенном узле.
Использование тегов защиты от сопоставления	В сценариях, когда память не имеет ограничений по умолчанию, вы можете использовать селекторы узлов, а также теги сходства или защиты от сходства, которые могут изолировать рабочую нагрузку на определенных узлах. С помощью тегов защиты от сходства можно запретить на этих узлах выделение модулей pod для других рабочих нагрузок. Это уменьшает проблему с насыщенностью памяти.
Выбор более высоких виртуальных машин SKU	Виртуальные машины с большим объемом памяти (ОЗУ) лучше справляются с ее высоким потреблением. Чтобы использовать эту функцию, создайте новый пул узлов, изолируйте узлы (предотвратив их выделение) и очистите имеющийся пул.
Изоляция рабочих нагрузок системы и пользователей	Рекомендуется запускать приложения в пользовательском пуле узлов. Эта конфигурация гарантирует, что вы можете изолировать модули pod, относящиеся к Kubernetes, в системном пуле, поддерживая производительность кластера.

Дополнительная информация

Заявление об отказе от ответственности за сведения о продуктах сторонних производителей

В этой статье упомянуты программные продукты независимых производителей. Корпорация Microsoft не дает никаких гарантий, подразумеваемых и прочих, относительно производительности и надежности этих продуктов.

Заявление об отказе от ответственности за контактные данные сторонней организации

Корпорация Майкрософт предоставляет контактные данные сторонних производителей в целях получения дополнительных сведений по данной теме. Эти данные могут быть изменены без предварительного уведомления. Корпорация Майкрософт не гарантирует точность контактных данных сторонних производителей.

Свяжитесь с нами для получения помощи

Если у вас есть вопросы или вам нужна помощь, создайте запрос в службу поддержки или обратитесь за поддержкой сообщества Azure. Вы также можете отправить отзыв о продукте в сообщество отзывов Azure.

Поделиться через