Personalización de la extracción de métricas de Prometheus en el servicio administrado de Azure Monitor para Prometheus

En este artículo se proporcionan instrucciones sobre cómo personalizar la extracción de métricas para un clúster de Kubernetes con el complemento de métricas en Azure Monitor.

Configmaps

Es posible establecer cuatro objetos ConfigMap diferentes para proporcionar la configuración de extracción y otras opciones de configuración para el complemento de métricas. Todos los objetos ConfigMap deben aplicarse al espacio de nombres kube-system de cualquier clúster.

1. ama-metrics-settings-configmap Este ConfigMap tiene una configuración sencilla que se puede aplicar a continuación. Puede tomar el ConfigMap del repositorio de GitHub que está más arriba, cambiar la configuración necesaria y aplicar o implementar ConfigMap en el espacio de nombres kube-system del clúster
   • alias de clúster (para cambiar el valor de la etiqueta cluster en cada serie temporal o métrica que se ingiere desde un clúster)
   • habilitar o deshabilitar destinos de extracción predeterminados: active o desactive la extracción predeterminada en función de los destinos. La configuración de extracción de estos destinos predeterminados ya está predefinida o integrada
   • habilitación de la extracción basada en anotaciones de pod por espacio de nombres
   • listas de mantenimiento de métricas: esta configuración se usa para controlar qué métricas se muestran para permitirse desde cada destino predeterminado y cambiar el comportamiento predeterminado
   • intervalos de extracción para los objetivos predeterminados/pre-definetargets. 30 secs es la frecuencia de extracción predeterminada y se puede cambiar por destino predeterminado mediante este ConfigMap
   • modo de depuración: activar esta opción ayuda a depurar problemas de ingesta o métricas que faltan; consulte más información sobre la solución de problemas
2. ama-metrics-prometheus-config Esta instancia de ConfigMap se puede usar para proporcionar la configuración de extracción de Prometheus para la réplica del complemento. El complemento ejecuta una réplica singleton y los servicios de nivel de clúster se pueden detectar y extraer proporcionando trabajos de extracción en este ConfigMap. Puede tomar el ConfigMap de ejemplo del repositorio de GitHub que está más arriba, agregar los trabajos de extracción que necesitaría y aplicar o implementar el ConfigMap al espacio de nombres kube-system del clúster. Aunque esto es compatible, ten en cuenta que la forma recomendada de extraer destinos personalizados es usar recursos personalizados,
3. ama-metrics-prometheus-config-node (Avanzado) Este ConfigMap se puede usar para proporcionar la configuración de extracción de Prometheus para el complemento DaemonSet que se ejecuta en cada nodo de Linux del clúster y se pueden extraer los destinos de nivel de nodo de cada nodo al proporcionar trabajos de extracción en este ConfigMap. Cuando se usa este ConfigMap, puede usar la variable $NODE_IP en la configuración de extracción, que se sustituye por la dirección IP del nodo correspondiente en el pod DaemonSet que se ejecuta en cada nodo. De esta manera, obtendrá acceso para extraer todo lo que se ejecute en ese nodo desde el complemento de métricas DaemonSet. Tenga cuidado al usar las detecciones en la configuración de extracción en este ConfigMap de nivel de nodo, ya que cada nodo del clúster configurará acciones de detección de objetivos y recopilará métricas redundantes. Puede tomar el ConfigMap de ejemplo del repositorio de GitHub que está más arriba, agregar los trabajos de extracción que necesitaría y aplicar o implementar el ConfigMap al espacio de nombres kube-system del clúster
4. ama-metrics-prometheus-config-node-windows (Avanzado) Este ConfigMap se puede usar para proporcionar la configuración de extracción de Prometheus para el complemento DaemonSet que se ejecuta en cada nodo de Windows del clúster y se pueden extraer los destinos de nivel de nodo de cada nodo al proporcionar trabajos de extracción en este ConfigMap. Cuando se usa este ConfigMap, puede usar la variable $NODE_IP en la configuración de extracción, que se sustituirá por la dirección IP del nodo correspondiente en el pod DaemonSet que se ejecuta en cada nodo. De esta manera, obtendrá acceso para extraer todo lo que se ejecute en ese nodo desde el complemento de métricas DaemonSet. Tenga cuidado al usar las detecciones en la configuración de extracción en este ConfigMap de nivel de nodo, ya que cada nodo del clúster configurará acciones de detección de objetivos y recopilará métricas redundantes. Puede tomar el ConfigMap de ejemplo del repositorio de GitHub que está más arriba, agregar los trabajos de extracción que necesitaría y aplicar o implementar el ConfigMap al espacio de nombres kube-system del clúster

Definiciones de recursos personalizados

El complemento de métricas de Azure Monitor admite la extracción de métricas de Prometheus mediante Prometheus: monitores de pods y monitores de servicios, similar al operador Prometheus de OSS. Al habilitar el complemento, se implementarán las definiciones de recursos personalizados del monitor de pods y de servicios para que puedas crear tus propios recursos personalizados. Sigue las instrucciones para crear y aplicar recursos personalizados en el clúster.

Configmap de configuración del complemento de métricas

ama-metrics-settings-configmap se puede descargar, editar y aplicar al clúster para personalizar las características preconfiguradas del complemento de métricas.

Habilitar y deshabilitar destinos predeterminados

En la tabla siguiente se incluye una lista de todos los destinos predeterminados que el complemento de métricas de Azure Monitor puede extraer de forma predeterminada y si está habilitado inicialmente. Los destinos predeterminados se extraen cada 30 segundos. Se implementa una réplica para extraer destinos de todo el clúster, como kube-state-metrics. Un DaemonSet también se implementa para extraer destinos de todo el nodo, como kubelet.

Si quiere activar la extracción de los destinos predeterminados que no están habilitados de forma predeterminada, edite el objeto configmapama-metrics-settings-configmap para actualizar los destinos enumerados en default-scrape-settings-enabled a true. Aplique el configmap al clúster.

Habilitación de la extracción basada en anotaciones de pod

Para extraer pods de aplicación sin necesidad de crear una configuración personalizada de Prometheus, se pueden agregar anotaciones a los pods. La anotación prometheus.io/scrape: "true" es necesaria para que se extraiga el pod. Las anotaciones prometheus.io/path y prometheus.io/port indican la ruta de acceso y el puerto en los que se hospedan las métricas en el pod. Las anotaciones de un pod que hospeda métricas en <pod IP>:8080/metrics serían:

metadata:   
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/path: '/metrics'
    prometheus.io/port: '8080'

La extracción de estos pods con anotaciones específicas está deshabilitada de forma predeterminada. Para habilitar, en ama-metrics-settings-configmap, agregue la expresión regular para los espacios de nombres de los pods con anotaciones que desea extraer como el valor del campo podannotationnamespaceregex.

Por ejemplo, la siguiente configuración extrae pods con anotaciones solo en los espacios de nombres kube-system y my-namespace:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = "kube-system|my-namespace"

Para habilitar la extracción de pods con anotaciones en todos los espacios de nombres, use:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = ".*"

Personalización de métricas recopiladas por destinos predeterminados

De forma predeterminada, para todos los destinos predeterminados, solo se ingieren métricas mínimas usadas en las reglas de grabación predeterminadas, las alertas y los paneles de Grafana, tal como se describe en minimal-ingestion-profile. Para recopilar todas las métricas de los destinos predeterminados, actualice las listas de mantenimiento en la ConfigMap de los valores en default-targets-metrics-keep-list y establezca minimalingestionprofile en false.

Para incluir más métricas en la lista de permitidos además de las métricas predeterminadas que se muestran como permitidas, para los destinos predeterminados, edite la configuración en default-targets-metrics-keep-list para el trabajo correspondiente que desea cambiar.

Por ejemplo, kubelet es la configuración de filtrado de métricas para el kubelet de destino predeterminado. Use el siguiente script para filtrar las métricas in recopiladas para los destinos predeterminados mediante el filtrado basado en regex.

kubelet = "metricX|metricY"
apiserver = "mymetric.*"

Para personalizar aún más los trabajos predeterminados para cambiar las propiedades, como la frecuencia de recopilación o las etiquetas, deshabilite el destino predeterminado correspondiente estableciendo el valor de configmap para el destino en false. A continuación, aplique el trabajo mediante un configmap personalizado. Para más información sobre la configuración de personalización, consulte Personalización de la extracción de métricas de Prometheus en Azure Monitor.

Alias de clúster

La etiqueta del clúster anexada a cada serie temporal que se extrae usará la última parte del id. de recurso completo de Azure Resource Manager del clúster de AKS. Por ejemplo, si el id. de recurso es /subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/rg-name/providers/Microsoft.ContainerService/managedClusters/myclustername, la etiqueta del clúster es myclustername.

Para invalidar la etiqueta del clúster en la serie temporal que se extrae, actualice la configuración cluster_alias a cualquier cadena de prometheus-collector-settings en el objeto configmap ama-metrics-settings-configmap. Puede crear este ConfigMap si no existe en el clúster o puede editar el existente si ya existe en el clúster.

La nueva etiqueta también se mostrará en la lista desplegable de parámetros del clúster en los paneles de Grafana en lugar de en la predeterminada.

Modo de depuración

Para ver todas las métricas que se extraen con fines de depuración, el agente del complemento de métricas se puede configurar para ejecutarse en modo de depuración mediante la actualización de la configuración enabled a true en la configuración debug-mode del objeto configmap ama-metrics-settings-configmap. Puede crear este configmap o editar uno existente. Consulte la sección Modo de depuración en la Solución de problemas de la recopilación de métricas de Prometheus para obtener más detalles.

Configuración del intervalo de extracción

Para actualizar la configuración del intervalo de extracción para cualquier destino, puede actualizar la duración en la configuración default-targets-scrape-interval-settings para ese destino en configmap ama-metrics-settings-configmap. Debe establecer los intervalos de extracción en el formato correcto especificado en este sitio web. De lo contrario, el valor predeterminado de 30 segundos se aplica a los destinos correspondientes. Por ejemplo: si desea actualizar el intervalo de extracción del trabajo kubelet a 60s, puede actualizar la sección siguiente en YAML:

default-targets-scrape-interval-settings: |-
    kubelet = "60s"
    coredns = "30s"
    cadvisor = "30s"
    kubeproxy = "30s"
    apiserver = "30s"
    kubestate = "30s"
    nodeexporter = "30s"
    windowsexporter = "30s"
    windowskubeproxy = "30s"
    kappiebasic = "30s"
    prometheuscollectorhealth = "30s"
    podannotations = "30s"

y aplique el código YAML mediante el siguiente comando: kubectl apply -f .\ama-metrics-settings-configmap.yaml

Configuración de trabajos de extracción personalizados de Prometheus

Puedes extraer métricas de Prometheus mediante Prometheus: monitores de pods y monitores de servicios (recomendado), similar al operador Prometheus de OSS. Sigue las instrucciones para crear y aplicar recursos personalizados en el clúster.

Además, puedes seguir las instrucciones para crear, validar y aplicar el mapa de configuración del clúster. El formato de configuración es similar al archivo de configuración de Prometheus.

Sugerencias y ejemplos de configuración de Prometheus

Obtenga algunas sugerencias de ejemplos en esta sección.

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

Si quieres usar la configuración global que se aplica a todos los trabajos de extracción y solo tienes Recursos personalizados, todavía tendrías que crear un mapa de configuración solo con los valores globales (la configuración para cada uno de ellos en los recursos personalizados invalidará las de la sección global).

Configuraciones de extracción

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Autenticación básica

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

Si usa tanto la autenticación básica como la autenticación TLS, consulte la sección siguiente. Para obtener más información, consulte la sección Nota más adelante.

Extracción basada en TLS

Si tiene una instancia de Prometheus atendida con TLS y desea extraer métricas de ella, debe establecer el esquema en https y establecer la configuración de TLS en el mapa de configuración o la CRD correspondiente. Siga los pasos a continuación.

1. Cree un secreto en el espacio de nombres kube-system denominado ama-metrics-mtls-secret. Cada par clave-valor especificado en la sección de datos del objeto secreto se montará como archivo independiente en esta ubicación /etc/prometheus/certs, donde los nombres de archivo coincidirán con las claves especificadas en la sección de datos. Los valores de los secretos deben codificarse en base64 antes de colocarlos en la sección de datos, como se muestra a continuación.

   Este es un ejemplo de creación de secreto mediante YAML.

   apiVersion: v1
   kind: Secret
   metadata:
     name: ama-metrics-mtls-secret
     namespace: kube-system
   type: Opaque
   data:
     <certfile>: base64_cert_content    
     <keyfile>: base64_key_content 
   

   El secreto ama-metrics-mtls-secret se monta en los contenedores ama-metrics en la ruta de acceso /etc/prometheus/certs/ y se pone a disposición del proceso que extrae las métricas de Prometheus. El valor de clave key( ex - certfile) del ejemplo anterior será el nombre de archivo y el valor se descodifica en base64, se agrega al contenido del archivo dentro del contenedor y el extractor de Prometheus usa el contenido de este archivo para obtener el valor que se utiliza como contraseña para extraer el punto de conexión.

2. A continuación se muestran los detalles sobre cómo proporcionar la configuración de TLS a través de un mapa de configuración o CRD.

tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

 tlsConfig:
   ca:
     secret:
       key: "<certfile>" # since it is self-signed
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false

Autenticación básica y TLS

Si quiere usar la configuración de autenticación básica y TLS en su instancia de configmap/CRD, solo tiene que asegurarse de que el secreto ama-metrics-mtls-secret incluya todos los archivos (claves) en la sección de datos con sus valores codificados en base 64 correspondientes, como se muestra a continuación.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  certfile: base64_cert_content    # used for Tls
  keyfile: base64_key_content      # used for Tls
  password1: base64-encoded-string # used for basic auth
  password2: base64-encoded-string # used for basic auth

Nota:

Pasos siguientes

Configuración de alertas en métricas de Prometheus
Consulta de las métricas de Prometheus
Obtenga más información sobre la recopilación de métricas de Prometheus