Personalizzare lo scorporo delle metriche di Prometheus nel servizio gestito di Monitoraggio di Azure per Prometheus

Questo articolo fornisce istruzioni sulla personalizzazione dello scorporo delle metriche per un cluster Kubernetes con il componente aggiuntivo delle metriche in Monitoraggio di Azure.

Configmaps

È possibile configurare quattro differenti configmap per fornire la configurazione di scorporo e altre impostazioni per il componente aggiuntivo per le metriche. Tutti gli oggetti config-map devono essere applicati allo spazio dei nomi kube-system per qualsiasi cluster.

1. ama-metrics-settings-configmap Questa mappa di configurazione include le impostazioni semplici che è possibile configurare. È possibile accettare la configmap dal repository dell'hub Git precedente, modificare le impostazioni necessarie e applicare/distribuire la configmap nello spazio dei nomi kube-system per il cluster
   • alias del cluster (per modificare il valore dell'etichetta cluster in ogni serie temporale/metrica inserita da un cluster)
   • abilitare/disabilitare le destinazioni di scorporo predefinite: attivare/disattivare lo scorporo predefinito in base alle destinazioni. La configurazione di scorporo per queste destinazioni predefinite è già predefinita/predefinita
   • abilitare lo scorporo basato sull'annotazione dei pod per spazio dei nomi
   • keep-list delle metriche: questa impostazione viene usata per controllare quali metriche sono elencate per essere consentite da ogni destinazione predefinita e per modificare il comportamento predefinito
   • intervalli di scorporo per le impostazioni predefinite/pre-definetargets. 30 secs è la frequenza di scorporo predefinita e può essere modificata per ogni destinazione predefinita usando questa configmap
   • modalità di debug: l'attivazione di questo strumento consente di eseguire il debug di problemi di metrica/inserimento mancanti. Altre informazioni sulla risoluzione dei problemi
2. ama-metrics-prometheus-config È possibile usare questa mappa di configurazione per fornire la configurazione dello scorporo di Prometheus per la replica del componente aggiuntivo. Addon esegue una replica singleton e tutti i servizi a livello di cluster possono essere individuati e raschiati fornendo processi di scorporo in questa configmap. È possibile accettare la configmap di esempio dal repository dell'hub Git precedente, aggiungere processi di scorporamento necessari e applicare/distribuire la configmap allo spazio dei nomi kube-system per il cluster. Anche se questa opzione è supportata, si noti che il modo consigliato per eliminare le destinazioni personalizzate consiste nell'usare risorse personalizzate
3. ama-metrics-prometheus-config-node (Avanzate) È possibile usare questa configmap per fornire la configurazione dello scorporo di Prometheus per il componente aggiuntivo DaemonSet in esecuzione in ogni nodo Linux del cluster; inoltre, è possibile scorporare le destinazioni a livello di nodo in ogni nodo fornendo processi di scorporo in questa configmap. Quando si usa questa configmap, è possibile usare la variabile $NODE_IP nella configurazione di scorporo, che viene sostituita dall'indirizzo IP del nodo corrispondente nel pod DaemonSet in esecuzione in ogni nodo. In questo modo si ottiene l'accesso per scorporare tutto ciò che viene eseguito su tale nodo dal componente aggiuntivo delle metriche DaemonSet. Prestare attenzione quando si usano le individuazioni nella configurazione di scorporamento in questa mappa di configurazione a livello di nodo, poiché ogni nodo del cluster configura e individua la/e destinazione/i e raccoglie le metriche ridondanti. È possibile accettare la configmap di esempio dal repository dell'hub Git precedente, aggiungere processi di scorporamento necessari e applicare/distribuire la configmap allo spazio dei nomi kube-system per il cluster
4. ama-metrics-prometheus-config-node-windows (Avanzate) È possibile usare questa configmap per fornire la configurazione dello scorporo di Prometheus per il componente aggiuntivo DaemonSet in esecuzione in ogni nodo Windows nel cluster; inoltre, è possibile scorporare le destinazioni a livello di nodo in ogni nodo fornendo processi di scorporo in questa configmap. Quando si usa questa configmap, è possibile usare la variabile $NODE_IP nella configurazione di scorporo, che verrà sostituita dall'indirizzo IP del nodo corrispondente nel pod DaemonSet in esecuzione in ogni nodo. In questo modo si ottiene l'accesso per scorporare tutto ciò che viene eseguito su tale nodo dal componente aggiuntivo delle metriche DaemonSet. Prestare attenzione quando si usano le individuazioni nella configurazione di scorporamento in questa mappa di configurazione a livello di nodo, poiché ogni nodo del cluster configura e individua la/e destinazione/i e raccoglie le metriche ridondanti. È possibile accettare la configmap di esempio dal repository dell'hub Git precedente, aggiungere processi di scorporamento necessari e applicare/distribuire la configmap allo spazio dei nomi kube-system per il cluster

Definizioni di risorse personalizzate

Il componente aggiuntivo Metriche di Monitoraggio di Azure supporta lo scorporo delle metriche di Prometheus usando Prometheus - Monitoraggi di Pod e Monitoraggi dei servizi, simile all'operatore Prometheus del software open source. L'abilitazione del componente aggiuntivo distribuirà le definizioni di risorse personalizzate di Pod e Monitoraggio dei servizi per consentire di creare risorse personalizzate. Seguire le istruzioni per creare e applicare risorse personalizzate nel cluster.

Configmap delle impostazioni del componente aggiuntivo Metriche

ama-metrics-settings-configmap può essere scaricato, modificato e applicato al cluster per personalizzare le funzionalità predefinite del componente aggiuntivo Metriche.

Abilitare e disabilitare le destinazioni predefinite

La tabella seguente include un elenco di tutte le destinazioni predefinite che il componente aggiuntivo Metriche di Monitoraggio di Azure può scorporare per impostazione predefinita e se è abilitato inizialmente. Le destinazioni predefinite vengono raschiate ogni 30 secondi. Una replica viene distribuita in destinazioni a livello di cluster, ad esempio kube-state-metrics. Un DaemonSet viene distribuito anche in destinazioni a livello di nodo, ad esempio kubelet.

Se si desidera attivare lo scorporo delle destinazioni predefinite che non sono abilitate per impostazione predefinita, modificare la configmap ama-metrics-settings-configmap per aggiornare le destinazioni elencate in default-scrape-settings-enabled in true. Applicare la configmap al cluster.

Abilitare lo scorporo basato sulle annotazioni dei pod

Per scorporare i pod dell'applicazione senza dover creare una configurazione Prometheus personalizzata, è possibile aggiungere annotazioni ai pod. L'annotazione prometheus.io/scrape: "true" è necessaria affinché il pod venga rasato. Le annotazioni prometheus.io/path e prometheus.io/port indicano il percorso e la porta in cui le metriche sono ospitate nel pod. Le annotazioni per un pod che ospita le metriche in <pod IP>:8080/metrics sono:

metadata:   
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/path: '/metrics'
    prometheus.io/port: '8080'

La cancellazione di questi pod con annotazioni specifiche è disabilitata per impostazione predefinita. Per abilitare, in ama-metrics-settings-configmapaggiungere l'espressione regolare per gli spazi dei nomi dei pod con annotazioni che si desidera scorporare come valore del campo podannotationnamespaceregex.

Ad esempio, l'impostazione seguente scorpora i pod con annotazioni solo negli spazi dei nomi kube-system e my-namespace:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = "kube-system|my-namespace"

Per abilitare lo scorporo per i pod con annotazioni in tutti gli spazi dei nomi, usare:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = ".*"

Personalizzare le metriche raccolte dalle destinazioni predefinite

Per impostazione predefinita, per tutte le destinazioni predefinite, solo le metriche minime usate nelle regole di registrazione predefinite, gli avvisi e i dashboard di Grafana vengono inseriti come descritto in minimal-ingestion-profile. Per raccogliere tutte le metriche dalle destinazioni predefinite, aggiornare i keep-list nella configmap delle impostazioni in default-targets-metrics-keep-liste impostare minimalingestionprofile su false.

Per consentire più metriche oltre alle metriche predefinite elencate per essere consentite, per tutte le destinazioni predefinite, modificare le impostazioni in default-targets-metrics-keep-list per il processo corrispondente da modificare.

Ad esempio, kubelet è l'impostazione di filtraggio delle metriche per il kubelet di destinazione predefinito. Usare lo script seguente per filtrare le metriche raccolte per le destinazioni predefinite usando il filtro basato su regex.

kubelet = "metricX|metricY"
apiserver = "mymetric.*"

Per personalizzare ulteriormente i processi predefiniti per modificare le proprietà, ad esempio la frequenza di raccolta o le etichette, disabilitare la destinazione predefinita corrispondente impostando il valore configmap per la destinazione su false. Applicare il processo usando una configmap personalizzata. Per informazioni dettagliate sulla configurazione personalizzata, vedere Personalizzare lo scorporo delle metriche di Prometheus in Monitoraggio di Azure.

Alias del cluster

L'etichetta del cluster aggiunta a ogni serie temporale raschiata usa l'ultima parte dell'ID risorsa di Azure Resource Manager del cluster del servizio Azure Kubernetes completo. Ad esempio, se l'ID risorsa è /subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/rg-name/providers/Microsoft.ContainerService/managedClusters/myclustername, l'etichetta del cluster è myclustername.

Per eseguire l'override dell'etichetta del cluster nella serie temporale raschiata, aggiornare l'impostazione cluster_alias su qualsiasi stringa prometheus-collector-settings in nella configmapama-metrics-settings-configmap. È possibile creare questa configmap se non esiste nel cluster oppure modificare quella esistente se esiste già nel cluster.

La nuova etichetta viene visualizzata anche nell'elenco a discesa dei parametri del cluster nei dashboard di Grafana invece di quello predefinito.

Modalità di debug

Per visualizzare ogni metrica che viene raschiata a scopo di debug, l'agente del componente aggiuntivo Metriche può essere configurato per l'esecuzione in modalità di debug aggiornando l'impostazione enabled su true nell'impostazione debug-mode nella configmapama-metrics-settings-configmap. È possibile creare questa configmap o modificarne una esistente. Per altre informazioni, vedere la sezione Modalità di debug in Risolvere i problemi relativi alla raccolta di metriche di Prometheus.

Impostazioni dell'intervallo di scorporo

Per aggiornare le impostazioni dell'intervallo di scorporo per qualsiasi destinazione, è possibile aggiornare la durata nell'impostazione default-targets-scrape-interval-settings per tale destinazione nella configmapama-metrics-settings-configmap. È necessario impostare gli intervalli di scorporo nel formato corretto specificato in questo sito Web. In caso contrario, il valore predefinito di 30 secondi viene applicato alle destinazioni corrispondenti. Ad esempio, se si desidera aggiornare l'intervallo di scorporo per il processo kubelet in 60s, è possibile aggiornare la sezione seguente in YAML:

default-targets-scrape-interval-settings: |-
    kubelet = "60s"
    coredns = "30s"
    cadvisor = "30s"
    kubeproxy = "30s"
    apiserver = "30s"
    kubestate = "30s"
    nodeexporter = "30s"
    windowsexporter = "30s"
    windowskubeproxy = "30s"
    kappiebasic = "30s"
    prometheuscollectorhealth = "30s"
    podannotations = "30s"

e applicare YAML usando il comando seguente: kubectl apply -f .\ama-metrics-settings-configmap.yaml

Configurare processi di scorporo dj Prometheus personalizzati

È possibile scorporare le metriche di Prometheus usando Prometheus - Monitoraggi di Pod e Monitoraggi dei servizi (scelta consigliata), simile all'operatore Prometheus del software open source. Seguire le istruzioni per creare e applicare risorse personalizzate nel cluster.

È anche possibile seguire le istruzioni per creare, convalidare e applicare la configmap per il cluster. Il formato di configurazione è simile al file di configurazione di Prometheus.

Suggerimenti ed esempi di configurazione di Prometheus

Informazioni su alcuni suggerimenti di esempi in questa sezione.

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

Se si desidera usare le impostazioni globali applicabili a tutti i processi di scorporo e si dispone solo di risorse personalizzate, è comunque necessario creare una configmap con solo le impostazioni globali (Le impostazioni per ognuna di queste nelle risorse personalizzate sostituiranno quelle nella sezione globale)

Configurazioni dello scorporo

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Autenticazione di base

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

Se si usano sia l'autenticazione di base che l'autenticazione TLS, vedere la sezione seguente. Per altri dettagli, vedere la sezione note seguente.

Scorporo basato su TLS

Se si dispone di un'istanza di Prometheus servita con TLS e si desidera scorporare le metriche da essa, è necessario impostare lo schema su https e impostare le impostazioni TLS nel file configmap o nel rispettivo CRD. Attenersi alla procedura seguente.

1. Creare un segreto nello spazio dei nomi kube-system denominato ama-metrics-mtls-secret. Ogni coppia chiave-valore specificata nella sezione dati dell'oggetto segreto verrà montata come file separato in questo percorso /etc/prometheus/certs con nomi file uguali alle chiavi specificate nella sezione dati. I valori dei segreti devono essere codificati in base64 prima di inserirli nella sezione dei dati, come illustrato di seguito.

   Di seguito è riportato un esempio di creazione di segreti tramite YAML.

   apiVersion: v1
   kind: Secret
   metadata:
     name: ama-metrics-mtls-secret
     namespace: kube-system
   type: Opaque
   data:
     <certfile>: base64_cert_content    
     <keyfile>: base64_key_content 
   

   Il segreto ama-metrics-mtls-secret viene montato nei contenitori ama-metrics nel percorso - /etc/prometheus/certs/ e viene reso disponibile per il processo che sta scorporando le metriche di Prometheus. La chiave (ad esempio certfile) nell'esempio precedente sarà il nome del file e il valore è decodificato in base64 e aggiunto al contenuto del file all'interno del contenitore e lo scorporo di Prometheus usa il contenuto di questo file per ottenere il valore usato come password usata per scorporare l'endpoint.

2. Di seguito sono riportati i dettagli su come fornire le impostazioni di configurazione TLS tramite un file configmap o CRD.

tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

 tlsConfig:
   ca:
     secret:
       key: "<certfile>" # since it is self-signed
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false

Autenticazione di base e TLS

Se si desidera usare le impostazioni di autenticazione di base e TLS nel file configmap/CRD, assicurarsi che il segreto ama-metrics-mtls-secret includa tutti i file (chiavi) nella sezione dei dati con i valori codificati base 64 corrispondenti, come illustrato di seguito.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  certfile: base64_cert_content    # used for Tls
  keyfile: base64_key_content      # used for Tls
  password1: base64-encoded-string # used for basic auth
  password2: base64-encoded-string # used for basic auth

Nota

Passaggi successivi

Configurare gli avvisi nelle metriche di Prometheus
Eseguire query sulle metriche di Prometheus
Altre informazioni sulla raccolta di metriche di Prometheus