Esercitazione: Distribuire applicazioni usando GitOps con Flux v2

Per cluster Kubernetes abilitato per Azure Arc

• Un cluster Kubernetes abilitato per Azure Arc in esecuzione. I cluster basati su ARM64 sono supportati a partire dalla microsoft.flux versione 1.7.0.

  Informazioni su come connettere un cluster Kubernetes ad Azure Arc. Se è necessario connettersi tramite un proxy in uscita, assicurarsi di installare gli agenti Arc con le impostazioni proxy.

• Autorizzazioni di lettura e scrittura per il tipo di risorsa Microsoft.Kubernetes/connectedClusters.

For cluster del servizio Azure Kubernetes

• Un cluster del servizio Azure Kubernetes basato su MSI in esecuzione.

  Importante

  Assicurarsi che il cluster del servizio Azure Kubernetes venga creato con MSI e non con SPN perché l'estensione microsoft.flux non funzionerà con i cluster del servizio Azure Kubernetes basati su SPN. Per i nuovi cluster del servizio Azure Kubernetes creati con az aks create, il cluster è basato su MSI per impostazione predefinita. Per i cluster basati su SPN già creati che devono essere convertiti in MSI, eseguire az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity. Per altre informazioni, vedere Usare un'identità gestita nel servizio Azure Kubernetes.

• Autorizzazioni di lettura e scrittura per il tipo di risorsa Microsoft.ContainerService/managedClusters.

Comune a entrambi i tipi di cluster

• Autorizzazioni di lettura e scrittura per questi tipi di risorse:

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Interfaccia della riga di comando di Azure 2.15 o versione successiva. Installare l'interfaccia della riga di comando di Azure o usare i comandi seguenti per aggiornarla alla versione più recente:

  az version
  az upgrade
  

• Il client da riga di comando Kubernetes kubectl. kubectl è già installato se si usa Azure Cloud Shell.

  Eseguire l'installazione kubectl in locale usando il comando az aks install-cli:

  az aks install-cli
  

• :Registrazione dei seguenti provider di risorse di Azure.

  az provider register --namespace Microsoft.Kubernetes
  az provider register --namespace Microsoft.ContainerService
  az provider register --namespace Microsoft.KubernetesConfiguration
  

  La registrazione è un processo asincrono e terminerà entro 10 minuti. Usare il comando seguente per monitorare il processo di registrazione:

  az provider show -n Microsoft.KubernetesConfiguration -o table
  
  Namespace                          RegistrationPolicy    RegistrationState
  ---------------------------------  --------------------  -------------------
  Microsoft.KubernetesConfiguration  RegistrationRequired  Registered
  

Supporto di versione e area geografica

GitOps è attualmente supportato in tutte le aree supportate da Kubernetes abilitato per Azure Arc. GitOps è attualmente supportato in un subset delle aree supportate dal servizio Azure Kubernetes. Il servizio GitOps aggiunge nuove aree supportate a cadenza regolare.

Sono supportate la versione più recente dell'estensione Flux v2 e le due versioni precedenti (N-2). In genere è consigliabile usare la versione più recente dell'estensione.

Requisiti di rete

Gli agenti GitOps richiedono TCP in uscita all'origine del repository sulla porta 22 (SSH) o sulla porta 443 (HTTPS) per funzionare. Anche gli agenti richiedono l'accesso agli URL in uscita seguenti:

Abilitare le estensioni dell'interfaccia della riga di comando

Installare i pacchetti di estensione dell'interfaccia della riga di comando di k8s-configuration e k8s-extension più recenti:

az extension add -n k8s-configuration
az extension add -n k8s-extension

Per aggiornare questi pacchetti alle versioni più recenti:

az extension update -n k8s-configuration
az extension update -n k8s-extension

Per visualizzare un elenco di tutte le estensioni dell'interfaccia della riga di comando di Azure installate e le relative versioni, usare il comando seguente:

az extension list -o table

Experimental   ExtensionType   Name                   Path                                                       Preview   Version
-------------  --------------  -----------------      -----------------------------------------------------      --------  --------
False          whl             connectedk8s           C:\Users\somename\.azure\cliextensions\connectedk8s         False     1.2.7
False          whl             k8s-configuration      C:\Users\somename\.azure\cliextensions\k8s-configuration    False     1.5.0
False          whl             k8s-extension          C:\Users\somename\.azure\cliextensions\k8s-extension        False     1.1.0

Per cluster Kubernetes abilitato per Azure Arc

• Un cluster Kubernetes abilitato per Azure Arc in esecuzione. I cluster basati su ARM64 sono supportati a partire dalla microsoft.flux versione 1.7.0.

  Informazioni su come connettere un cluster Kubernetes ad Azure Arc. Se è necessario connettersi tramite un proxy in uscita, assicurarsi di installare gli agenti Arc con le impostazioni proxy.

• Autorizzazioni di lettura e scrittura per il tipo di risorsa Microsoft.Kubernetes/connectedClusters.

For cluster del servizio Azure Kubernetes

• Un cluster del servizio Azure Kubernetes basato su MSI in esecuzione.

  Importante

  Assicurarsi che il cluster del servizio Azure Kubernetes venga creato con MSI e non con SPN perché l'estensione microsoft.flux non funzionerà con i cluster del servizio Azure Kubernetes basati su SPN. Per i nuovi cluster del servizio Azure Kubernetes creati con az aks create, il cluster è basato su MSI per impostazione predefinita. Per i cluster basati su SPN già creati che devono essere convertiti in MSI, eseguire az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity. Per altre informazioni, vedere Usare un'identità gestita nel servizio Azure Kubernetes.

• Autorizzazioni di lettura e scrittura per il tipo di risorsa Microsoft.ContainerService/managedClusters.

Comune a entrambi i tipi di cluster

• Autorizzazioni di lettura e scrittura per questi tipi di risorse:

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Registrazione dei seguenti provider di risorse di Azure:

  • Microsoft.ContainerService
  • Microsoft.Kubernetes
  • Microsoft.KubernetesConfiguration

Supporto di versione e area geografica

GitOps è attualmente supportato in tutte le aree supportate da Kubernetes abilitato per Azure Arc. GitOps è attualmente supportato in un subset delle aree supportate dal servizio Azure Kubernetes. Il servizio GitOps aggiunge nuove aree supportate a cadenza regolare.

Sono supportate la versione più recente dell'estensione Flux v2 e le due versioni precedenti (N-2). In genere è consigliabile usare la versione più recente dell'estensione.

Requisiti di rete

Gli agenti GitOps richiedono TCP in uscita all'origine del repository sulla porta 22 (SSH) o sulla porta 443 (HTTPS) per funzionare. Anche gli agenti richiedono l'accesso agli URL in uscita seguenti:

Nell'esempio seguente viene usato il comando az k8s-configuration flux create per applicare una configurazione Flux a un cluster usando i valori e le impostazioni seguenti:

• Il gruppo di risorse che contiene il cluster è flux-demo-rg.
• Il nome del cluster Azure Arc è flux-demo-arc.
• Il tipo di cluster è Azure Arc (-t connectedClusters), ma questo esempio funziona anche con il servizio Azure Kubernetes (-t managedClusters).
• Il nome della configurazione di Flux è cluster-config.
• Lo spazio dei nomi per l'installazione della configurazione è cluster-config.
• L'URL del repository Git pubblico è https://github.com/Azure/gitops-flux2-kustomize-helm-mt.
• Il ramo del repository Git è main.
• L'ambito della configurazione è cluster. Questo ambito fornisce agli operatori le autorizzazioni per apportare modifiche in tutto il cluster. Per usare l'ambito namespace con questa esercitazione, vedere le modifiche necessarie.
• Due kustomization vengono specificate con nomi infra e apps. Ogni oggetto è associato a un percorso nel repository.
• La kustomization apps dipende dalla kustomization infra. La kustomization infra deve terminare prima dell'esecuzione della kustomization apps.
• Impostare prune=true in entrambe le kustomization. Questa impostazione garantisce che gli oggetti Flux distribuiti nel cluster vengano puliti se vengono rimossi dal repository o se la configurazione di Flux o le kustomization vengono eliminate.

az k8s-configuration flux create -g flux-demo-rg \
-c flux-demo-arc \
-n cluster-config \
--namespace cluster-config \
-t connectedClusters \
--scope cluster \
-u https://github.com/Azure/gitops-flux2-kustomize-helm-mt \
--branch main  \
--kustomization name=infra path=./infrastructure prune=true \
--kustomization name=apps path=./apps/staging prune=true dependsOn=\["infra"\]

L'estensione microsoft.flux viene installata nel cluster (se non è già stata installata in una distribuzione GitOps precedente).

Quando la configurazione del flusso viene installata per la prima volta, lo stato di conformità iniziale può essere Pending o Non-compliant perché la riconciliazione è ancora in corso. Dopo un minuto, eseguire di nuovo una query sulla configurazione per visualizzare lo stato di conformità finale.

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

Per verificare che la distribuzione sia riuscita, eseguire il comando seguente:

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

Con una distribuzione corretta vengono creati gli spazi dei nomi seguenti:

• flux-system: contiene i controller di estensione Flux.
• cluster-config: contiene gli oggetti di configurazione Flux.
• nginx, podinfo, redis: spazi dei nomi per i carichi di lavoro descritti nei manifesti nel repository Git.

Per confermare gli spazi dei nomi, eseguire il comando seguente:

kubectl get namespaces

Lo spazio dei nomi flux-system contiene gli oggetti di estensione Flux:

• Controller Flux di Azure: fluxconfig-agent, fluxconfig-controller
• Controller OSS Flux: source-controller, kustomize-controller, helm-controller, notification-controller

Gli agenti Flux e i pod controller devono trovarsi in uno stato di esecuzione. Confermare questa operazione usando il comando seguente:

kubectl get pods -n flux-system

NAME                                      READY   STATUS    RESTARTS   AGE
fluxconfig-agent-9554ffb65-jqm8g          2/2     Running   0          21m
fluxconfig-controller-9d99c54c8-nztg8     2/2     Running   0          21m
helm-controller-59cc74dbc5-77772          1/1     Running   0          21m
kustomize-controller-5fb7d7b9d5-cjdhx     1/1     Running   0          21m
notification-controller-7d45678bc-fvlvr   1/1     Running   0          21m
source-controller-df7dc97cd-4drh2         1/1     Running   0          21m

Lo spazio dei nomi cluster-config ha gli oggetti di configurazione Flux.

kubectl get crds

NAME                                                   CREATED AT
alerts.notification.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
arccertificates.clusterconfig.azure.com                2022-03-28T21:45:19Z
azureclusteridentityrequests.clusterconfig.azure.com   2022-03-28T21:45:19Z
azureextensionidentities.clusterconfig.azure.com       2022-03-28T21:45:19Z
buckets.source.toolkit.fluxcd.io                       2022-04-06T17:15:48Z
connectedclusters.arc.azure.com                        2022-03-28T21:45:19Z
customlocationsettings.clusterconfig.azure.com         2022-03-28T21:45:19Z
extensionconfigs.clusterconfig.azure.com               2022-03-28T21:45:19Z
fluxconfigs.clusterconfig.azure.com                    2022-04-06T17:15:48Z
gitconfigs.clusterconfig.azure.com                     2022-03-28T21:45:19Z
gitrepositories.source.toolkit.fluxcd.io               2022-04-06T17:15:48Z
helmcharts.source.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmreleases.helm.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmrepositories.source.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imagepolicies.image.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
imagerepositories.image.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imageupdateautomations.image.toolkit.fluxcd.io         2022-04-06T17:15:48Z
kustomizations.kustomize.toolkit.fluxcd.io             2022-04-06T17:15:48Z
providers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
receivers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
volumesnapshotclasses.snapshot.storage.k8s.io          2022-03-28T21:06:12Z
volumesnapshotcontents.snapshot.storage.k8s.io         2022-03-28T21:06:12Z
volumesnapshots.snapshot.storage.k8s.io                2022-03-28T21:06:12Z
websites.extensions.example.com                        2022-03-30T23:42:32Z

Verificare altri dettagli della configurazione usando i comandi seguenti.

kubectl get fluxconfigs -A

NAMESPACE        NAME             SCOPE     URL                                                       PROVISION   AGE
cluster-config   cluster-config   cluster   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   Succeeded   44m

kubectl get gitrepositories -A

NAMESPACE        NAME             URL                                                       READY   STATUS                                                            AGE
cluster-config   cluster-config   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   True    Fetched revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   45m

kubectl get helmreleases -A

NAMESPACE        NAME      READY   STATUS                             AGE
cluster-config   nginx     True    Release reconciliation succeeded   66m
cluster-config   podinfo   True    Release reconciliation succeeded   66m
cluster-config   redis     True    Release reconciliation succeeded   66m

kubectl get kustomizations -A


NAMESPACE        NAME                   READY   STATUS                                                            AGE
cluster-config   cluster-config-apps    True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m
cluster-config   cluster-config-infra   True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m

I carichi di lavoro vengono distribuiti dai manifesti nel repository Git.

kubectl get deploy -n nginx

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller                   1/1     1            1           67m
nginx-ingress-controller-default-backend   1/1     1            1           67m

kubectl get deploy -n podinfo

NAME      READY   UP-TO-DATE   AVAILABLE   AGE
podinfo   1/1     1            1           68m

kubectl get all -n redis

NAME                 READY   STATUS    RESTARTS   AGE
pod/redis-master-0   1/1     Running   0          68m

NAME                     TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
service/redis-headless   ClusterIP   None          <none>        6379/TCP   68m
service/redis-master     ClusterIP   10.0.13.182   <none>        6379/TCP   68m

NAME                            READY   AGE
statefulset.apps/redis-master   1/1     68m

Controllare quali controller vengono distribuiti con l'estensione del cluster Flux

Per alcuni scenari, è possibile modificare i controller Flux installati con l'estensione del cluster Flux.

I controller source, helm, kustomize e notification Flux vengono installati per impostazione predefinita. I controller image-automation e image-reflector, usati per aggiornare un repository Git quando sono disponibili nuove immagini del contenitore, devono essere abilitati in modo esplicito.

È possibile usare il comando k8s-extension per modificare le opzioni predefinite:

• --config source-controller.enabled=<true/false> (impostazione predefinita true)
• --config helm-controller.enabled=<true/false> (impostazione predefinita true)
• --config kustomize-controller.enabled=<true/false> (impostazione predefinita true)
• --config notification-controller.enabled=<true/false> (impostazione predefinita true)
• --config image-automation-controller.enabled=<true/false> (impostazione predefinita false)
• --config image-reflector-controller.enabled=<true/false> (impostazione predefinita false)

Ad esempio, per disabilitare le notifiche, è possibile impostare notification-controller.enabled su false.

Questo comando di esempio installa i controller image-reflector e image-automation. Se l'estensione Flux è stata creata automaticamente quando è stata creata per la prima volta una configurazione Flux, il nome dell'estensione è flux.

az k8s-extension create -g <cluster_resource_group> -c <cluster_name> -t <connectedClusters or managedClusters or provisionedClusters> --name flux --extension-type microsoft.flux --config image-automation-controller.enabled=true image-reflector-controller.enabled=true

Uso dell'identità Kubelet come metodo di autenticazione per i cluster del servizio Azure Kubernetes

Per i cluster del servizio Azure Kubernetes, una delle opzioni di autenticazione da usare è l'identità kubelet. Per impostazione predefinita, il servizio Azure Kubelet crea la propria identità kubelet nel gruppo di risorse gestite. Se si preferisce, è possibile usare un'identità gestita kubelet creata in modo preliminare. A tale scopo, aggiungere il parametro --config useKubeletIdentity=true al momento dell'installazione dell'estensione Flux.

az k8s-extension create --resource-group <resource-group> --cluster-name <cluster-name> --cluster-type managedClusters --name flux --extension-type microsoft.flux --config useKubeletIdentity=true

Linee guida per l'onboarding di Red Hat OpenShift

I controller Flux richiedono un vincolo di contesto di sicurezza nonroot per effettuare correttamente il provisioning dei pod nel cluster. Questi vincoli devono essere aggiunti al cluster prima di distribuire l'estensione microsoft.flux.

NS="flux-system"
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:kustomize-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:helm-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:source-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:notification-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-automation-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-reflector-controller

Per altre informazioni sulle linee guida di OpenShift per l'onboarding di Flux, vedere la documentazione di Flux.

Il portale di Azure è utile per gestire le configurazioni di GitOps e l'estensione Flux nei cluster Kubernetes o servizio Azure Kubernetes abilitati per Azure Arc. Nel portale di Azure è possibile visualizzare tutte le configurazioni di Flux associate a ogni cluster e ottenere informazioni dettagliate, incluso lo stato di conformità complessivo di ogni cluster.

Seguire questa procedura per applicare una configurazione Flux di esempio a un cluster. Come parte di questo processo, Azure installa l'estensione microsoft.flux nel cluster, se non è già stata installata in una distribuzione precedente.

1. Passare al cluster nel portale di Azure.

2. Nel menu del servizio, in Impostazioni, seleziona GitOps>Crea.

3. Nella sezione Informazioni di base:

   1. Immettere un nome per la configurazione.
   2. Immettere lo spazio dei nomi in cui verranno installate le risorse personalizzate Flux. Può trattarsi di uno spazio dei nomi esistente o di uno nuovo che verrà creato al momento della distribuzione della configurazione.
   3. In Ambito, selezionare Cluster in modo che l'operatore Flux abbia accesso per applicare la configurazione a tutti gli spazi dei nomi del cluster. Per usare l'ambito namespace con questa esercitazione, vedere le modifiche necessarie.
   4. Selezionare Avanti per continuare con la sezione Origine.

   

4. Nella sezione Origine:

   1. In Tipo di origine, selezionare Repository Git.
   2. Immettere l'URL per il repository in cui si trovano i manifesti kubernetes: https://github.com/Azure/gitops-flux2-kustomize-helm-mt.
   3. Per tipo di riferimento, selezionare Ramo. Lasciare Branch impostato su main.
   4. Per Tipo di repository, selezionare pubblico.
   5. Lasciare le altre opzioni impostate sul valore predefinito, quindi selezionare Avanti.

   

5. Nella sezione Kustomizations creare due kustomizations: infrastructure e staging. Queste kustomization sono risorse Flux, ognuna associata a un percorso nel repository, che rappresentano il set di manifesti che Flux deve riconciliare con il cluster.

   1. Seleziona Crea.

   2. Nella schermata Crea una Kustomization:

      1. Per Nome istanza, immettere infrastruttura.

      2. In Percorso, immettere ./infrastructure.

      3. Selezionare la casella Prune. Questa impostazione garantisce che gli oggetti Flux distribuiti nel cluster vengano puliti se vengono rimossi dal repository o se la configurazione di Flux o le kustomization vengono eliminate.

      4. Lasciare invariate le altre opzioni, quindi selezionare Salva per creare la kustomization infrastructure.

         

   3. La kustomization verrà visualizzata infrastructure nella sezione Kustomizations. Per creare la kustomization successiva, selezionare Crea.

   4. Nella schermata Crea una Kustomization:

      1. Per Nome istanza, immettere gestione temporanea.

      2. In Percorso, immettere ./apps/staging.

      3. Selezionare la casella Prune.

      4. Nella casella Dipende da selezionare infrastruttura.

      5. Lasciare invariate le altre opzioni, quindi selezionare Salva per creare la kustomization staging.

         

   5. Ora dovrebbero essere visualizzate entrambe le kustomization visualizzate nella sezione Kustomizations. Selezionare Avanti per continuare.

6. Esaminare le opzioni selezionate nei passaggi precedenti. Selezionare quindi Crea per completare la creazione della configurazione di GitOps.

Visualizzare configurazioni e oggetti

Per visualizzare tutte le configurazioni per un cluster, passare al cluster e selezionare GitOps nel menu del servizio.

Selezionare il nome di una configurazione per visualizzare altri dettagli, ad esempio lo stato, le proprietà e l'origine della configurazione. È quindi possibile selezionare Oggetti di configurazione per visualizzare tutti gli oggetti creati per abilitare la configurazione di GitOps. In questo modo è possibile visualizzare rapidamente lo stato di conformità e altri dettagli su ogni oggetto.

Per visualizzare altre risorse Kubernetes distribuite nel cluster, tornare alla pagina di panoramica del cluster e selezionare Risorse Kubernetes nel menu del servizio.

Per visualizzare condizioni dettagliate per un oggetto di configurazione, selezionarne il nome.

Per altre informazioni, vedere Monitorare lo stato di GitOps (Flux v2) e l'attività.

Eliminare le configurazioni di Flux

Il comando seguente elimina sia la risorsa fluxConfigurations in Azure che gli oggetti di configurazione Flux nel cluster. Poiché la configurazione di Flux è stata creata originariamente con il parametro prune=true per la kustomization, tutti gli oggetti creati nel cluster in base ai manifesti nel repository Git vengono rimossi quando viene rimossa la configurazione di Flux. Tuttavia, questo comando non rimuove l'estensione Flux stessa.

az k8s-configuration flux delete -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters --yes

Eliminare l'estensione del cluster Flux

Quando si elimina l'estensione Flux, entrambe le risorse di estensione microsoft.flux in Azure e gli oggetti di estensione Flux nel cluster vengono rimossi.

Se l'estensione Flux è stata creata automaticamente quando è stata creata per la prima volta la configurazione di Flux, il nome dell'estensione è flux.

az k8s-extension delete -g flux-demo-rg -c flux-demo-arc -n flux -t connectedClusters --yes

Eliminare la configurazione di Flux

Per eliminare una configurazione di Flux, passare al cluster in cui è stata creata la configurazione e selezionare GitOps nel menu del servizio. Selezionare la configurazione da eliminare. Nella parte superiore della pagina selezionare Elimina, quindi selezionare di nuovo Elimina quando viene richiesto di confermare.

Quando si elimina una configurazione di Flux, tutti gli oggetti di configurazione Flux nel cluster vengono eliminati. Tuttavia, questa azione non elimina l'estensione microsoft.flux stessa.

Eliminare l'estensione del cluster Flux

Quando si elimina l'estensione Flux, entrambe le risorse di estensione microsoft.flux in Azure e gli oggetti di estensione Flux nel cluster vengono rimossi.

Per un cluster Kubernetes abilitato per Azure Arc, passare al cluster e selezionare Estensioni. Selezionare l'estensione flux e selezionare Disinstalla, quindi confermare l'eliminazione.

Per i cluster del servizio Azure Kubernetes, non è possibile usare il portale di Azure per eliminare l'estensione. Usare invece il comando seguente dell'interfaccia della riga di comando di Azure:

az k8s-extension delete -g <resource-group> -c <cluster-name> -n flux -t managedClusters --yes