Tutorial: Implantar aplicativos usando o GitOps com o Flux v2

Para clusters de Kubernetes habilitado para Azure Arc

• Um cluster conectado de Kubernetes habilitado para Azure Arc que esteja em execução. Há suporte para clusters baseados em ARM64 a partir da microsoft.flux versão 1.7.0.

  Saiba como conectar um cluster de Kubernetes ao Azure Arc. Caso precise se conectar por meio de um proxy de saída, instale os agentes do Arc com as configurações de proxy.

• Permissões de leitura e de gravação no tipo de recurso Microsoft.Kubernetes/connectedClusters.

Para clusters do Serviço de Kubernetes do Azure

• Um cluster do AKS baseado em MSI que esteja em execução.

  Importante

  Verifique se o cluster do AKS foi criado com o MSI (não o SPN), porque a extensão microsoft.flux não funcionará com clusters do AKS baseados em SPN. Quanto aos novos clusters AKS criados com az aks create, o cluster é baseado em MSI por padrão. Para clusters baseados em SPN já criados que precisam ser convertidos em MSI, execute az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity. Para obter mais informações, confira Usar uma identidade gerenciada no AKS.

• Permissões de leitura e de gravação no tipo de recurso Microsoft.ContainerService/managedClusters.

Comum a ambos os tipos de cluster

• Permissões de leitura e de gravação nestes tipos de recurso:

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• CLI do Azure versão 2.15 ou posterior. Instale a CLI do Azure ou use os seguintes comandos para atualizá-la para a última versão:

  az version
  az upgrade
  

• O clinete da linha de comando do Kubernetes, kubectl. kubectl já está instalado se você usa o Azure Cloud Shell.

  Instale kubectl localmente usando o comando az aks install-cli:

  az aks install-cli
  

• Registro dos provedores de recursos do Azure a seguir:

  az provider register --namespace Microsoft.Kubernetes
  az provider register --namespace Microsoft.ContainerService
  az provider register --namespace Microsoft.KubernetesConfiguration
  

  O registro é um processo assíncrono e deve ser concluído em dez minutos. Use o seguinte código para monitorar o processo de registro:

  az provider show -n Microsoft.KubernetesConfiguration -o table
  
  Namespace                          RegistrationPolicy    RegistrationState
  ---------------------------------  --------------------  -------------------
  Microsoft.KubernetesConfiguration  RegistrationRequired  Registered
  

Suporte de versão e região

Atualmente, há suporte para o GitOps em todas as regiões às quais o Kubernetes habilitado para Azure Arc dá suporte. No momento, o GitOps tem suporte em um subconjunto das regiões às quais o AKS dá suporte. O serviço GitOps adiciona novas regiões com suporte em uma cadência regular.

Há suporte para a versão mais recente da extensão do Flux v2 e para as duas versões anteriores (N-2). Geralmente, recomenda-se usar a versão mais recente da extensão.

Requisitos de rede

Os agentes do GitOps exigem TCP de saída (saída) para a origem do repositório na porta 22 (SSH) ou na porta 443 (HTTPS) para funcionar. Eles também exigem acesso às seguintes URLs de saída:

Habilitar as extensões da CLI

Instale os pacotes mais recentes de extensão da CLI k8s-configuration e k8s-extension:

az extension add -n k8s-configuration
az extension add -n k8s-extension

Para atualizar esses pacotes para as versões mais recentes:

az extension update -n k8s-configuration
az extension update -n k8s-extension

Para ver uma lista de todas as extensões CLI do Azure instaladas e suas versões, use o seguinte comando:

az extension list -o table

Experimental   ExtensionType   Name                   Path                                                       Preview   Version
-------------  --------------  -----------------      -----------------------------------------------------      --------  --------
False          whl             connectedk8s           C:\Users\somename\.azure\cliextensions\connectedk8s         False     1.2.7
False          whl             k8s-configuration      C:\Users\somename\.azure\cliextensions\k8s-configuration    False     1.5.0
False          whl             k8s-extension          C:\Users\somename\.azure\cliextensions\k8s-extension        False     1.1.0

Para clusters de Kubernetes habilitado para Azure Arc

• Um cluster conectado de Kubernetes habilitado para Azure Arc que esteja em execução. Há suporte para clusters baseados em ARM64 a partir da microsoft.flux versão 1.7.0.

  Saiba como conectar um cluster de Kubernetes ao Azure Arc. Caso precise se conectar por meio de um proxy de saída, instale os agentes do Arc com as configurações de proxy.

• Permissões de leitura e de gravação no tipo de recurso Microsoft.Kubernetes/connectedClusters.

Para clusters do Serviço de Kubernetes do Azure

• Um cluster do AKS baseado em MSI que esteja em execução.

  Importante

  Verifique se o cluster do AKS foi criado com o MSI (não o SPN), porque a extensão microsoft.flux não funcionará com clusters do AKS baseados em SPN. Quanto aos novos clusters AKS criados com az aks create, o cluster é baseado em MSI por padrão. Para clusters baseados em SPN já criados que precisam ser convertidos em MSI, execute az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity. Para obter mais informações, confira Usar uma identidade gerenciada no AKS.

• Permissões de leitura e de gravação no tipo de recurso Microsoft.ContainerService/managedClusters.

Comum a ambos os tipos de cluster

• Permissões de leitura e de gravação nestes tipos de recurso:

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Registro dos provedores de recursos do Azure a seguir:

  • Microsoft.ContainerService
  • Microsoft.Kubernetes
  • Microsoft.KubernetesConfiguration

Suporte de versão e região

Atualmente, há suporte para o GitOps em todas as regiões às quais o Kubernetes habilitado para Azure Arc dá suporte. No momento, o GitOps tem suporte em um subconjunto das regiões às quais o AKS dá suporte. O serviço GitOps adiciona novas regiões com suporte em uma cadência regular.

Há suporte para a versão mais recente da extensão do Flux v2 e para as duas versões anteriores (N-2). Geralmente, recomenda-se usar a versão mais recente da extensão.

Requisitos de rede

Os agentes do GitOps exigem TCP de saída (saída) para a origem do repositório na porta 22 (SSH) ou na porta 443 (HTTPS) para funcionar. Eles também exigem acesso às seguintes URLs de saída:

O exemplo a seguir usa o comando az k8s-configuration flux create para aplicar uma configuração do Flux a um cluster, usando os seguintes valores e configurações:

• O grupo de recursos que contém o cluster é flux-demo-rg.
• O nome do cluster do Azure Arc é flux-demo-arc.
• O tipo de cluster é o Azure Arc (-t connectedClusters), mas este exemplo também funciona com o AKS (-t managedClusters).
• O nome da configuração do Flux é cluster-config.
• O namespace para a instalação de configuração é cluster-config.
• A URL para o repositório Git público é https://github.com/Azure/gitops-flux2-kustomize-helm-mt.
• O branch do repositório Git é main.
• O escopo da configuração é cluster. Este escopo fornece as permissões de operadores para fazer alterações em todo o cluster. Para usar namespace o escopo com este tutorial, consulte as alterações necessárias.
• Duas kustomizações são especificadas com os nomes infra e apps. Cada uma é associada a um caminho no repositório.
• A kustomização apps depende da kustomização infra. (A kustomização infra precisa ser concluída antes da execução da kustomização apps.)
• Defina prune=true em ambas as kustomizações. Essa configuração garante que os objetos que o Flux implantou no cluster sejam limpos se forem removidos do repositório ou se a configuração ou as personalizações do Flux forem excluídas.

az k8s-configuration flux create -g flux-demo-rg \
-c flux-demo-arc \
-n cluster-config \
--namespace cluster-config \
-t connectedClusters \
--scope cluster \
-u https://github.com/Azure/gitops-flux2-kustomize-helm-mt \
--branch main  \
--kustomization name=infra path=./infrastructure prune=true \
--kustomization name=apps path=./apps/staging prune=true dependsOn=\["infra"\]

A extensão microsoft.flux será instalada no cluster (se ainda não tiver sido instalada em uma implantação anterior do GitOps).

Quando a configuração de fluxo é instalada pela primeira vez, o estado de conformidade inicial pode ser Pending ou Non-compliant porque a reconciliação ainda está em andamento. Após cerca de um minuto, consulte a configuração novamente para ver o estado de conformidade final.

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

Para confirmar se a implantação foi bem-sucedida, execute o seguinte comando:

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

Com uma implantação bem-sucedida, os seguintes namespaces são criados:

• flux-system: contém os controladores de extensão do Flux.
• cluster-config: contém os objetos de configuração do Flux.
• nginx, podinfo, redis: namespaces para cargas de trabalho descritas em manifestos no repositório Git.

Para confirmar os namespaces, execute o seguinte comando:

kubectl get namespaces

O namespace flux-system contém os objetos de extensão do Flux:

• Controladores do Flux do Azure: fluxconfig-agent e fluxconfig-controller
• Controladores do Flux do OSS: source-controller, kustomize-controller, helm-controller e notification-controller

O agente do Flux e os pods de controlador devem estar em estado de execução. Confirme isso usando o seguinte comando:

kubectl get pods -n flux-system

NAME                                      READY   STATUS    RESTARTS   AGE
fluxconfig-agent-9554ffb65-jqm8g          2/2     Running   0          21m
fluxconfig-controller-9d99c54c8-nztg8     2/2     Running   0          21m
helm-controller-59cc74dbc5-77772          1/1     Running   0          21m
kustomize-controller-5fb7d7b9d5-cjdhx     1/1     Running   0          21m
notification-controller-7d45678bc-fvlvr   1/1     Running   0          21m
source-controller-df7dc97cd-4drh2         1/1     Running   0          21m

O namespace cluster-config tem os objetos de configuração do Flux.

kubectl get crds

NAME                                                   CREATED AT
alerts.notification.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
arccertificates.clusterconfig.azure.com                2022-03-28T21:45:19Z
azureclusteridentityrequests.clusterconfig.azure.com   2022-03-28T21:45:19Z
azureextensionidentities.clusterconfig.azure.com       2022-03-28T21:45:19Z
buckets.source.toolkit.fluxcd.io                       2022-04-06T17:15:48Z
connectedclusters.arc.azure.com                        2022-03-28T21:45:19Z
customlocationsettings.clusterconfig.azure.com         2022-03-28T21:45:19Z
extensionconfigs.clusterconfig.azure.com               2022-03-28T21:45:19Z
fluxconfigs.clusterconfig.azure.com                    2022-04-06T17:15:48Z
gitconfigs.clusterconfig.azure.com                     2022-03-28T21:45:19Z
gitrepositories.source.toolkit.fluxcd.io               2022-04-06T17:15:48Z
helmcharts.source.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmreleases.helm.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmrepositories.source.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imagepolicies.image.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
imagerepositories.image.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imageupdateautomations.image.toolkit.fluxcd.io         2022-04-06T17:15:48Z
kustomizations.kustomize.toolkit.fluxcd.io             2022-04-06T17:15:48Z
providers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
receivers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
volumesnapshotclasses.snapshot.storage.k8s.io          2022-03-28T21:06:12Z
volumesnapshotcontents.snapshot.storage.k8s.io         2022-03-28T21:06:12Z
volumesnapshots.snapshot.storage.k8s.io                2022-03-28T21:06:12Z
websites.extensions.example.com                        2022-03-30T23:42:32Z

Confirme outros detalhes da configuração usando os comandos a seguir.

kubectl get fluxconfigs -A

NAMESPACE        NAME             SCOPE     URL                                                       PROVISION   AGE
cluster-config   cluster-config   cluster   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   Succeeded   44m

kubectl get gitrepositories -A

NAMESPACE        NAME             URL                                                       READY   STATUS                                                            AGE
cluster-config   cluster-config   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   True    Fetched revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   45m

kubectl get helmreleases -A

NAMESPACE        NAME      READY   STATUS                             AGE
cluster-config   nginx     True    Release reconciliation succeeded   66m
cluster-config   podinfo   True    Release reconciliation succeeded   66m
cluster-config   redis     True    Release reconciliation succeeded   66m

kubectl get kustomizations -A


NAMESPACE        NAME                   READY   STATUS                                                            AGE
cluster-config   cluster-config-apps    True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m
cluster-config   cluster-config-infra   True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m

As cargas de trabalho são implantadas de manifestos no repositório Git.

kubectl get deploy -n nginx

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller                   1/1     1            1           67m
nginx-ingress-controller-default-backend   1/1     1            1           67m

kubectl get deploy -n podinfo

NAME      READY   UP-TO-DATE   AVAILABLE   AGE
podinfo   1/1     1            1           68m

kubectl get all -n redis

NAME                 READY   STATUS    RESTARTS   AGE
pod/redis-master-0   1/1     Running   0          68m

NAME                     TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
service/redis-headless   ClusterIP   None          <none>        6379/TCP   68m
service/redis-master     ClusterIP   10.0.13.182   <none>        6379/TCP   68m

NAME                            READY   AGE
statefulset.apps/redis-master   1/1     68m

Controlar quais controladores são implantados com a extensão de cluster do Flux

Para alguns cenários, talvez seja recomendável alterar quais controladores de Flux estão instalados com a extensão de cluster do Flux.

Os controladores do Flux source, helm, kustomize e notification são instalados por padrão. Os controladores image-automation e image-reflector, usados para atualizar um repositório Git quando novas imagens de contêiner estão disponíveis, devem ser habilitados explicitamente.

Você pode usar o comando k8s-extension para alterar as opções padrão:

• --config source-controller.enabled=<true/false> (padrão true)
• --config helm-controller.enabled=<true/false> (padrão true)
• --config kustomize-controller.enabled=<true/false> (padrão true)
• --config notification-controller.enabled=<true/false> (padrão true)
• --config image-automation-controller.enabled=<true/false> (padrão false)
• --config image-reflector-controller.enabled=<true/false> (padrão false)

Por exemplo, para desabilitar as notificações, você pode definir notification-controller.enabled como false.

Este comando de exemplo instala os controladores image-reflector e image-automation. Se a extensão Flux foi criada automaticamente quando uma configuração do Flux foi criada pela primeira vez, o nome da extensão é flux.

az k8s-extension create -g <cluster_resource_group> -c <cluster_name> -t <connectedClusters or managedClusters or provisionedClusters> --name flux --extension-type microsoft.flux --config image-automation-controller.enabled=true image-reflector-controller.enabled=true

Uso da identidade de Kubelet como método de autenticação para clusters AKS

Para clusters AKS, uma das opções de autenticação é a identidade de kubelet. Por padrão, o AKS cria sua própria identidade kubelet no grupo de recursos gerenciados. Se preferir, você poderá usar uma identidade gerenciada de kubelet criada previamente. Para fazer isso, adicione o parâmetro --config useKubeletIdentity=true no momento da instalação da extensão do Flux.

az k8s-extension create --resource-group <resource-group> --cluster-name <cluster-name> --cluster-type managedClusters --name flux --extension-type microsoft.flux --config useKubeletIdentity=true

Diretrizes de integração do Red Hat OpenShift

Os controladores Flux exigem uma Restrição de contexto de segurança não raiz para provisionar corretamente pods no cluster. Essas restrições precisam ser adicionadas ao cluster antes de implantar a extensão microsoft.flux.

NS="flux-system"
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:kustomize-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:helm-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:source-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:notification-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-automation-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-reflector-controller

Para obter mais informações sobre as diretrizes do OpenShift para integrar o Flux, confira a documentação do Flux.

O portal do Azure é útil para gerenciar as configurações do GitOps e a extensão do Flux em clusters do AKS ou de Kubernetes habilitado para Azure Arc. No portal do Azure, você pode ver todas as configurações do Flux associadas a cada cluster e obter informações detalhadas, incluindo o estado geral de conformidade de cada cluster.

Siga estas etapas para aplicar um exemplo de configuração do Flux a um cluster. Como parte desse processo, o Azure instalará a extensão microsoft.flux no cluster, caso ainda não tenha sido instalada em uma implantação anterior.

1. Navegue até seu cluster no portal do Azure.

2. No menu de serviço, em Configurações, selecione GitOps>Criar.

3. Na seção Básico:

   1. Insira um nome para a configuração.
   2. Insira o namespace no qual os recursos personalizados do Flux serão instalados. Pode ser um namespace existente ou um novo que será criado quando a configuração for implantada.
   3. Em Escopo, selecione Cluster para que o operador do Flux tenha acesso para aplicar a configuração a todos os namespaces no cluster. Para usar namespace o escopo com este tutorial, consulte as alterações necessárias.
   4. Selecione Avançar para continuar para a seção Origem.

   

4. Na seção Origem:

   1. Em Tipo de origem, selecione Repositório Git.
   2. Insira a URL do repositório em que os manifestos do Kubernetes estão localizados: https://github.com/Azure/gitops-flux2-kustomize-helm-mt.
   3. Para tipo de referência, selecione Branch. Deixe Branch definido como principal.
   4. Para Tipo de repositório, selecione Público.
   5. Deixe as outras opções definidas como padrão e selecione Avançar.

   

5. Na seção Kustomizations, crie duas Kustomizations: infrastructure e staging. Essas kustomizações são recursos do Flux, e cada uma é associada a um caminho no repositório, que representa o conjunto de manifestos que o Flux deve reconciliar com o cluster.

   1. Selecione Criar.

   2. Na tela Criar uma Kustomização:

      1. Para Nome da instância, insira infraestrutura.

      2. Para Caminho, insira ./infrastructure.

      3. Marque a caixa Remover. Essa configuração garante que os objetos que o Flux implantou no cluster sejam limpos se forem removidos do repositório ou se a configuração ou as personalizações do Flux forem excluídas.

      4. Deixe as outras opções como estão e selecione Salvar para criar a kustomização infrastructure.

         

   3. Você verá a kustomização infrastructure na seção Kustomizações. Para criar a próxima kustomização, selecione Criar.

   4. Na tela Criar uma Kustomização:

      1. Em Nome da instância, insira preparo.

      2. Para Caminho, insira ./apps/staging.

      3. Marque a caixa Remover.

      4. Na caixa Depende de, selecione infraestrutura.

      5. Deixe as outras opções como estão e selecione Salvar para criar a kustomização staging.

         

   5. Agora você deve ver as duas kustomizações mostradas na seção Kustomizações. Selecione Avançar para continuar.

6. Examine as opções selecionadas nas etapas anteriores. Em seguida, selecione Criar para concluir a criação da configuração do GitOps.

Exibir configurações e objetos

Para exibir todas as configurações de um cluster, navegue até o cluster e selecione GitOps no menu de serviço.

Selecione o nome de uma configuração para exibir mais detalhes, como o status, as propriedades e a origem da configuração. Em seguida, você pode selecionar Objetos de configuração para exibir todos os objetos que foram criados para habilitar a configuração do GitOps. Isso permite que você veja rapidamente o estado de conformidade e outros detalhes sobre cada objeto.

Para ver outros recursos do Kubernetes implantados no cluster, volte à página de visão geral do cluster e selecione Recursos do Kubernetes no menu de serviço.

Para exibir condições detalhadas de um objeto de configuração, selecione seu nome.

Para obter mais informações, consulte Monitorar o status e a atividade do GitOps (Flux v2).

Excluir as configurações do Flux

O comando a seguir exclui o recurso fluxConfigurations no Azure e os objetos de configuração do Flux no cluster. Como a configuração do Flux foi criada originalmente com o parâmetro prune=true para a personalização, todos os objetos criados no cluster com base em manifestos no repositório Git serão removidos quando a configuração do Flux for removida. No entanto, esse comando não remove a própria extensão do Flux.

az k8s-configuration flux delete -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters --yes

Excluir a extensão do cluster do Flux

Quando você excluir a extensão do Flux, o recurso de extensão microsoft.flux no Azure e os objetos de extensão do Flux no cluster serão removidos.

Se a extensão do Flux tiver sido criada automaticamente quando a configuração do Flux foi criada pela primeira vez, o nome da extensão será flux.

az k8s-extension delete -g flux-demo-rg -c flux-demo-arc -n flux -t connectedClusters --yes

Excluir a configuração do Flux

Para excluir uma configuração do Flux, navegue até o cluster em que a configuração foi criada e selecione GitOps no menu de serviço. Selecione a configuração que deseja excluir. Na parte superior da página, selecione Excluir e, em seguida, selecione Excluir novamente quando solicitado a confirmar.

Quando você exclui uma configuração do Flux, todos os objetos de configuração do Flux no cluster são excluídos. No entanto, essa ação não exclui a própria extensão microsoft.flux.

Excluir a extensão do cluster do Flux

Quando você excluir a extensão do Flux, o recurso de extensão microsoft.flux no Azure e os objetos de extensão do Flux no cluster serão removidos.

Para um cluster do Kubernetes habilitado para Azure Arc, navegue até o cluster e selecione Extensões. Selecione a extensão flux e selecione Desinstalar, depois confirme a exclusão.

Para clusters do AKS, você não pode usar o portal do Azure para excluir a extensão. Em vez disso, use os seguintes comandos da CLI do Azure:

az k8s-extension delete -g <resource-group> -c <cluster-name> -n flux -t managedClusters --yes