Interface de linha de comando (CLI) do Apache Flink® no Azure HDInsight em clusters do AKS

  • Artigo

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

O Apache Flink fornece um bin/flink da Interface de Linha de Comando (CLI) para executar trabalhos (programas) que são empacotados como arquivos JAR e para controlar sua execução. A CLI faz parte da configuração do Flink e pode ser configurada em uma VM de nó único. Ele se conecta ao JobManager em execução especificado em conf/flink-conf.yaml.

Etapas de instalação

Para instalar a CLI do Flink no Linux, você precisa de uma VM do Linux para executar o script de instalação. Você precisará executar um ambiente bash se estiver no Windows.

Observação

Isso não funciona no GIT BASHdo Windows. Você precisa instalar o WSL para fazer isso funcionar no Windows.

Requisitos

  • Instale o JRE 11. Se não estiver instalado, siga as etapas descritas em /java/openjdk/download.
  • Adicione java ao PATH ou defina a variável de ambiente JAVA_HOME apontando para o diretório de instalação do JRE, de modo que $JAVA_HOME/bin/java exista.

Instalar ou atualizar

Instalar e atualizar a CLI exige executar novamente o script de instalação. Instale a CLI executando curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Se você estiver usando o Flink 1.17, poderá usar a CLI abaixo

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Esse comando instala a CLI do Flink no diretório inicial do usuário ($HOME/flink-cli). O script também pode ser baixado e executado localmente. Talvez você precise reiniciar o shell para que as alterações tenham efeito.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Observação

Se estiver executando por meio do pod SSH, use o comando bin/flink list para fornecer a saída completa.

Se você não quiser adicionar esses parâmetros todas as vezes, adicione-os ao conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Agora o comando se torna

bin/flink list

Você verá algo semelhante ao mostrado a seguir:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Abra https://microsoft.com/devicelogin no navegador e insira o código e use sua ID de microsoft.com para fazer logon. Após o logon bem-sucedido, você deverá ver a saída como a seguinte se nenhum trabalho estiver em execução.

Waiting for response...
No running jobs.
No scheduled jobs.

erro de curl Object Moved

Se você receber um erro do curl relacionado ao parâmetro -L ou uma mensagem de erro incluindo o texto "Objeto movido", tente usar o URL completo em vez do redirecionamento aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exemplos

Aqui estão alguns exemplos de ações compatíveis com a ferramenta da CLI do Flink:

Ação Finalidade
run Essa ação executa trabalhos. Requer pelo menos o jar que contém o trabalho. Argumentos relacionados ao Flink ou ao trabalho podem ser passados, se necessário.
informações Essa ação pode ser usada para imprimir um grafo de execução otimizado do trabalho passado. Novamente, o jar que contém o trabalho precisa ser passado.
lista Essa ação lista todos os trabalhos em execução ou agendados.
savepoint Essa ação pode ser usada para criar ou descartar pontos de salvamento para um determinado trabalho. Talvez seja necessário especificar um diretório de ponto de salvamento além do JobID.
cancel Essa ação pode ser usada para cancelar trabalhos em execução com base em seu JobID.
stop Essa ação combina as ações de cancelamento e de ponto de salvamento para interromper um trabalho em execução, mas também cria um ponto de salvamento para começar de novo.

Todas as ações e seus parâmetros podem ser acessados por meio dos seguintes comandos:

bin/flink --help

As informações de uso de cada ação individual

bin/flink <action> --help

Dica

  • Se você tiver um Proxy bloqueando a conexão: para obter os scripts de instalação, o proxy precisará permitir conexões HTTPS para os seguintes endereços: https://aka.ms/ e https://hdiconfigactions.blob.core.windows.net
  • Para resolver o problema, adicione o usuário ou o grupo ao perfil de autorização.

Referência