Acessar o cliente da CLI do Apache Flink® CLI usando o Secure Shell (SSH) no Azure HDInsight em clusters do AKS com o portal do Azure

  • Artigo

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

Este exemplo guia como inserir o cliente da CLI do Apache Flink no Azure HDInsight em clusters do AKS usando SSH no portal do Microsoft Azure. Abordamos o SQL e o Flink DataStream.

Pré-requisitos

  • Você precisa selecionar SSH durante a criação do Cluster Flink

Conectar-se ao SSH no portal do Azure

Após a criação do cluster Flink, você poderá observar no painel esquerdo a opção Configurações para acessar Secure Shell

Captura de tela mostrando como criar o POD e conectar-se ao webssh.

Conectar-se ao SQL Client

Você precisa alterar o diretório para /opt/flink-webssh/bin e, em seguida, executar ./sql-client.sh

Captura de tela de como localizar o arquivo do cliente sql.

Captura de tela mostrando como executar o cliente SQL.

Agora você está no SQL Client no Flink

Consulte este documento para executar mais alguns testes.

O Flink fornece uma CLI (interface de linha de comando) bin/flink para executar programas que são empacotados como arquivos JAR e para controlar a execução deles.

A CLI faz parte do SSH (Secure Shell) e se conecta ao JobManager em execução e usa as configurações de cliente especificadas em conf/flink-conf.yaml.

Enviar um trabalho significa carregar o JAR do trabalho no pod SSH e iniciar a execução do trabalho. Para ilustrar um exemplo deste artigo, selecionamos um trabalho de longa execução como examples/streaming/StateMachineExample.jar.

Observação

Para gerenciar dependências, a expectativa é criar e enviar um fat jar para o trabalho.

  • Carregue o fat jar de trabalho do ABFS para webssh.

  • Com base no caso de uso, você precisará editar as configurações do cliente usando o gerenciamento de configuração do Flink em flink-client-configs.

  • Vamos executar StateMachineExample.jar

    ./bin/flink run \
    --detached \
    ./examples/streaming/StateMachineExample.jar

Observação

O envio do trabalho usando --detached fará com que o comando retorne após a conclusão do envio. A saída contém a ID do trabalho recém-enviado.

Referência