Migrar clusters do Apache Hadoop local para o Azure HDInsight – motivação e benefícios

Este artigo é o primeiro de uma série sobre as melhores práticas para a migração de implantações do ecossistema Apache Hadoop local para o Azure HDInsight. Esta série de artigos é para as pessoas responsáveis pelo design, pela implantação e pela migração de soluções do Apache Hadoop no Azure HDInsight. As funções que podem se beneficiar destes artigos incluem arquitetos de nuvem, administradores do Hadoop e engenheiros de DevOps. Desenvolvedores de software, engenheiros e cientistas de dados também devem se beneficiar da explicação de como os diferentes tipos de clusters funcionam na nuvem.

Por que migrar para o Azure HDInsight

O Azure HDInsight é uma distribuição de nuvem dos componentes do Hadoop. O Azure HDInsight torna mais fácil, rápido e econômico processar grandes quantidades de dados. O HDInsight inclui as estruturas de software livre mais populares, como:

• Apache Hadoop
• Apache Spark
• Apache Hive com LLAP
• Apache Kafka
• HBase no Apache

Vantagens do Azure HDInsight em relação ao Hadoop local

• Baixo custo – os custos podem ser reduzidos criando clusters sob demanda e pagando somente pelo que é usado. Computação e armazenamento separados fornecem flexibilidade ao manter o volume de dados independente do tamanho do cluster.

• Criação de cluster automatizada – a criação de cluster automatizada requer uma mínima instalação e configuração. A automação pode ser usada para clusters sob demanda.

• Hardware gerenciado e configuração – não é necessário se preocupar com o hardware físico nem com a infraestrutura com um cluster do HDInsight. Basta especificar a configuração do cluster e o Azure o configurará.

• Facilmente escalável: o HDInsight permite que vocêescale as cargas de trabalho para mais ou para menos. O Azure cuida da redistribuição de dados e do rebalanceamento da carga de trabalho sem interromper os trabalhos de processamento de dados.

• Disponibilidade global - o HDInsight está disponível em mais regiões do que qualquer outra oferta de análise de Big Data. O Azure HDInsight também está disponível no Azure Governamental, na China e na Alemanha, o que permite atender às necessidades da sua empresa nas principais áreas soberanas.

• Seguro e em conformidade: o HDInsight permite que você proteja seus ativos de dados corporativos com a Rede Virtual do Azure, criptografia e integração com Microsoft Entra ID. O HDInsight também atende aos padrões de conformidade mais populares do setor e do governo.

• Gerenciamento de versão simplificado: o Azure HDInsight gerencia a versão dos componentes do ecossistema do Hadoop e os mantém atualizados. Atualizações de software geralmente são um processo complexo para implantações locais.

• Clusters menores otimizados para cargas de trabalho específicas com menos dependências entre componentes - uma configuração típica do Hadoop local usa um único cluster que serve para muitas finalidades. Com o Azure HDInsight, clusters de carga de trabalho específica podem ser criados. A criação de clusters para cargas de trabalho específicas elimina a complexidade de manter um único cluster com complexidade crescente.

• Produtividade – você pode usar várias ferramentas para o Hadoop e o Spark em seu ambiente de desenvolvimento preferido.

• Extensibilidade com ferramentas personalizadas ou aplicativos de terceiros: clusters do HDInsight podem ser estendidos com componentes instalados e também podem ser integrados com outras soluções de Big Data usando implantações com um único clique do Azure Marketplace.

• Facilidade de gerenciamento, administração e monitoramento: o Azure HDInsight integra-se com o logs do Azure Monitor para fornecer uma interface única com a qual você pode monitorar todos os seus clusters.

• Integração com outros serviços do Azure – o HDInsight pode ser facilmente integrado a outros serviços populares do Azure, como os seguintes:

  • ADF (Azure Data Factory)
  • Armazenamento do Blobs do Azure
  • Azure Data Lake Storage Gen2
  • Azure Cosmos DB
  • Banco de Dados SQL do Azure
  • Azure Analysis Services

• Processos e componentes de autorrecuperação – o HDInsight verifica constantemente os componentes de infraestrutura e software livre usando sua própria infraestrutura de monitoramento. Ele também recupera automaticamente de falhas críticas, como de não disponibilidade de nós e de componentes de software livre. Os alertas serão disparados no Ambari se qualquer componente do OSS falhar.

Para obter mais informações, consulte o artigo O que é o HDInsight do Azure e a pilha de tecnologia do Apache Hadoop.

Processo de planejamento de migração

As etapas a seguir são recomendadas para planejar uma migração de clusters do Hadoop locais para o Azure HDInsight:

1. Compreenda a implantação e as topologias locais atuais.
2. Compreenda o atual escopo do projeto, as linhas do tempo e a experiência da equipe atual.
3. Compreenda os requisitos do Azure.
4. Crie um plano detalhado com base em melhores práticas.

Coleta de detalhes para se preparar para uma migração

Esta seção apresenta questionários de modelo para ajudar a coletar informações importantes sobre:

• A implantação local
• Detalhes do projeto
• Requisitos do Azure

Questionário de implantação local

Questionário de detalhes do projeto

Questionário de requisitos do Azure

Próximas etapas

Leia o próximo artigo desta série:

• Melhores práticas de arquitetura para migração do local para o Azure HDInsight Hadoop