Migrar o Azure Data Lake Analytics para o Azure Synapse Analytics

  • Artigo

O Azure Data Lake Analytics será descontinuado a 29 de fevereiro de 2024. Saiba mais com este anúncio.

Se já estiver a utilizar o Azure Data Lake Analytics, pode criar um plano de migração para Azure Synapse Analytics para a sua organização.

A Microsoft lançou o Azure Synapse Analytics que visa reunir os data lakes e o armazém de dados para uma experiência exclusiva de análise de macrodados. Irá ajudá-lo a recolher e analisar os seus dados para resolver a ineficiência dos dados e ajudar as suas equipas a trabalhar em conjunto. Além disso, a integração do Synapse com o Azure Machine Learning e o Power BI permitirá que as organizações obtenham informações dos respetivos dados e executem machine learning em todas as suas aplicações inteligentes.

O documento mostra-lhe como fazer a migração do Azure Data Lake Analytics para o Azure Synapse Analytics.

  • Passo 1: Avaliar a preparação
  • Passo 2: Preparar a migração
  • Passo 3: Migrar cargas de trabalho de dados e aplicações
  • Passo 4: Transferência do Azure Data Lake Analytics para o Azure Synapse Analytics

Passo 1: Avaliar a preparação

  1. Veja o Apache Spark no Azure Synapse Analytics e compreenda as principais diferenças do Azure Data Lake Analytics e do Spark no Azure Synapse Analytics.

    Item Azure Data Lake Analytics Spark no Synapse
    Preços Por Hora de Unidade Analítica Por vCore-hora
    Motor Azure Data Lake Analytics Apache Spark
    Idioma de Programação Predefinido U-SQL T-SQL, Python, Scala, Spark SQL e .NET
    Origens de Dados Azure Data Lake Storage Armazenamento de Blobs do Azure, Azure Data Lake Storage

  2. Reveja o Questionário para Avaliação da Migração e liste os riscos possíveis para considerar.

Passo 2: Preparar a migração

  1. Identifique as tarefas e os dados que irá migrar.

    • Aproveite esta oportunidade para limpar os trabalhos que já não utiliza. A menos que planeie migrar todos os seus trabalhos de uma só vez, dedure este tempo para identificar grupos lógicos de tarefas que pode migrar por fases.
    • Avalie o tamanho dos dados e compreenda o formato de dados do Apache Spark. Reveja os scripts U-SQL e avalie os esforços de reescrita dos scripts e compreenda o conceito de código do Apache Spark.

  2. Determine o impacto que uma migração terá na sua empresa. Por exemplo, se pode pagar qualquer período de indisponibilidade durante a migração.

  3. Criar um plano de migração.

Passo 3: Migrar dados e cargas de trabalho da aplicação

  1. Migre os seus dados de Azure Data Lake Storage Gen1 para Azure Data Lake Storage Gen2.

    Azure Data Lake Storage reforma da Gen1 será em fevereiro de 2024, veja o anúncio oficial. Sugerimos migrar os dados para a Gen2 em primeiro lugar. Veja Compreender os formatos de dados do Apache Spark para programadores do Azure Data Lake Analytics U-SQL e mover o ficheiro e os dados armazenados em tabelas U-SQL para os tornar acessíveis ao Azure Synapse Analytics. Pode encontrar mais detalhes sobre o guia de migração aqui.

  2. Transforme os scripts U-SQL no Spark. Veja Compreender os conceitos de código do Apache Spark para o Azure Data Lake Analytics programadores U-SQL para transformar os scripts U-SQL no Spark.

  3. Transforme ou recrie os pipelines de orquestração de tarefas para o novo programa Spark.

Passo 4: Cortar do Azure Data Lake Analytics para o Azure Synapse Analytics

Depois de ter a certeza de que as suas aplicações e cargas de trabalho estão estáveis, pode começar a utilizar o Azure Synapse Analytics para satisfazer os seus cenários empresariais. Desative os pipelines restantes que estejam em execução no Azure Data Lake Analytics e retire as suas contas do Azure Data Lake Analytics.

Questionário para Avaliação de Migração

Categoria Perguntas Referência
Avaliar o tamanho da Migração Quantas contas do Azure Data Lake Analytics tem? Quantos pipelines estão a ser utilizados? Quantos scripts U-SQL estão a ser utilizados? Quanto mais dados e scripts forem migrados, mais UDO/UDF são utilizados em scripts, mais difícil é migrar. O tempo e os recursos necessários para a migração têm de ser bem planeados de acordo com a escala do projeto.
Origem de dados Qual é o tamanho da origem de dados? Que tipos de formato de dados para processamento? Compreender os formatos de dados do Apache Spark para programadores de U-SQL do Azure Data Lake Analytics
Saída de dados Irá manter os dados de saída para utilização posterior? Se os dados de saída forem guardados em tabelas U-SQL, como lidar com os mesmos? Se os dados de saída forem utilizados frequentemente e guardados em tabelas U-SQL, precisa de alterar os scripts e alterar os dados de saída para o formato de dados suportado pelo Spark.
Migração de dados Efetuou o plano de migração de armazenamento? Migrar Azure Data Lake Storage de Gen1 para Gen2
Transformação de scripts U-SQL Utiliza UDO/UDF (.NET, python, etc.)? Se a resposta acima for sim, que idioma utiliza na UDO/UDF e problemas com a transformação durante a transformação? A consulta federada está a ser utilizada no U-SQL? Compreender os conceitos de código do Apache Spark para programadores de U-SQL do Azure Data Lake Analytics

Passos seguintes