Migrer Azure Data Lake Analytics vers Azure Synapse Analytics

  • Article

Azure Data Lake Analytics sera mis hors service le 29 février 2024. Découvrez-en plus avec cette annonce.

Si vous utilisez déjà Azure Data Lake Analytics, vous pouvez créer un plan de migration vers Azure Synapse Analytics pour votre organisation.

Microsoft a lancé Azure Synapse Analytics, qui vise à rassembler des lacs de données et un entrepôt de données pour une expérience d’analytique du Big Data unique. Il vous permettra de collecter et d’analyser vos données pour corriger leur inefficacité, et aidera vos équipes à travailler ensemble. En outre, l’intégration de Synapse à Azure Machine Learning et Power BI permettra aux organisations d’obtenir des insights de leurs données et d’exécuter le Machine Learning sur toutes leurs applications intelligentes.

Le document vous montre comment effectuer la migration d’Azure Data Lake Analytics vers Azure Synapse Analytics.

  • Étape 1 : Évaluer la préparation
  • Étape 2 : Préparer la migration
  • Étape 3 : Migrer les données et les charges de travail d’application
  • Étape 4 : Passer d’Azure Data Lake Analytics à Azure Synapse Analytics

Étape 1 : Évaluer la préparation

  1. Examinez Apache Spark sur Azure Synapse Analytics et comprenez les principales différences entre Azure Data Lake Analytics et Spark sur Azure Synapse Analytics.

    Élément Service Analytique Azure Data Lake Spark sur Synapse
    Tarifs Par unité d’analyse/heure Par vCore/heure
    Moteur Service Analytique Azure Data Lake Apache Spark
    Langage de programmation par défaut U-SQL T-SQL, Python, Scala, Spark SQL et .NET
    Sources de données Azure Data Lake Storage Stockage Blob Azure, Azure Data Lake Storage

  2. Passez en revue le Questionnaire pour l’évaluation de la migration et répertoriez les risques potentiels à prendre en compte.

Étape 2 : Préparer la migration

  1. Identifiez les travaux et les données que vous allez migrer.

    • Profitez-en pour nettoyer les travaux que vous n’utilisez plus. Si vous ne souhaitez pas migrer toutes vos données à la fois, profitez-en pour identifier les groupes logiques de travaux qui peuvent faire l’objet d’une migration en plusieurs phases.
    • Évaluez la taille des données et comprenez le format de données Apache Spark. Passez en revue vos scripts U-SQL, évaluez les efforts de réécriture des scripts et comprenez le concept de code Apache Spark.

  2. Déterminez l’impact qu’aura une migration sur votre entreprise. Par exemple, si vous pouvez vous permettre des temps d’arrêt pendant la migration.

  3. Créez un plan de migration.

Étape 3 : Migrer les données et le charge de travail d’application

  1. Migrez vos données d’Azure Data Lake Storage Gen1 vers Azure Data Lake Storage Gen2.

    Azure Data Lake Storage Gen1 sera mis hors service en février 2024. Consultez l’annonce officielle. Nous vous suggérons de migrer d’abord les données vers Gen2. Consultez Comprendre les formats de données Apache Spark pour les développeurs U-SQL d’Azure Data Lake Analytics et déplacez le fichier et les données stockées dans des tables U-SQL pour les rendre accessibles à Azure Synapse Analytics. Vous trouverez plus d’informations sur le guide de migration ici.

  2. Transformez vos scripts U-SQL en Spark. Reportez-vous à Comprendre les concepts de code Apache Spark pour les développeurs U-SQL d’Azure Data Lake Analytics pour transformer vos scripts U-SQL en Spark.

  3. Transformez ou recréez vos pipelines d’orchestration des travaux vers le nouveau programme Spark.

Étape 4 : Passer d’Azure Data Lake Analytics à Azure Synapse Analytics

Une fois que vous êtes certain que vos applications et vos charges de travail sont stables, vous pouvez commencer à utiliser Azure Synapse Analytics pour vos scénarios métiers. Désactivez les pipelines restants qui s’exécutent sur Azure Data Lake Analytics et mettez hors service vos comptes Azure Data Lake Analytics.

Questionnaire pour l’évaluation de la migration

Catégorie Questions Informations de référence
Évaluer la taille de la migration Combien de comptes Azure Data Lake Analytics avez-vous ? Combien de pipelines sont utilisés ? Combien de scripts U-SQL sont utilisés ? Plus il y a de données et de scripts à migrer, plus il y a d’UDO/UDF utilisés dans les scripts et plus la migration est difficile. Le temps et les ressources nécessaires à la migration doivent être bien planifiés en fonction de l’échelle du projet.
Paramètres Quelle est la taille de la source de données ? Quels sont les types de formats de données pour le traitement ? Comprendre les formats de données Apache Spark pour les développeurs U-SQL d’Azure Data Lake Analytics
Sortie des données Conserverez-vous les données de sortie pour une utilisation ultérieure ? Si les données de sortie sont enregistrées dans des tables U-SQL, comment les gérer ? Si les données de sortie seront fréquemment utilisées et enregistrées dans des tables U-SQL, vous devez modifier les scripts et remplacer les données de sortie par un format de données Spark pris en charge.
Migration des données Avez-vous créé le plan de migration du stockage ? Migrer Azure Data Lake Storage de Gen1 vers Gen2
Transformation de scripts U-SQL Utilisez-vous UDO/UDF (.NET, Python, etc.) ? Si vous répondez oui à la question ci-dessus, quelle langage utilisez-vous dans votre UDO/UDF et tout problème de transformation pendant la transformation ? La requête fédérée est-elle utilisée dans U-SQL ? Comprendre les concepts de code Apache Spark pour les développeurs U-SQL d’Azure Data Lake Analytics

Étapes suivantes