Reprise d’activité pour Azure Data Platform - Architecture

Azure Synapse Analytics
Azure Machine Learning
Azure Cosmos DB
Azure Data Lake
Hubs d'événements Azure

Définition de cas d’usage

Pour étayer cet exemple pratique, l'entreprise fictive « Contoso » sera utilisée avec une plateforme de données Azure basée sur les architectures de référence de Microsoft.

Service de données - Vue des composants

Contoso a implémenté la structure Azure de base suivante, qui est un sous-ensemble de la zone d’atterrissage d’entreprise. Diagramme montrant un exemple de zone d’atterrissage Azure d’entreprise.

Les numéros dans les descriptions suivantes correspondent à ceux qui apparaissent dans le diagramme précédent.

Fondations Azure de Contoso - Workflow

  1. Inscription de l'entreprise - L'inscription de l'entreprise mère de Contoso au sein d'Azure reflétant son accord commercial avec Microsoft, sa structure de compte organisationnelle et les abonnements Azure disponibles. L’inscription fournit une base de facturation pour les abonnements et indique comment le patrimoine numérique est administré
  2. Gestion des identités et des accès - Les composants nécessaires pour fournir des services d'identité, d'authentification, d'accès aux ressources et d'autorisation dans l'empreinte Azure de Contoso.
  3. Groupe de gestion et organisation des abonnements - Une hiérarchie de groupe évolutive alignée sur les capacités de base de la plateforme de données, permettant une opérationnalisation à grande échelle à l'aide d'une sécurité et d'une gouvernance gérées de manière centralisée, où les charges de travail sont clairement séparées. Les groupes d’administration fournissent une étendue de gouvernance au-delà des abonnements
  4. Abonnement de gestion : abonnement dédié aux différentes fonctions de niveau de gestion requises pour prendre en charge la plateforme de données
  5. Abonnement de connectivité : abonnement dédié aux fonctions de connectivité de la plateforme de données, lui permettant d’identifier les services nommés, et de déterminer le routage et la communication sécurisés entre les services internes et externes
  6. Abonnement de zone d’atterrissage : abonnements un-à-plusieurs pour les applications en ligne natives Azure, et les ressources les charges de travail internes et externes
  7. Plateforme DevOps : plateforme DevOps qui prend en charge la plateforme de données et la fondation Azure. Cette plateforme inclut le référentiel de contrôle des sources de la base de code ainsi que les pipelines CI/CD pour des déploiements automatisés de l'infrastructure en tant que code (IaC).

Remarque

De nombreux clients maintiennent encore une importante infrastructure en tant que service (IaaS). Pour fournir des fonctionnalités de récupération dans IaaS, le composant clé à ajouter est Azure Site Recovery. Site Recovery orchestrera et automatisera la réplication de machines virtuelles Azure entre les régions, des machines virtuelles locales et serveurs physiques vers Azure, et des machines locales vers un centre de données secondaire.

Au sein de cette structure de base, Contoso a implémenté les éléments suivants pour prendre en charge ses besoins décisionnels d’entreprise, en fonction des conseils fournis dans Analytics de bout en bout avec Azure Synapse.

Diagramme montrant une architecture pour une plateforme moderne de données utilisant des services de données Azure.Plateforme de données Contoso

Plate-forme de données de Contoso - Workflow

Le workflow est lu de gauche à droite, en suivant le flux de données :

  • Sources de données : sources ou types de données que la plateforme de données peut consommer.
  • Ingestion - Capacité de la plate-forme à ingérer des données provenant de diverses sources dont la structure et la vitesse varient. Cette conception reflète une architecture lambda.
  • Stocker : capacité à stocker de manière sécurisée les données à grande échelle qui ont été ingérées sur la plateforme.
  • Processus - Capacité de la plate-forme à traiter les données, en les rendant « adaptées » aux processus en aval tels que le nettoyage, la normalisation et la modélisation. Le prétraitement des données permet généralement de s'assurer qu'elles sont dans une « position et une condition, prêtes à l'emploi »
  • Enrichir - La capacité d'améliorer les données traitées sur la plateforme via des techniques statistiques, de Machine Learning ou d'autres techniques de modélisation ou des services Azure AI préconstruits.
  • Servir - La capacité de la plateforme à façonner et à présenter les données pour une consommation en aval.
  • Consommateurs de données - Les personnes, les applications ou les processus en aval qui consomment des données à partir des différents points de contact de la plateforme.
  • Découvrir et gouverner - Les capacités de la plateforme à gouverner les données qu'elle contient et à s'assurer qu'elles sont indexées, découvrables/recherchables, bien décrites, avec un lignage complet et qu'elles sont transparentes pour les utilisateurs finaux et les processus de consommation.
  • Plateforme - La base sur laquelle la plateforme est construite, c'est-à-dire les fondations Azure de Contoso décrites ci-dessus.

Remarque

Pour de nombreux clients, le niveau conceptuel de l’architecture de référence Data Platform utilisée sera aligné, mais l’implémentation physique pourra varier. Par exemple, les processus ELT (extraire, charger, transformer) peuvent être effectués via Azure Data Factory, et la modélisation des données par un serveur Azure SQL. Pour vous aider à gérer ces différences, des conseils sont fournis ci-dessous dans la section sur la comparaison « sans état/avec état ».

Pour la Plateforme de données, Contoso a sélectionné les niveaux de service de production les plus bas recommandés pour tous les composants et a choisi d'adopter une stratégie de reprise après sinistre (DR) « Redeploy on Disaster » basée sur une approche de minimisation des coûts d'exploitation.

Les sections suivantes présentent une vue d’ensemble du processus de reprise d’activité et des leviers accessibles aux clients pour atteindre plus facilement cette posture.

Vue des services et des composants Azure

Les tableaux suivants présentent une répartition de chaque service et composant Azure utilisé dans la plateforme de données Contoso, avec des options pour faciliter la reprise d’activité.

Notes

Les sections ci-dessous sont organisées par services, avec une comparaison « avec état/sans état ».

Composants de base avec état

  • Microsoft Entra ID, notamment les droits d’utilisation

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : Premium P1
    • Options de DR Uplift : la résilience de Microsoft Entra fait partie de son offre de logiciel en tant que service (SaaS)
    • Notes

  • Azure Key Vault

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Coffre Recovery Services

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de l'UGS Contoso : Par défaut (stockage géoredondant (GRS))
    • Options d’amélioration de reprise d’activité : l’activation de la restauration inter-régions crée une restauration des données dans la région secondaire appairée
    • Notes
      • Bien que le stockage localement redondant (LRS) et le stockage redondant par zone (ZRS) soient disponibles, ils nécessitent une configuration manuelle à partir des paramètres par défaut.

  • Azure DevOps

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : DevOps Services
    • Options d’amélioration de reprise d’activité : la résilience des données et des services DevOps fait partie de son offre SaaS
    • Notes
      • DevOps Server en tant qu'offre locale restera de la responsabilité du client pour la reprise après sinistre.
      • Si des services tiers (SonarCloud, Jfrog Artifactory, Jenkins build servers par exemple) sont utilisés, ils resteront sous la responsabilité du client pour la reprise après un sinistre.
      • Si des machines virtuelles IaaS sont utilisées dans le cadre de la chaîne d'outils DevOps, elles resteront sous la responsabilité du client pour la reprise après sinistre.

Composants de base sans état

  • Abonnements

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Groupes d’administration

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Azure Monitor

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Cost Management

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Microsoft Defender pour le cloud

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • DNS Azure

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : Zone unique - Public
    • Options d’amélioration de reprise d’activité : N/A, le système DNS est hautement disponible de par sa conception

  • Network Watcher

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Réseaux virtuels, y compris les sous-réseaux, les routes définies par l'utilisateur (UDR) & les groupes de sécurité réseau (NSG)

    • Responsabilité pour la récupération des composants : Contoso
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : N/A
    • Options d’amélioration de reprise d’activité : les réseaux virtuels peuvent être répliqués dans la région secondaire appairée

  • Pare-feu Azure

    • Responsabilité pour la récupération des composants : Contoso
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options d’amélioration de reprise d’activité : le Pare-feu Azure est hautement disponible de par sa conception, et peut être créé avec des zones de disponibilité pour une disponibilité accrue

  • Service de protection DDoS Azure

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Protection réseau DDoS
    • Options d’amélioration de reprise d’activité : N/A, couvertes dans le cadre du service Azure

  • Circuit ExpressRoute

    • Responsabilité pour la récupération des composants : Contoso, partenaire de connectivité et Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : partenaire de connectivité et Microsoft
    • Sélection de la référence SKU Contoso : Standard
    • Options d’amélioration de reprise d’activité :
    • Notes
      • ExpressRoute offre une redondance intégrée, chaque circuit étant composé de deux connexions à deux routeurs MSEE (Microsoft Enterprise Edge) entre le fournisseur de connectivité et le périmètre du réseau du client au niveau d’un site ExpressRoute
      • Un circuit ExpressRoute Premium autorisera l’accès à toutes les régions Azure dans le monde entier

  • Passerelle VPN

    • Responsabilité pour la récupération des composants : Contoso
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Zone unique - VpnGw1
    • Options de montée en puissance du DR : Une passerelle VPN peut être déployée dans une zone de disponibilité avec les SKU VpnGw#AZ pour fournir un service redondant de zone.

  • Équilibrage de charge Azure

    • Responsabilité pour la récupération des composants : Contoso
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options d’amélioration de reprise d’activité :
    • Notes
      • Azure Traffic Manager est un équilibreur de charge de trafic DNS. Ce service prend en charge la distribution du trafic pour les applications publiques dans les régions Azure du monde entier. Cette solution fournira une protection contre une panne régionale dans le cadre d’une conception à haute disponibilité

Services propres à la plateforme de données avec état

  • Compte de stockage : Azure Data Lake Gen2

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : LRS
    • Options d’amélioration de reprise d’activité : les comptes de stockage offrent un large éventail d’options de redondance des données, de la redondance de la région primaire à la redondance de la région secondaire
    • Notes
      • Le stockage GRS est recommandé pour améliorer la redondance, car il fournit une copie des données dans la région appairée

  • Azure Event Hubs

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options d’amélioration de reprise d’activité : un espace de noms de hub d’événements peut être créé avec des zones de disponibilité activées. Cette résilience peut être étendue afin de couvrir une panne de région complète avec la géo-reprise d’activité après sinistre
    • Notes

  • Hubs Azure IoT

  • Azure Stream Analytics

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options de DR Uplift : Même si Azure Stream Analytics est une offre de plateforme en tant que service (PaaS) entièrement gérée, elle ne propose pas de basculement géographique automatique. La géoredondance peut être obtenue en déployant des travaux Stream Analytics identiques dans plusieurs régions Azure

  • Azure Machine Learning

    • Responsabilité pour la récupération des composants : Contoso et Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : instances de la série D, Usage général
    • Options d’amélioration de reprise d’activité :
    • Remarques :

  • Power BI

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : Power BI Pro
    • Options de DR Uplift : N/A, la résilience de Power BI fait partie de son offre SaaS.
    • Notes

  • Azure Cosmos DB

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : écriture dans une région unique avec sauvegarde périodique
    • Options d’amélioration de reprise d’activité :
    • Notes

  • Azure Data Share

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de montée en puissance du DR : la résilience d'Azure Data Share peut être montée en puissance par un déploiement HA dans une région secondaire.

  • Microsoft Purview

Services propres à la plateforme de données sans état

  • Azure Synapse : Pipelines

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Gen2 optimisé pour le calcul
    • Options d’amélioration de reprise d’activité : la résilience Synapse fait partie de son offre SaaS utilisant la fonctionnalité basculement automatique
    • Notes
      • Si des pipelines de données auto-hébergés sont utilisés, ils resteront sous la responsabilité du client pour la reprise après un sinistre.

  • Azure Synapse : pools Data Explorer

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Faible (4 cœurs) optimisé pour le calcul
    • Options d’amélioration de reprise d’activité : la résilience Synapse fait partie de son offre SaaS
    • Notes

  • Azure Synapse : pools Spark

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Faible (4 cœurs) optimisé pour le calcul
    • Options d’amélioration de reprise d’activité : la résilience Synapse fait partie de son offre SaaS
    • Notes

  • Azure Synapse : pools SQL serverless et dédiés

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Contoso
    • Sélection de la référence SKU Contoso : Gen2 optimisé pour le calcul
    • Options d’amélioration de reprise d’activité : la résilience Synapse fait partie de son offre SaaS
    • Notes
      • Azure Synapse Analytics prend automatiquement des captures instantanées pendant la journée pour créer des points de restauration qui restent disponibles pendant sept jours.
      • Azure Synapse Analytics effectue une géo-sauvegarde standard une fois par jour vers un centre de données appairé. L’objectif de point de récupération (RPO) pour une géorestauration est de 24 heures.
      • Si des pipelines de données auto-hébergés sont utilisés dans la chaîne d’outils DevOps, ils demeureront la responsabilité du client pour la reprise d’activité après sinistre

  • Azure AI Services (anciennement Cognitive Services)

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : Paiement à l’utilisation
    • Options d’amélioration de DR : N/A, les API pour les services d’IA sont hébergées par des centres de données managées par Microsoft
    • Notes
      • Si les services d’IA ont été déployés via des conteneurs Docker déployés par le client, la récupération demeure la responsabilité du client

  • Azure AI Recherche (anciennement Recherche cognitive)

    • Responsabilité pour la récupération des composants : Microsoft
    • Responsabilité pour la récupération des charges de travail/configurations : Microsoft
    • Sélection de la référence SKU Contoso : Standard S1
    • Options d’amélioration de reprise d’activité :
    • Notes
      • Dans la recherche par IA, la continuité d’activité (et la reprise d’activité) sont obtenues par le biais de plusieurs services de recherche par IA.
      • Il n’existe aucun mécanisme intégré pour la reprise d’activité. Si le service ne doit pas être interrompu en cas de défaillance catastrophique, nous vous recommandons d’avoir un deuxième service dans une autre région et de mettre en œuvre une stratégie de géoréplication afin de garantir une redondance complète des index parmi tous les services.

Composants avec état/sans état

La rapidité d’innovation de la suite de produits Microsoft et d’Azure, en particulier, signifie que l’ensemble de composants que nous avons utilisé pour cet exemple de travail évoluera rapidement. Pour éviter de fournir des conseils obsolètes et étendre ces conseils aux composants qui ne sont pas explicitement couverts dans ce document, la section ci-dessous fournit des instructions basées sur la classification grossière de l’état.

Un composant/service peut être décrit comme « avec état » s’il est conçu pour mémoriser les événements ou interactions utilisateur précédents. « Sans état » signifie qu’il n’y a pas d’enregistrement des interactions précédentes, et que chaque demande d’interaction doit être gérée entièrement en fonction des informations qui l’accompagnent.

Pour un scénario de reprise d’activité qui exige un redéploiement :

  • Les composants/services « sans état », comme les pipelines Azure Functions et Azure Data Factory, peuvent être redéployés à partir du contrôle des sources avec au moins un test de fumée pour valider la disponibilité avant d'être introduits dans le système plus large.
  • Les composants/services « avec état », comme Azure SQL Database et les comptes de stockage, requièrent plus d'attention.
    • Lors de l’acquisition du composant, le choix de la fonctionnalité de redondance des données constituera une décision clé. Cette décision est généralement axée sur un compromis entre, d’un côté, la disponibilité et la durabilité, et de l’autre côté, les coûts d’exploitation
  • Le magasin de données aura également besoin d’une stratégie de sauvegarde des données. La fonctionnalité de redondance des données du stockage sous-jacent atténue ce risque pour certaines conceptions, tandis que d’autres, comme les bases de données SQL, auront besoin d’un processus de sauvegarde distinct.
    • Si nécessaire, le composant peut être redéployé à partir du contrôle de code source avec une configuration validée via un test de fumée
    • Un magasin de données redéployé doit avec son jeu de données réhydraté. La réhydratation peut être effectuée par le biais de la redondance des données (si disponible) ou d’un jeu de données de sauvegarde. Une fois la réhydratation terminée, elle doit être validée pour l’exactitude et pour être complète
      • Selon la nature du processus de sauvegarde, les jeux de données de sauvegarde peuvent nécessiter une validation avant d’être appliqués. Une altération/erreur du processus de sauvegarde peut entraîner l’utilisation d’une sauvegarde antérieure à la place de la dernière version disponible
    • Tout écart entre la date ou l'horodatage du composant et la date actuelle doit être corrigé en réexécutant ou en rejouant les processus d'ingestion de données à partir de ce point de transfert.
    • Une fois que le jeu de données de composant est à jour, il peut être introduit dans le système plus large

Autres services clés

Cette section contient des conseils en matière de haute disponibilité/reprise d’activité pour d’autres composants et services de données clés Azure.

Étapes suivantes

Maintenant que vous avez découvert l’architecture du scénario, vous pouvez en apprendre davantage sur les détails du scénario.