Analyse en temps réel sur les données avec Azure Service Bus et Azure Data Explorer

Cet article explique comment utiliser Azure Data Explorer et Azure Service Bus pour améliorer une architecture de répartiteur de messages existante avec des analyses en quasi-temps réel. Il est destiné aux administrateurs informatiques, aux architectes cloud et aux équipes opérationnelles et de supervision.

Architecture

Téléchargez un fichier Visio de cette architecture.

Le logo Grafana est une marque de Raintank, Inc., dba Grafana Labs. L’utilisation de cette marque n’implique aucune approbation de sa part.

Le diagramme montre deux chemins de données. Le chemin principal, représenté par des lignes solides et les cadres 1 à 5, est l’ingestion de données provenant de différentes sources dans un service bus, où elles sont traitées par un travail d’analyse de flux et stockées dans une base de données SQL. Le deuxième chemin, représenté par des lignes et des cadres en pointillés, affiche les données qui circulent du service bus vers un cluster Azure Data Explorer, où elles peuvent être interrogées et analysées via le langage de requête Kusto (KQL).

Service Bus est utilisé pour implémenter un modèle de nivellement de charge basé sur la file d’attente pour une application transactionnelle.

Azure Data Explorer permet d’exécuter des analyses en quasi-temps réel et d’exposer des données via des API ou des requêtes directes vers, par exemple, Power BI, Azure Managed Grafana ou des tableaux de bord Azure Data Explorer.

Dataflow

La source de données de l’architecture est une application OLTP (Online Transaction Processing) existante. Service Bus est utilisé pour effectuer un scale-out asynchrone de l’application.

1. L’application OLTP (source de données) hébergée dans Azure App Service envoie des données à Service Bus.

2. Les données circulent de Service Bus dans deux directions :

   1. Dans le flux d’application OLTP existant, il déclenche une application de fonction pour stocker des données dans Azure SQL Database, Azure Cosmos DB ou une base de données opérationnelle similaire.

   2. Dans le flux d’analyse en quasi-temps réel, il déclenche un flux d’orchestration.

3. Le flux d’orchestration envoie des données à Azure Data Explorer pour une analyse en quasi-temps réel. Le flux peut utiliser l’une ou l’autre des options suivantes :

   • Une application de fonction qui utilise des SDK pour envoyer des données dans des micro-lots ou qui utilise la prise en charge de l’ingestion de diffusion en continu managée fournie par Azure Data Explorer lorsqu’elle est configurée pour l’ingestion de diffusion en continu.
   • Un service d’interrogation, comme une application hébergée sur Azure Kubernetes Service (AKS) ou une machine virtuelle Azure, qui envoie des données à Azure Data Explorer en micro-lots. Cette option ne nécessite pas la configuration de l’ingestion de la diffusion en continu d’Azure Data Explorer.

4. Azure Data Explorer traite les données, à l’aide du mappage de schéma et des stratégies de mise à jour, et les rend disponibles via une API, un SDK ou un connecteur pour l’analyse ou la création de rapports interactifs. Si vous le souhaitez, Azure Data Explorer peut également ingérer ou référencer des données à partir d’autres sources de données, telles que SQL Database ou Azure Data Lake Storage.

5. Les applications, les services personnalisés ou les services de création de rapports tels que les tableaux de bord Azure Data Explorer, Power BI et Azure Managed Grafana peuvent interroger les données dans Azure Data Explorer en quasi-temps réel.

Composants

• App Service vous permet de créer et d’héberger des applications web, des back-ends mobiles et des API RESTful dans le langage de programmation de votre choix sans gérer l’infrastructure.
• Service Bus fournit une messagerie cloud fiable en tant que service.
• SQL Database est une base de données SQL entièrement managée conçue pour le cloud. Il fournit des mises à jour, l’approvisionnement, la mise à l’échelle et les sauvegardes automatiques.
• Azure Cosmos DB est une base de données multimodèle distribuées à l’échelon mondial et adaptée aux applications de n’importe quelle échelle.
• Azure Functions est une plateforme de calcul serverless pilotée par les événements. Avec Functions, vous pouvez déployer et travailler à grande échelle dans le cloud et utiliser des déclencheurs et des liaisons pour intégrer les services.
• AKS est un service Kubernetes hautement disponible, hautement sécurisé et complètement managé pour les charges de travail d’applications et de microservices.
• Azure Data Explorer est un service d’analytique données rapide, complètement managé et hautement évolutif pour l’analyse en temps réel de gros volumes de données diffusées à partir d’applications, de sites web, d’appareils IoT, etc.
• Azure Data Lake Storage repose sur le service Stockage Blob Azure. Il s’agit d’une fonctionnalité de lac de données extrêmement évolutive.
• Power BI peut vous aider à transformer vos données en insights cohérents, visuellement immersifs et interactifs.
• Azure Managed Grafana est un service complètement managé qui vous permet de déployer Grafana sans passer du temps à la configuration.

Détails du scénario

L’analyse en temps réel est le processus d’analyse des données dès qu’elles sont générées pour obtenir des insights sur l’état actuel du système. Les organisations adoptent de plus en plus l’analyse en temps réel pour bénéficier d’un avantage concurrentiel. L’analyse en quasi-temps réel est une variante de l’analyse en temps réel qui fournit des insights en quelques secondes ou minutes après la génération de données.

Ces processus permettent aux organisations d’obtenir des insights plus rapidement, de prendre de meilleures décisions et de répondre aux changements de conditions plus efficacement. L’analyse en quasi-temps réel peut être appliquée à différents domaines, comme le commerce électronique, les soins de santé, la fabrication et la finance. Par exemple, une entreprise d’e-commerce peut utiliser des analyses en quasi-temps réel pour surveiller le comportement des clients, optimiser la tarification et personnaliser les recommandations.

De nombreuses organisations implémentent des analyses en quasi-temps réel dans des solutions existantes. Cette idée de solution montre comment ajouter une analyse en quasi-temps réel à une architecture existante basée sur un répartiteur de messages et qui fait partie d’une application OLTP opérationnelle.

L’acronyme OLTP signifie Online Transaction Processing (traitement transactionnel en ligne). Il s’agit d’un type de traitement des données qui gère les applications orientées transactionnelles, généralement pour les transactions d’entrée et de récupération de données dans un environnement en temps réel. Les systèmes OLTP sont conçus pour traiter de petites transactions rapides qui sont fréquemment financières par nature, comme les transactions bancaires ou les achats par cartes de crédit.

Cas d’usage potentiels

Voici quelques cas d’usage qui illustrent les avantages de l’analyse en quasi-temps réel :

• Les fournisseurs de soins de santé peuvent suivre les résultats des patients, détecter les anomalies et améliorer la qualité des soins.
• Les entreprises manufacturières peuvent optimiser la production, réduire les déchets et éviter les temps d’arrêt.
• Les institutions financières peuvent surveiller les transactions, détecter les fraudes, gérer les risques et garantir la conformité aux réglementations.
• Les entreprises commerciales peuvent surveiller les campagnes et obtenir des insights pour soutenir la promotion.
• Les entreprises peuvent surveiller, optimiser, analyser et prévoir des chaînes d’approvisionnement.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Shlomo Sagir | Développeur de contenu senior

Autre contributeur :

• Mick Alberts | Rédacteur technique

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Exemples Azure Service Bus
• Exemples d’ingestion des données dans Azure Data Explorer

Ressource associée

• Traitement de données lakehouse en quasi-temps réel