Modélisation de l’intégrité des charges de travail

Les applications cloud génèrent des volumes élevés de données opérationnelles, ce qui complique l’identification et la résolution des problèmes rapidement. Une raison courante de ce défi est l’absence d’une base de référence d’intégrité personnalisée à la fonctionnalité de la charge de travail et l’incapacité à détecter la dérive de cette base de référence.

La modélisation de l’intégrité est un exercice d’observabilité qui combine le contexte métier avec les données de surveillance brutes pour quantifier l’intégrité globale d’une charge de travail. Il permet de définir une base de référence sur laquelle vous pouvez surveiller la charge de travail. Vous devez envisager des données telles que la télémétrie à partir des composants d’infrastructure et d’application. La modélisation de l’intégrité peut également incorporer d’autres informations nécessaires pour atteindre les objectifs de qualité de la charge de travail.

Les problèmes de performances ou la dégradation opérationnelle peuvent entraîner une dérive de l’état opérationnel attendu. En modélisant l’intégrité d’une charge de travail, vous pouvez identifier la dérive et prendre des décisions opérationnelles éclairées qui prennent en compte l’impact de l’entreprise.

La modélisation de la santé permet de combler le fossé entre les connaissances opérationnelles tribales et les insights exploitables. Il vous aide à gérer efficacement les problèmes critiques. Le concept est essentiel pour optimiser la fiabilité et l’efficacité opérationnelle.

Ce guide fournit des conseils pratiques sur la modélisation de l’intégrité, notamment sur la création d’un modèle qui évalue l’intégrité de l’exécution d’une charge de travail et de tous ses sous-systèmes.

Nous vous recommandons de regarder cette vidéo pour obtenir une compréhension générale de la modélisation de l’intégrité.

Qu’est-ce que l’intégrité, la modélisation de l’intégrité et un modèle d’intégrité ?

Le terme intégrité fait référence à l’état opérationnel d’une entité et à ses dépendances. Cette entité peut être une unité individuelle d’un système, une combinaison logique de plusieurs entités associées ou du système global.

Nous vous recommandons de représenter l’intégrité dans l’un des trois états suivants :

• Sain : fonctionne de façon optimale et répond aux attentes de qualité

• Détérioré : présente un comportement inférieur à sain, ce qui indique des problèmes potentiels

• Non sain : dans un état critique et nécessite une attention immédiate

Les états d’intégrité sont dérivés en combinant des données de surveillance avec des informations de domaine. Chaque état doit être défini et doit être mesurable. Les états d’intégrité sont calculés à l’aide de signaux d’intégrité, qui sont des flux de données individuels qui fournissent des insights sur le comportement opérationnel d’une entité. Les signaux peuvent inclure des métriques, des journaux, des traces ou d’autres caractéristiques de qualité. Par exemple, un signal d’intégrité pour une entité de machine virtuelle peut suivre la métrique d’utilisation du processeur. D’autres signaux pour cette entité peuvent inclure l’utilisation de la mémoire, la latence réseau ou les taux d’erreur.

Lorsque vous définissez des signaux d’intégrité, tenez compte des exigences non fonctionnelles de la charge de travail. Dans l’exemple d’utilisation du processeur, incluez les seuils attendus pour chaque état d’intégrité. Si l’utilisation dépasse le seuil toléré conformément aux exigences de la charge de travail, le système passe de Sain à Détérioré ou non sain. Ces modifications d’état déclenchent les alertes ou actions appropriées.

La modélisation d’intégrité nécessite que les entités aient des états bien définis dérivés de plusieurs signaux d’intégrité et qui sont contextualisés pour la charge de travail. Par exemple, la définition d’intégrité d’une machine virtuelle peut être :

• Sain : Les principales exigences et cibles non fonctionnelles, telles que le temps de réponse, l’utilisation des ressources et les performances globales du système, sont entièrement satisfaites. Par exemple, 95 % des demandes sont traitées dans les 500 millisecondes. La charge de travail utilise des ressources de machine virtuelle telles que l’UC, la mémoire et le stockage de manière optimale et maintient un équilibre entre les demandes de charge de travail et la capacité disponible. L’expérience utilisateur est à des niveaux attendus.

• Détériorée : les ressources ne s’exécutent pas de manière optimale, mais sont toujours opérationnelles. Par exemple, le disque de stockage rencontre des problèmes de limitation. Les utilisateurs peuvent rencontrer des réponses lentes.

• Non sain : la dégradation dépasse les limites tolérées. Les ressources ne sont plus réactives ou disponibles, et le système ne répond plus aux niveaux de performances acceptables. L’expérience utilisateur est gravement affectée.

Le résultat de la modélisation d’intégrité est un modèle ou une représentation graphique d’entités logiques et de leurs relations pour une architecture de charge de travail. Chaque nœud a une définition d’état d’intégrité.

Dans l’image :

• Les entités sont des composants logiques de la charge de travail qui représentent des aspects du système. Il peut s’agir de composants d’infrastructure, tels que des serveurs, des bases de données et des réseaux. Ils peuvent également être des modules d’application, des pods, des services ou des microservices spécifiques. Ou bien, les entités peuvent capturer des interactions utilisateur et des flux système au sein de la charge de travail.

  Remarque

  Les flux utilisateur et système résument les exigences non fonctionnelles dans les scénarios métier qui impliquent des composants d’application et d’infrastructure. Ce résumé reflète la valeur métier de l’application.

• Les relations entre les entités reflètent les chaînes de dépendances au sein du système. Par exemple, un module d’application peut appeler des composants d’infrastructure spécifiques qui forment une relation.

Envisagez un scénario dans lequel une charge de travail de commerce électronique rencontre un pic de messages ayant échoué dans une file d’attente Azure Service Bus, ce qui provoque l’échec des paiements. Ce problème est essentiel pour l’organisation en raison de la perte de revenus implicite. Bien qu’un développeur d’applications puisse comprendre l’effet de ce pic de métrique sur les paiements, cette connaissance tribale n’est pas souvent partagée entre l’équipe des opérations.

Un modèle d’intégrité peut donner aux opérateurs une visibilité immédiate du problème et de ses effets. Le flux de paiement dépend de Service Bus, qui est l’un des composants de la charge de travail. La représentation visuelle révèle l’état détérioré de l’instance Service Bus et son effet sur le flux de paiement. Les opérateurs peuvent comprendre l’importance du problème et concentrer leurs efforts de correction sur ce composant spécifique.

La modélisation d’intégrité était importante dans le scénario précédent de la manière suivante :

• Il a amélioré le temps de détecter (TTD) et le temps d’atténuer (TTM) en permettant une isolation plus rapide des problèmes, ce qui a conduit à une détection plus rapide des problèmes et des correctifs potentiels.

• Les opérateurs ont reçu des alertes basées sur des états d’intégrité, ce qui a réduit le bruit inutile. Les opérateurs ont reçu des notifications qui ont fourni un contexte spécifique sur l’impact commercial sur les paiements.

• Les chaînes de dépendances ont aidé les opérateurs à comprendre pleinement l’étendue des problèmes opérationnels. Ces connaissances ont accéléré les évaluations d’impact et ont conduit à des réponses hiérarchisées. Les opérateurs ont également facilement identifié des problèmes en cascade ou corrélés.

• Les opérateurs ont mené des activités post-incident avec précision, car le modèle d’intégrité a fourni des insights sur les causes racines des anomalies et les signaux d’intégrité spécifiques impliqués.

• Il a rendu les données de surveillance significatives pour tous les membres de l’équipe. Elle a fait le pont entre les connaissances tribales et les insights partagés.

• L’organisation a utilisé le modèle d’intégrité comme base de référence pour les investissements futurs dans les opérations pilotées par l’IA pour dériver des insights intelligents.

Schéma du modèle d’intégrité

Les modèles d’intégrité fournissent un schéma de données distinct optimisé pour les cas d’usage d’observabilité. Ce schéma prend la modélisation de l’intégrité d’un concept abstrait vers une solution mesurable. En modélisant vos exigences, objectifs et contexte architectural spécifiques, vous pouvez adapter les données d’intégrité à votre scénario unique.

L’intégrité est un concept relatif de données. Chaque modèle représente les données d’intégrité uniques et hiérarchisées pour son étendue contextuelle, même si elle utilise le même ensemble d’entités. Ce qui constitue une intégrité dans un scénario spécifique peut différer considérablement dans d’autres contextes.

Par exemple, considérez les ressources Azure du même type dans votre charge de travail.

• La machine virtuelle A exécute une application sensible au processeur.
• La machine virtuelle B gère un service gourmand en mémoire.

Les définitions d’intégrité de ces machines sont différentes. Les métriques d’utilisation du processeur influencent probablement l’état d’intégrité de la machine virtuelle A, et la machine virtuelle B peut hiérarchiser les métriques liées à la mémoire.

Créer un modèle d’intégrité

La première étape de génération d’un modèle d’intégrité est un exercice de conception logique, qui implique généralement les activités décrites dans les sections suivantes.

Évaluer la conception de votre charge de travail

Commencez cet exercice de conception logique en évaluant les composants suivants de votre conception de charge de travail.

• Composants d’infrastructure tels que les clusters de calcul et les bases de données

• Composants d’application qui s’exécutent sur le calcul et leurs composants pertinents

• Dépendances logiques ou physiques entre les composants

• Flux utilisateur et système

Par exemple, le modèle d’intégrité d’une application de commerce électronique doit représenter l’état actuel des processus critiques tels que la connexion utilisateur, l’extraction et les paiements.

Contextualiser à l’aide des exigences métier

Évaluez l’importance relative et l’impact global de chaque flux sur votre organisation. Considérez des facteurs tels que l’expérience utilisateur, la sécurité et l’efficacité opérationnelle. Par exemple, dans la plupart des scénarios, l’échec d’un processus de paiement est probablement plus important que l’échec d’un processus de création de rapports.

Identifiez les chemins d’escalade pour gérer les problèmes liés à chaque flux. Pour plus d’informations, consultez Optimiser la conception de la charge de travail à l’aide de flux.

Mapper aux métriques de fiabilité

Recherchez les métriques de fiabilité pertinentes dans la conception de l’application.

Envisagez de définir des indicateurs de niveau de service (SLA) et des objectifs de niveau de service (SLA) pour l’ensemble de l’application et de ses processus métier individuels. Ces SLA et ces sla doivent s’aligner sur les signaux d’intégrité spécifiques pris en compte pour votre modèle d’intégrité. En procédant ainsi, vous créez une définition complète de l’intégrité qui reflète précisément la réalisation d’un niveau de service acceptable pour l’application.

Identifier les signaux d’intégrité

Pour créer un modèle d’intégrité complet, mettez en corrélation différents types de données de surveillance, notamment les métriques, les journaux et les traces. Ainsi, vous vous assurez que le concept d’intégrité reflète avec précision l’état d’exécution d’une entité spécifique ou de la charge de travail entière.

Utiliser des métriques et des journaux de plateforme

Dans le contexte de la modélisation de l’intégrité, il est essentiel de collecter des métriques et des journaux au niveau de la plateforme à partir de ressources Azure sous-jacentes. Ces métriques incluent le pourcentage d’UC, le réseau entrant et le réseau sortant et les opérations de disque par seconde. Vous pouvez utiliser ces données dans votre modèle d’intégrité pour détecter et prédire les problèmes potentiels tout en conservant un environnement fiable.

En outre, cette approche vous permet de différencier les erreurs temporaires, les interruptions temporaires et les erreurs nontransientes ou les problèmes persistants.

Ajouter des journaux d’application

Les journaux d’application constituent une source importante de données de diagnostic pour votre modèle d’intégrité. Voici quelques bonnes pratiques pour la journalisation des applications :

• Utilisez la journalisation sémantique ou structurée. Les journaux structurés facilitent la consommation et l’analyse automatisées des données de journal à grande échelle.

  Envisagez de stocker des données de métriques et de diagnostics de ressources Azure dans un espace de travail Journaux Azure Monitor au lieu d’un compte de stockage. À l’aide de cette méthode, vous pouvez créer des signaux d’intégrité à l’aide de requêtes Kusto pour une évaluation efficace.

• Journaliser les données dans l’environnement de production. Capturez des données complètes pendant que l’application fonctionne dans l’environnement de production. Des informations suffisantes sont essentielles pour l’évaluation de l’intégrité et diagnostiquer les problèmes de production détectés.

• Journaliser les événements aux limites de service. Incluez un ID de corrélation qui traverse les limites de service. Si une transaction implique plusieurs services et l’un d’entre eux échoue, l’ID de corrélation vous aide à suivre les demandes dans votre application et à identifier la cause de l’échec.

• Utiliser une journalisation asynchrone. Évitez les opérations de journalisation synchrones susceptibles de bloquer le code de l’application. La journalisation asynchrone garantit la disponibilité en empêchant les backlogs de requêtes pendant les écritures de journal.

• Séparer la journalisation de l’audit de l’application. Conservez les journaux d’audit séparément des journaux de diagnostic. Bien que les enregistrements d’audit répondent aux exigences réglementaires ou de conformité, ils empêchent les transactions supprimées.

Implémentez le traçage distribué

Implémentez le suivi distribué en mettant en corrélation les données de télémétrie entre les flux système critiques. La télémétrie corrélée fournit des insights sur les transactions de bout en bout et est essentielle pour une analyse efficace de la cause racine (RCA) lorsque des défaillances se produisent.

Utiliser des sondes d’intégrité

Implémentez et exécutez des sondes d’intégrité en dehors de l’application pour vérifier explicitement l’intégrité et la réactivité de votre application. Utilisez des réponses de sonde comme signaux au sein de votre modèle d’intégrité.

Vous pouvez implémenter des sondes d’intégrité en mesurant le temps de réponse de l’application dans son ensemble ou à partir de ses composants individuels. Les sondes peuvent exécuter des processus pour mesurer la latence et vérifier la disponibilité ou extraire des informations de l’application. Pour plus d’informations, consultez Modèle Supervision de point de terminaison d’intégrité.

La plupart des équilibreurs de charge prennent en charge l’exécution de sondes d’intégrité qui exécutent des points de terminaison d’application ping à intervalles configurés. Vous pouvez également utiliser un service de surveillance externe. Un service de surveillance agrège les contrôles d’intégrité entre plusieurs composants de la charge de travail. Les agents de surveillance peuvent également héberger du code qui effectue une correction immédiate pour les conditions d’intégrité connues.

Adopter des techniques de surveillance structurelle et fonctionnelle

La surveillance structurelle implique d’équiper l’application avec des journaux sémantiques et des métriques. L’application collecte directement ces métriques, notamment la consommation actuelle de mémoire, la latence des requêtes et d’autres données pertinentes au niveau de l’application.

Renforcez vos processus de supervision à l’aide de la supervision fonctionnelle. Cette approche se concentre sur la mesure des services de plateforme et leur effet sur l’expérience utilisateur globale. Contrairement à la surveillance structurelle, la surveillance fonctionnelle ne nécessite pas de connaissances détaillées du système. Il teste le comportement visible en externe de l’application. Cette approche est utile pour évaluer les SLO et les SLA.

Modéliser la conception

Représente la conception d’application identifiée en tant qu’entités et relations. Mappez les signaux d’intégrité à des composants spécifiques pour quantifier les états d’intégrité au niveau d’une entité. Tenez compte de la criticité des composants pour déterminer la façon dont les états d’intégrité doivent se propager via le modèle. Par exemple, les composants de création de rapports peuvent ne pas être aussi critiques que d’autres composants, ce qui entraîne des effets différents sur l’intégrité globale de la charge de travail.

Définir des alertes actionnables

Utilisez les états d’intégrité évalués pour déclencher des alertes et une action automatisée. L’intégrité doit être intégrée dans les runbooks opérationnels existants en tant que tenet de données d’observabilité de base.

En règle générale, il existe un mappage un-à-un entre les données de surveillance et les règles d’alerte, ce qui peut entraîner des résultats indésirables, tels que les tempêtes d’alerte et le bruit d’alerte ambiant. Par exemple, dans un cluster de calcul, des volumes élevés d’alertes au niveau de la machine virtuelle en fonction de l’utilisation du processeur et du nombre d’erreurs peuvent surcharger les opérateurs pendant les défaillances et provoquer des retards dans la résolution. De même, lorsqu’il existe un grand nombre d’alertes configurées, le bruit d’alerte ambiante entraîne souvent des alertes qui sont ignorées ou ignorées.

Un modèle d’intégrité introduit la séparation entre les données de surveillance et les règles d’alerte. Une définition d’intégrité agrège de nombreux signaux en un seul état d’intégrité, ce qui réduit le nombre d’alertes afin que les opérateurs puissent se concentrer uniquement sur des alertes à valeur élevée qui sont critiques pour l’organisation. Envisagez le scénario d’e-commerce. Vous pouvez configurer une alerte pour envoyer des notifications sur les modifications apportées à l’intégrité du flux de paiement du processus au lieu des modifications apportées aux ressources sous-jacentes telles que la file d’attente Service Bus.

Visualiser le modèle

Créez des représentations visuelles, telles que des tableaux ou des graphiques, pour transmettre efficacement l’état actuel et l’historique du modèle d’intégrité. Assurez-vous que la visualisation s’aligne sur le contexte métier et fournit des insights exploitables.

Lorsque vous visualisez votre modèle d’intégrité, envisagez d’adopter une approche de lumière du trafic pour rendre les états d’intégrité immédiatement perspicaces entre les chaînes de dépendances.

Affectez le vert pour l’intégrité, l’ambre pour détérioré et le rouge pour une mauvaise santé. En identifiant rapidement les états codés en couleur, vous pouvez localiser efficacement la cause racine de toute dégradation de l’application.

Adopter votre modèle d’intégrité

Après avoir créé un modèle d’intégrité, tenez compte des cas d’usage suivants pour détecter et interpréter les défaillances ou les problèmes opérationnels.

Applicabilité à différents rôles

La modélisation d’intégrité peut fournir des informations spécifiques aux fonctions de travail ou aux rôles dans le même contexte de la charge de travail. Par exemple, un rôle DevOps peut avoir besoin d’informations sur l’intégrité opérationnelle. Un agent de sécurité peut être plus préoccupé par les signaux d’intrusion et l’exposition à la sécurité. Un administrateur de base de données n’est probablement intéressé que par un sous-ensemble du modèle d’application via les ressources de base de données.

Personnalisation des insights d’intégrité pour différentes parties prenantes. Envisagez de créer des modèles distincts de jeux de données qui se chevauchent.

Validation continue

Utilisez votre modèle d’intégrité pour optimiser les processus de test et de validation, tels que les tests de charge et les tests de chaos. Vous pouvez valider l’état opérationnel du runtime pendant les tests et évaluer l’efficacité de votre modèle dans les scénarios de mise à l’échelle et d’échec en incorporant des modèles d’intégrité dans votre cycle de vie d’ingénierie.

Intégrité de l’organisation

Bien que la modélisation de l’intégrité soit généralement associée à la quantifier les états d’intégrité des applications individuelles, sa mise en application s’étend au-delà de cette étendue.

Au niveau d’une charge de travail individuelle, les modèles d’intégrité fournissent une base pour l’observabilité des applications et les insights opérationnels. Chaque application peut avoir son propre modèle d’intégrité qui capture ce que signifie chaque état d’intégrité dans son contexte.

Vous pouvez combiner plusieurs modèles d’intégrité dans une construction de haut niveau en créant un modèle de modèles. Par exemple, vous pouvez créer l’empreinte d’observabilité d’une unité commerciale ou d’un patrimoine cloud entier à l’aide de modèles d’intégrité en tant que composants dans un modèle plus grand. Les modèles d’intégrité représentent des charges de travail dans le patrimoine en tant que nœuds dans le graphique de niveau supérieur. Utilisez les relations dans ce modèle pour capturer les dépendances entre applications, notamment les flux de données, les interactions de service et l’infrastructure partagée.

Considérez une entreprise de vente au détail qui a diverses applications pour le commerce électronique, les paiements et le traitement des commandes. Vous pouvez définir chacune de ces applications en tant que modèle d’intégrité indépendant pour quantifier l’intégrité de cette charge de travail. Vous pouvez ensuite utiliser un modèle parent pour mapper tous ces modèles d’intégrité de composant en tant qu’entités et capturer l’impact opérationnel inter-application via des chaînes de dépendances. Par exemple, si l’application e-commerce devient défectueuse, elle a un effet en cascade sur l’application de paiement.

Tendances d’intégrité et IA pour les opérations informatiques

La modélisation de l’intégrité fournit une base de référence opérationnelle quantifiée qui est ajustée à un contexte métier spécifique. L’IA pour les opérations informatiques (AIOps) est un moyen populaire d’améliorer l’efficacité opérationnelle. Les données d’intégrité constituent une entrée fondamentale pour les modèles Machine Learning pour analyser les tendances d’intégrité. Par exemple, les modèles Machine Learning peuvent :

• Extrayez plus d’informations à partir des modifications d’état et recommandez des actions.

• Analysez les tendances d’intégrité au fil du temps pour générer la prédiction des problèmes et l’affinement du modèle.

Maintenir votre modèle d’intégrité

La maintenance d’un modèle thermique est une activité d’ingénierie continue qui s’aligne sur le développement et les opérations de votre application. À mesure que votre application évolue, assurez-vous que votre modèle d’intégrité évolue en parallèle.

En outre, traitez les modèles d’intégrité comme les artefacts de charge de travail qui doivent être intégrés à votre cycle de vie de développement. Adoptez l’infrastructure en tant que code (IaC) pour une gestion cohérente et contrôlée par la version de votre modèle d’intégrité. Utilisez l’automatisation pour que le modèle reste à jour lorsque vous ajoutez ou supprimez des composants d’infrastructure et d’application de la charge de travail.

Les données d’intégrité diminuent progressivement en valeur au fil du temps. Pour optimiser l’efficacité opérationnelle et réduire les coûts, évitez de conserver les données d’intégrité au-delà de 30 jours. Si nécessaire, vous pouvez archiver des données pour répondre aux exigences d’audit ou dans les scénarios qui impliquent une analyse de modèle à long terme dans l’IA pour les opérations informatiques.

Liens connexes

• Pour implémenter des sondes d’intégrité dans ASP.NET, consultez Vérifications d’intégrité dans ASP.NET Core.
• Pour plus d’informations sur les métriques de surveillance, consultez la section Présentation des métriques Azure Monitor.
• Pour plus d’informations sur l’utilisation d’Application Insights, consultez Application Insights.
• Pour plus d’informations sur la conception et les recommandations relatives aux charges de travail stratégiques, consultez la modélisation et l’observabilité de l’intégrité pour les charges de travail stratégiques sur Azure.
• Pour une expérience pratique, consultez Concevoir un modèle d’intégrité pour votre charge de travail stratégique.

Étape suivante