Ingestion et normalisation des données

  • Article

Cet article vous aide à comprendre la fonctionnalité d’ingestion et de normalisation des données dans FinOps Framework et comment l’implémenter dans Microsoft Cloud.


Définition

L’ingestion et la normalisation des données font référence au processus de collecte, de transformation et d’organisation des données provenant de différentes sources en un référentiel unique et facilement accessible.

Collectez des données de coût, d’utilisation, de performances et d’autres données métier auprès de fournisseurs de cloud, de fournisseurs et de systèmes locaux. La collecte des données peut inclure :

  • Des données informatiques internes. Par exemple, à partir d’une base de données de gestion de la configuration (CMDB) ou de systèmes de gestion des ressources informatiques (ITAM).
  • Des données spécifiques à l’entreprise, telles que les hiérarchies et les mesures organisationnelles qui mappent les coûts du cloud à la valeur métier ou la quantifient. Par exemple, le chiffre d’affaires, tel que défini par les énoncés de mission de votre organisation et division.

Réfléchissez à la façon dont les données sont communiquées et planifiez les exigences de normalisation des données pour prendre en charge la création de rapports sur des données similaires provenant de plusieurs sources, comme les données de coût de plusieurs clouds ou types de comptes. Préférez les normes ouvertes et l’interopérabilité avec et entre les fournisseurs et les outils internes. Vous devrez peut-être également organiser les données de manière logique et significative. Vous pouvez la classer ou la baliser pour faciliter l’accès, l’analyse et la compréhension.

Lorsqu’elles disposent d’une collection complète d’informations sur les coûts et l’utilisation liées à la valeur métier, les organisations peuvent responsabiliser les parties prenantes et atteindre plus rapidement les objectifs d’autres fonctionnalités FinOps. Les parties prenantes sont en mesure de prendre des décisions plus éclairées, ce qui entraîne une utilisation plus efficace des ressources et des économies potentiellement importantes.


Avant de commencer

Bien que l’ingestion et la normalisation des données soient essentielles à l’efficacité à long terme de toute pratique FinOps, il ne s’agit pas d’une exigence bloquante pour votre ensemble initial d’investissements FinOps. S’il s’agit de votre première itération au cours du cycle de vie FinOps, envisagez des fonctionnalités plus légères qui peuvent offrir un retour sur investissement plus rapide, comme l’analyse et l’affichage des données. L’ingestion et la normalisation des données peuvent nécessiter beaucoup de temps et d’efforts en fonction de la taille et de la complexité du compte. Nous vous recommandons de vous concentrer sur ce processus une fois que vous possédez un bon niveau de compréhension de l’effort et de l’engagement des parties prenantes clés pour soutenir cet effort.


Prise en main

Lorsque vous commencez à gérer les coûts dans le cloud, vous utilisez les outils natifs disponibles dans le portail ou via Power BI. Si vous en avez besoin, vous pouvez télécharger les données pour l’analyse locale, ou éventuellement créer un petit rapport ou le fusionner avec un autre jeu de données. Finalement, vous devez automatiser ce processus, qui est l’endroit où l’ingestion de données entre en jeu. Comme point de départ, nous nous concentrons sur l’ingestion de données de coût dans un magasin de données commun.

  • Avant d’ingérer des données de coût, réfléchissez à vos besoins en matière de création de rapports.
    • Parlez à vos parties prenantes pour vous assurer que vous comprenez bien ce dont elles ont besoin. Essayez de comprendre leurs motivations et leurs objectifs pour s’assurer que les données ou les rapports les aident.
    • Identifiez les données dont vous avez besoin, d’où vous pouvez obtenir les données et qui peut vous donner accès. Notez les jeux de données courants susceptibles de nécessiter la normalisation.
    • Déterminez le niveau de granularité requis et la fréquence à laquelle les données doivent être actualisées. Les données de coûts quotidiens peuvent être un défi à gérer pour un grand compte. Envisagez des agrégats mensuels pour réduire les coûts et augmenter les performances et la fiabilité des requêtes si cela répond à vos besoins de création de rapports.
  • Envisagez d’utiliser une plateforme FinOps tierce.
    • Passez en revue les solutions tierces disponibles dans la Place de marché Azure.
    • Si vous décidez de créer votre propre solution, envisagez de commencer par les hubs FinOps, qui font partie du kit de ressources FinOps open source fourni par Microsoft.
      • Les hubs FinOps accélèrent votre développement et vous aident à vous concentrer sur la création des fonctionnalités dont vous avez besoin plutôt que sur l’infrastructure.
  • Sélectionnez la solution de détails des coûts qui vous convient. Nous vous recommandons d’effectuer des exportations planifiées, qui poussent les données de coût vers un compte de stockage sur une base quotidienne ou mensuelle.
    • Si vous utilisez des exportations quotidiennes, notez que les données sont envoyées dans un nouveau fichier chaque jour. Veillez à sélectionner uniquement le dernier jour lorsque vous créez des rapports sur les coûts.
  • Déterminez si vous avez besoin d’une technologie d’intégration de données ou de workflow pour traiter les données.
    • Dans une phase précoce, vous pouvez conserver des données dans le compte de stockage exporté sans autre traitement. Nous vous recommandons d’y conserver les données pour les petits comptes avec des exigences légères et une personnalisation minimale.
    • Si vous devez ingérer des données dans un magasin de données plus avancé ou effectuer un nettoyage ou une normalisation des données, vous devrez peut-être implémenter un pipeline de données. Choisissez une technologie d'orchestration de pipeline de données.
  • Déterminez vos besoins en stockage des données.
    • Dans une phase initiale, nous vous recommandons d’utiliser le compte de stockage exporté pour plus de simplicité et des coûts réduits.
    • Si vous avez besoin d’un moteur de requête avancé ou si vous prévoyez d’atteindre des limitations de taille de données dans vos outils de création de rapports, vous devez envisager d’ingérer des données dans un magasin de données analytiques. Choisissez un magasin de données analytiques.

Les éléments essentiels comme point de départ

À ce stade, vous disposez d’un pipeline de données et vous ingérez des données dans un référentiel de données central. Lorsque vous allez au-delà des principes de base, tenez compte des points suivants :

  • Normalisez les données dans un schéma standard pour prendre en charge l’alignement et la fusion de données provenant de plusieurs sources.
    • Pour les données de coût, nous vous recommandons d’utiliser le schéma FinOps Open Cost &Usage Specification (FOCUS).
    • FinOps Hubs inclut des rapports Power BI qui normalisent les données au schéma FOCUS, ce qui peut être un bon point de départ.
  • Complétez les données de coût du cloud avec des hiérarchies et des budgets organisationnels.
    • Envisagez les exigences d’étiquetage ou de balisage pour mapper les coûts du cloud aux hiérarchies organisationnelles.
  • Enrichissez les données de ressources et de solution cloud avec des données CMDB ou ITAM internes.
  • Réfléchissez aux mesures métier et de chiffre d’affaires internes nécessaires pour mapper les coûts du cloud à la valeur métier.
  • Déterminez les autres jeux de données requis en fonction de vos besoins de création de rapports :

En savoir plus sur FinOps Foundation

Cette fonctionnalité fait partie de FinOps Framework de FinOps Foundation, une organisation à but non lucratif dédiée à la promotion de la gestion et de l’optimisation des coûts liés au cloud. Pour plus d’informations sur FinOps, y compris des playbooks utiles, des programmes de formation et de certification, et bien plus encore, consultez l’article Capacité d’ingestion et de normalisation des données dans la documentation FinOps Framework.

Vous pouvez également trouver des vidéos connexes sur la chaîne YouTube de la FinOps Foundation :


Contenu connexe

Fonctionnalités FinOps connexes :

Produits connexes :

Solutions connexes :