Pozyskiwanie i normalizacja danych

  • Artykuł

Ten artykuł pomaga zrozumieć możliwości pozyskiwania i normalizacji danych w strukturze FinOps Framework oraz jak zaimplementować je w chmurze firmy Microsoft.


Definicja

Pozyskiwanie i normalizacja danych odnosi się do procesu zbierania, przekształcania i organizowania danych z różnych źródeł w jedno, łatwo dostępne repozytorium.

Zbierz koszty, wykorzystanie, wydajność i inne dane biznesowe od dostawców chmury, dostawców i systemów lokalnych. Zbieranie danych może obejmować:

  • Wewnętrzne dane IT. Na przykład z systemów zarządzania konfiguracją bazy danych (CMDB) lub zarządzania zasobami IT (ITAM).
  • Dane specyficzne dla firmy, takie jak hierarchie organizacyjne i metryki, które mapują koszty chmury na lub kwantyfikują wartość biznesową. Na przykład przychód zdefiniowany przez instrukcje misji organizacyjnej i dzielenia.

Rozważ sposób raportowania danych i planowanie wymagań dotyczących standaryzacji danych w celu obsługi raportowania podobnych danych z wielu źródeł, takich jak dane kosztów z wielu chmur lub typów kont. Preferuj otwarte standardy i współdziałanie z dostawcami, dostawcami i narzędziami wewnętrznymi. Konieczne może być również logiczne i znaczące organizowanie danych. Możesz kategoryzować lub oznaczać je, aby ułatwić dostęp, analizowanie i zrozumienie.

W przypadku uzbrojenia w kompleksową kolekcję informacji o kosztach i użyciu związanych z wartością biznesową organizacje mogą wspierać uczestników projektu i przyspieszać cele innych funkcji FinOps. Uczestnicy projektu mogą podejmować bardziej świadome decyzje, co prowadzi do bardziej wydajnego wykorzystania zasobów i potencjalnie znaczących oszczędności kosztów.


Zanim rozpoczniesz

Chociaż pozyskiwanie i normalizacja danych mają kluczowe znaczenie dla długoterminowej wydajności i skuteczności każdej praktyki FinOps, nie jest to wymaganie blokujące dla początkowego zestawu inwestycji FinOps. Jeśli jest to twoja pierwsza iteracja w cyklu życia FinOps, należy rozważyć możliwości lżejszej wagi, które mogą zapewnić szybszy zwrot z inwestycji, takich jak analiza danych i powrót. Pozyskiwanie i normalizacja danych może wymagać znacznego czasu i nakładu pracy w zależności od rozmiaru konta i złożoności. Zalecamy skupienie się na tym procesie po odpowiednim poziomie zrozumienia wysiłku i zaangażowania kluczowych uczestników projektu w celu wspierania tego wysiłku.


Wprowadzenie

Po pierwszym rozpoczęciu zarządzania kosztami w chmurze należy użyć natywnych narzędzi dostępnych w portalu lub za pośrednictwem usługi Power BI. Jeśli potrzebujesz więcej, możesz pobrać dane do analizy lokalnej lub ewentualnie utworzyć mały raport lub scalić go z innym zestawem danych. W końcu należy zautomatyzować ten proces, czyli miejsce"pozyskiwania danych". Jako punkt wyjścia skupiamy się na pozyskiwaniu danych kosztów do wspólnego magazynu danych.

  • Przed pozyskiwaniem danych kosztów zastanów się nad potrzebami raportowania.
    • Porozmawiaj z uczestnikami projektu, aby upewnić się, że masz zdecydowane zrozumienie tego, czego potrzebują. Staraj się zrozumieć swoje motywacje i cele, aby upewnić się, że dane lub raporty pomagają im.
    • Zidentyfikuj potrzebne dane, skąd możesz uzyskać dane i kto może udzielić Ci dostępu. Zanotuj wszystkie typowe zestawy danych, które mogą wymagać normalizacji.
    • Określ wymagany poziom szczegółowości i częstotliwość odświeżania danych. Dane dotyczące kosztów dziennych mogą stanowić wyzwanie związane z zarządzaniem dużym kontem. Rozważ miesięczne agregacje, aby zmniejszyć koszty i zwiększyć wydajność zapytań oraz niezawodność, jeśli spełnia to potrzeby raportowania.
  • Rozważ użycie platformy FinOps innej firmy.
    • Przejrzyj dostępne rozwiązania innych firm w witrynie Azure Marketplace.
    • Jeśli zdecydujesz się utworzyć własne rozwiązanie, rozważ rozpoczęcie pracy z koncentratorami FinOps, częścią zestawu narzędzi FinOps typu open source dostarczonego przez firmę Microsoft.
      • Centra FinOps przyspieszają programowanie i pomagają skupić się na tworzeniu potrzebnych funkcji, a nie na infrastrukturze.
  • Wybierz rozwiązanie szczegółów kosztów, które jest odpowiednie dla Ciebie. Zalecamy zaplanowane eksporty, które wypychają dane kosztów do konta magazynu codziennie lub co miesiąc.
    • Jeśli używasz codziennych eksportów, zwróć uwagę, że dane są wypychane do nowego pliku każdego dnia. Upewnij się, że podczas raportowania kosztów wybrano tylko ostatni dzień.
  • Ustal, czy potrzebujesz technologii integracji danych lub przepływu pracy do przetwarzania danych.
    • Na wczesnym etapie możesz przechowywać dane na wyeksportowanym koncie magazynu bez innego przetwarzania. Zalecamy przechowywanie tam danych dla małych kont z uproszczonymi wymaganiami i minimalnym dostosowaniem.
    • Jeśli musisz pozyskać dane do bardziej zaawansowanego magazynu danych lub przeprowadzić oczyszczanie lub normalizację danych, może być konieczne zaimplementowanie potoku danych. Wybierz technologię aranżacji potoku danych.
  • Określ, jakie są wymagania dotyczące magazynu danych.
    • Na wczesnym etapie zalecamy używanie wyeksportowanego konta magazynu dla uproszczenia i niższych kosztów.
    • Jeśli potrzebujesz zaawansowanego aparatu zapytań lub spodziewasz się ograniczenia rozmiaru danych w narzędziach raportowania, rozważ pozyskiwanie danych w magazynie danych analitycznych. Wybierz analityczny magazyn danych.

Tworzenie podstaw

W tym momencie masz potok danych i pozyskiwasz dane do centralnego repozytorium danych. W miarę przechodzenia poza podstawy należy wziąć pod uwagę następujące kwestie:

  • Normalizuj dane do standardowego schematu, aby obsługiwać dopasowywanie i łączenie danych z wielu źródeł.
    • W przypadku danych kosztów zalecamy użycie schematu FinOps Open Cost & Usage Specification (FOCUS).
    • Centra FinOps zawierają raporty usługi Power BI, które normalizują dane do schematu FOCUS, co może być dobrym punktem wyjścia.
  • Uzupełnij dane dotyczące kosztów chmury za pomocą hierarchii organizacyjnych i budżetów.
    • Rozważ etykietowanie lub wymagania dotyczące tagowania, aby zamapować koszty chmury na hierarchie organizacyjne.
  • Wzbogacanie zasobów chmury i danych rozwiązania za pomocą wewnętrznych danych CMDB lub ITAM.
  • Zastanów się, jakie wewnętrzne metryki biznesowe i przychodów są potrzebne do mapowania kosztów chmury na wartość biznesową.
  • Ustal, jakie inne zestawy danych są wymagane na podstawie potrzeb związanych z raportowaniem:

Dowiedz się więcej na stronie FinOps Foundation

Ta funkcja jest częścią struktury FinOps Foundation przez Organizację FinOps Foundation, organizacji non-profit zajmującej się rozwijaniem zarządzania kosztami w chmurze i optymalizacji. Aby uzyskać więcej informacji na temat finops, w tym przydatnych podręczników, szkoleń i programów certyfikacji oraz nie tylko, zobacz artykuł Pozyskiwanie i normalizacja danych w dokumentacji platformy FinOps Framework.

Możesz również znaleźć powiązane filmy wideo na kanale FinOps Foundation YouTube:


Powiązana zawartość

Powiązane możliwości finops:

Powiązane produkty:

Powiązane rozwiązania: