Używanie odświeżania przyrostowego z przepływami danych

Za pomocą przepływów danych można przenieść duże ilości danych do usługi Power BI lub udostępnionego magazynu organizacji. W niektórych przypadkach jednak nie jest praktyczne zaktualizowanie pełnej kopii danych źródłowych w każdym odświeżeniu. Dobrą alternatywą jest odświeżanie przyrostowe, które zapewnia następujące korzyści dla przepływów danych:

• Odświeżanie odbywa się szybciej: należy odświeżyć tylko zmienione dane. Na przykład odśwież tylko ostatnie pięć dni 10-letniego przepływu danych.
• Odświeżanie jest bardziej niezawodne: na przykład nie jest konieczne utrzymywanie długotrwałych połączeń z nietrwałymi systemami źródłowymi.
• Zużycie zasobów jest mniejsze: mniej danych do odświeżania zmniejsza ogólne zużycie pamięci i innych zasobów.

Odświeżanie przyrostowe jest dostępne w przepływach danych utworzonych w usłudze Power BI i przepływach danych utworzonych w usłudze Power Apps. W tym artykule przedstawiono ekrany z usługi Power BI, ale te instrukcje dotyczą przepływów danych utworzonych w usłudze Power BI lub w usłudze Power Apps.

Użycie odświeżania przyrostowego w przepływach danych utworzonych w usłudze Power BI wymaga, aby przepływ danych znajdował się w obszarze roboczym w pojemności Premium. Odświeżanie przyrostowe w usłudze Power Apps wymaga planów usługi Power Apps dla aplikacji lub poszczególnych użytkowników i jest dostępne tylko dla przepływów danych w usłudze Azure Data Lake Storage jako miejsca docelowego.

W usłudze Power BI lub Power Apps użycie odświeżania przyrostowego wymaga, aby dane źródłowe pozyskane do przepływu danych miały pole DateTime, na którym można filtrować odświeżanie przyrostowe.

Konfigurowanie odświeżania przyrostowego dla przepływów danych

Przepływ danych może zawierać wiele tabel. Odświeżanie przyrostowe jest konfigurowane na poziomie tabeli, co pozwala jednemu przepływowi danych przechowywać zarówno w pełni odświeżone tabele, jak i odświeżane przyrostowo tabele.

Aby skonfigurować tabelę odświeżaną przyrostowo, zacznij od skonfigurowania tabeli tak, jak w przypadku każdej innej tabeli.

Po utworzeniu i zapisaniu przepływu danych wybierz pozycję Odświeżanie przyrostowe w widoku tabeli, jak pokazano na poniższej ilustracji.

Po wybraniu ikony zostanie wyświetlone okno Ustawienia odświeżania przyrostowego. Włącz odświeżanie przyrostowe.

Poniższa lista zawiera opis ustawień w oknie Ustawienia odświeżania przyrostowego.

• Przełącznik odświeżania przyrostowego/wyłączania: włącza lub wyłącza zasady odświeżania przyrostowego dla tabeli.

• Lista rozwijana pola filtru: wybiera pole zapytania, w którym tabela ma być filtrowana pod kątem przyrostów. To pole zawiera tylko pola DateTime. Nie można użyć odświeżania przyrostowego, jeśli tabela nie zawiera pola DateTime.

  Ważne

  Wybierz niezmienne pole daty dla filtru odświeżania przyrostowego. Jeśli wartość pola zmieni się (na przykład z polem zmodyfikowanym datą), może to prowadzić do niepowodzeń odświeżania z powodu zduplikowanych wartości w danych.

• Przechowywanie/odświeżanie wierszy z przeszłości: przykład na poprzedniej ilustracji ilustruje te kilka następnych ustawień.

  W tym przykładzie definiujemy zasady odświeżania do przechowywania łącznie pięciu lat danych i przyrostowego odświeżania danych 10 dni. Przy założeniu, że tabela jest odświeżona codziennie, dla każdej operacji odświeżania są wykonywane następujące akcje:

  • Dodaj nowy dzień danych.

  • Odśwież 10 dni, aż do bieżącej daty.

  • Usuń lata kalendarzowe starsze niż pięć lat przed bieżącą datą. Jeśli na przykład bieżąca data to 1 stycznia 2019 r., rok 2013 zostanie usunięty.

  Pierwsze odświeżanie przepływu danych może zająć trochę czasu, zanim zaimportuj wszystkie pięć lat, ale kolejne operacje odświeżania prawdopodobnie zostaną ukończone znacznie szybciej.

• Wykrywanie zmian danych: odświeżanie przyrostowe z 10 dni jest znacznie bardziej wydajne niż pełne odświeżanie z pięciu lat, ale może być możliwe jeszcze lepsze. Po wybraniu pola wyboru Wykryj zmiany danych możesz wybrać kolumnę daty/godziny, aby zidentyfikować i odświeżyć tylko dni, w których dane uległy zmianie. Zakłada się, że taka kolumna istnieje w systemie źródłowym, który jest zwykle przeznaczony do celów inspekcji. Maksymalna wartość tej kolumny jest obliczana dla każdego z okresów w zakresie przyrostowym. Jeśli te dane nie uległy zmianie od czasu ostatniego odświeżenia, nie trzeba odświeżać okresu. W tym przykładzie może to jeszcze bardziej zmniejszyć liczbę dni odświeżania przyrostowego z zakresu od 10 do 2.

  Napiwek

  Bieżący projekt wymaga, aby kolumna używana do wykrywania zmian danych była utrwalana i buforowana w pamięci. Warto rozważyć jedną z następujących technik, aby zmniejszyć kardynalność i zużycie pamięci:

  • Utrwali tylko maksymalną wartość tej kolumny podczas odświeżania, na przykład przy użyciu funkcji Power Query.
  • Zmniejsz precyzję do poziomu, który jest akceptowalny, biorąc pod uwagę wymagania dotyczące częstotliwości odświeżania.

• Odświeżaj tylko pełne okresy: Załóżmy, że odświeżanie ma być uruchamiane codziennie o godzinie 4:00. Jeśli dane pojawią się w systemie źródłowym w ciągu tych pierwszych czterech godzin tego dnia, możesz nie chcieć go uwzględnić. Niektóre metryki biznesowe, takie jak baryłki dziennie w przemyśle naftowym i gazowym, nie są praktyczne ani rozsądne do uwzględnienia w oparciu o częściowe dni.

  Innym przykładem, w którym odpowiednie jest odświeżanie tylko pełnych okresów, to odświeżanie danych z systemu finansowego. Wyobraź sobie system finansowy, w którym dane z poprzedniego miesiąca są zatwierdzane w 12 dniu kalendarzowym miesiąca. Można ustawić zakres przyrostowy na jeden miesiąc i zaplanować uruchomienie odświeżania w 12 dniu miesiąca. Po wybraniu tej opcji system odświeży dane ze stycznia (ostatni pełny okres miesięczny) 12 lutego.

Po skonfigurowaniu odświeżania przyrostowego przepływ danych automatycznie zmienia zapytanie w celu uwzględnienia filtrowania według daty. Jeśli przepływ danych został utworzony w usłudze Power BI, możesz również edytować automatycznie wygenerowane zapytanie przy użyciu edytora zaawansowanego w dodatku Power Query, aby dostosować lub dostosować odświeżanie. Przeczytaj więcej na temat odświeżania przyrostowego i sposobu jego działania w poniższych sekcjach.

Odświeżanie przyrostowe i tabele połączone a tabele obliczone

W przypadku tabel połączonych odświeżanie przyrostowe aktualizuje tabelę źródłową. Ponieważ tabele połączone są po prostu wskaźnikiem do oryginalnej tabeli, odświeżanie przyrostowe nie ma wpływu na tabelę połączoną. Gdy tabela źródłowa jest odświeżona zgodnie ze zdefiniowanymi zasadami odświeżania, każda połączona tabela powinna zakładać, że dane w źródle są odświeżane.

Obliczone tabele są oparte na zapytaniach uruchomionych w magazynie danych, które mogą być kolejnym przepływem danych. W związku z tym tabele obliczane zachowują się tak samo jak tabele połączone.

Ponieważ tabele obliczeniowe i połączone tabele zachowują się podobnie, wymagania i kroki konfiguracji są takie same dla obu tych tabel. Jedną z różnic jest to, że w przypadku tabel obliczeniowych w niektórych konfiguracjach odświeżanie przyrostowe nie może być uruchamiane w sposób zoptymalizowany ze względu na sposób tworzenia partycji.

Zmiana między odświeżaniem przyrostowym i pełnym

Przepływy danych obsługują zmianę zasad odświeżania między odświeżaniem przyrostowym i pełnym odświeżaniem. Gdy zmiana nastąpi w obu kierunkach (pełna do przyrostowej lub przyrostowej do pełnej), zmiana wpływa na przepływ danych po następnym odświeżeniu.

Podczas przenoszenia przepływu danych z pełnego odświeżania do przyrostowego nowa logika odświeżania aktualizuje przepływ danych, postępując zgodnie z definicją w ustawieniach odświeżania przyrostowego.

Podczas przenoszenia przepływu danych z przyrostowego do pełnego odświeżania wszystkie dane zebrane w odświeżaniu przyrostowym są zastępowane przez zasady zdefiniowane w pełnym odświeżeniu. Musisz zatwierdzić tę akcję.

Obsługa strefy czasowej w odświeżaniu przyrostowym

Odświeżanie przyrostowe przepływu danych zależy od czasu jego uruchomienia. Filtrowanie zapytania zależy od dnia jego uruchomienia.

Aby uwzględnić te zależności i zapewnić spójność danych, odświeżanie przyrostowe dla przepływów danych implementuje następujące heurystyczne scenariusze odświeżania :

• W przypadku, gdy zaplanowane odświeżanie jest zdefiniowane w systemie, odświeżanie przyrostowe używa ustawień strefy czasowej z sekcji zaplanowanego odświeżania. Gwarantuje to, że niezależnie od strefy czasowej, w której jest odświeżony przepływ danych, zawsze będzie ona zgodna z definicją systemu.

• Jeśli nie zdefiniowano zaplanowanego odświeżania, przepływy danych używają strefy czasowej z komputera użytkownika, który wykonuje odświeżanie.

Odświeżanie przyrostowe można również wywołać przy użyciu interfejsów API. W takim przypadku wywołanie interfejsu API może przechowywać ustawienie strefy czasowej używane podczas odświeżania. Korzystanie z interfejsów API może być przydatne do celów testowania i walidacji.

Szczegóły implementacji odświeżania przyrostowego

Przepływy danych używają partycjonowania do odświeżania przyrostowego. Odświeżanie przyrostowe w przepływach danych zapewnia minimalną liczbę partycji spełniających wymagania zasad odświeżania. Stare partycje, które wykraczają poza zakres, są porzucane, co utrzymuje okno stopniowe. Partycje są odpowiednio scalane, co zmniejsza łączną wymaganą liczbę partycji. Poprawia to kompresję i, w niektórych przypadkach, może zwiększyć wydajność zapytań.

Przykłady w tej sekcji zawierają następujące zasady odświeżania:

• Przechowywanie wierszy w ciągu ostatniego 1 kwartału
• Odświeżanie wierszy w ciągu ostatnich 10 dni
• Wykrywanie zmian danych = Fałsz
• Odśwież tylko pełne dni = Prawda

Scalanie partycji

W tym przykładzie partycje dnia są automatycznie scalane na poziomie miesiąca po przejściu poza zakres przyrostowy. Partycje w zakresie przyrostowym muszą być utrzymywane z dziennym stopniem szczegółowości, aby umożliwić odświeżanie tylko tych dni. Operacja odświeżania z datą uruchomienia 12.11.2016 scala dni w listopadzie, ponieważ wykraczają poza zakres przyrostowy.

Usuwanie starych partycji

Stare partycje, które wykraczają poza zakres całkowity, są usuwane. Operacja odświeżania z datą uruchomienia 1/2/2017 odrzuca partycję dla kwartału 2016 r., ponieważ wykracza poza całkowity zakres.

Odzyskiwanie po długotrwałym niepowodzeniu

W tym przykładzie symuluje sposób, w jaki system będzie bezpiecznie odzyskiwać po długotrwałej awarii. Załóżmy, że odświeżanie nie działa pomyślnie, ponieważ poświadczenia źródła danych wygasły, a rozwiązanie problemu trwa 13 dni. Zakres przyrostowy wynosi tylko 10 dni.

Następna pomyślna operacja odświeżania z datą uruchomienia 1.15.2017 musi wypełnić brakujące 13 dni i odświeżyć je. Należy również odświeżyć poprzednie dziewięć dni, ponieważ nie zostały odświeżone zgodnie z normalnym harmonogramem. Innymi słowy, zakres przyrostowy jest zwiększany z 10 do 22 dni.

Kolejna operacja odświeżania z datą uruchomienia 1.16.2017 r. umożliwia scalenie dni w grudniu i miesięcy w 4 kwartale 2016 r.

Odświeżanie przyrostowe przepływu danych i zestawy danych

Odświeżanie przyrostowe przepływu danych i odświeżanie przyrostowe zestawu danych są przeznaczone do współpracy. Dopuszczalne i obsługiwane jest przyrostowe odświeżanie tabeli w przepływie danych, pełne załadowanie do zestawu danych lub w pełni załadowana tabela w przepływie danych przyrostowo załadowana do zestawu danych.

Oba podejścia działają zgodnie z określonymi definicjami w ustawieniach odświeżania. Więcej informacji: Odświeżanie przyrostowe w usłudze Power BI Premium

Zobacz też

W tym artykule opisano odświeżanie przyrostowe dla przepływów danych. Oto kilka artykułów, które mogą być przydatne:

• Przygotowywanie danych samoobsługi w usłudze Power BI
• Tworzenie tabel obliczeniowych w przepływach danych
• Nawiązywanie połączenia ze źródłami danych dla przepływów danych
• Łączenie tabel między przepływami danych
• Tworzenie i używanie przepływów danych w usłudze Power BI
• Używanie przepływów danych z lokalnymi źródłami danych
• Zasoby dla deweloperów dla przepływów danych usługi Power BI

Więcej informacji na temat Power Query i planowanego odświeżenia można znaleźć w następujących artykułach:

• Omówienie zapytań w Power BI Desktop
• Konfigurowanie zaplanowanego odświeżania

Aby uzyskać więcej informacji na temat usługi Common Data Model, możesz przeczytać jej artykuł z omówieniem:

• Common Data Model - omówienie