Monitorowanie usługi Azure Stream Analytics

  • Artykuł

W tym artykule opisano:

  • Typy danych monitorowania, które można zbierać dla tej usługi.
  • Sposoby analizowania tych danych.

Uwaga

Jeśli znasz już tę usługę i/lub usługę Azure Monitor i chcesz wiedzieć, jak analizować dane monitorowania, zobacz sekcję Analizowanie pod koniec tego artykułu.

Jeśli masz krytyczne aplikacje i procesy biznesowe korzystające z zasobów platformy Azure, musisz monitorować i otrzymywać alerty dla systemu. Usługa Azure Monitor zbiera i agreguje metryki i dzienniki z każdego składnika systemu. Usługa Azure Monitor zapewnia wgląd w dostępność, wydajność i odporność oraz powiadamia o problemach. Do konfigurowania i wyświetlania danych monitorowania można użyć witryny Azure Portal, programu PowerShell, interfejsu wiersza polecenia platformy Azure, interfejsu API REST lub bibliotek klienckich.

Aby uzyskać instrukcje dotyczące monitorowania zasobów usługi Azure Stream Analytics i zarządzania nimi za pomocą poleceń cmdlet programu Azure PowerShell i skryptów programu PowerShell, zobacz Monitorowanie zadań usługi Stream Analytics i zarządzanie nimi za pomocą poleceń cmdlet programu Azure PowerShell.

Typy zasobów

Platforma Azure używa koncepcji typów zasobów i identyfikatorów, aby zidentyfikować wszystko w subskrypcji. Typy zasobów są również częścią identyfikatorów zasobów dla każdego zasobu uruchomionego na platformie Azure. Na przykład jeden typ zasobu dla maszyny wirtualnej to Microsoft.Compute/virtualMachines. Aby uzyskać listę usług i skojarzonych z nimi typów zasobów, zobacz Dostawcy zasobów.

Usługa Azure Monitor podobnie organizuje podstawowe dane monitorowania w metryki i dzienniki na podstawie typów zasobów, nazywanych również przestrzeniami nazw. Różne metryki i dzienniki są dostępne dla różnych typów zasobów. Usługa może być skojarzona z więcej niż jednym typem zasobu.

Aby uzyskać więcej informacji na temat typów zasobów dla usługi Azure Stream Analytics, zobacz Azure Stream Analytics monitoring data reference (Dokumentacja danych monitorowania usługi Azure Stream Analytics).

Magazyn danych

W przypadku usługi Azure Monitor:

  • Dane metryk są przechowywane w bazie danych metryk usługi Azure Monitor.
  • Dane dziennika są przechowywane w magazynie dzienników usługi Azure Monitor. Log Analytics to narzędzie w witrynie Azure Portal, które może wykonywać zapytania dotyczące tego magazynu.
  • Dziennik aktywności platformy Azure to oddzielny magazyn z własnym interfejsem w witrynie Azure Portal.

Opcjonalnie możesz kierować dane metryki i dziennika aktywności do magazynu dzienników usługi Azure Monitor. Następnie możesz użyć usługi Log Analytics, aby wykonać zapytanie o dane i skorelować je z innymi danymi dziennika.

Wiele usług może używać ustawień diagnostycznych do wysyłania danych metryk i dzienników do innych lokalizacji przechowywania poza usługą Azure Monitor. Przykłady obejmują usługę Azure Storage, hostowane systemy partnerskie i systemy partnerskie spoza platformy Azure przy użyciu usługi Event Hubs.

Aby uzyskać szczegółowe informacje na temat sposobu przechowywania danych przez usługę Azure Monitor, zobacz Azure Monitor data platformy.

Metryki platformy usługi Azure Monitor

Usługa Azure Monitor udostępnia metryki platformy dla większości usług. Te metryki to:

  • Definiowane indywidualnie dla każdej przestrzeni nazw.
  • Przechowywane w bazie danych metryk szeregów czasowych usługi Azure Monitor.
  • Lekki i zdolny do obsługi alertów niemal w czasie rzeczywistym.
  • Służy do śledzenia wydajności zasobu w czasie.

Kolekcja: usługa Azure Monitor automatycznie zbiera metryki platformy. Nie jest wymagana żadna konfiguracja.

Routing: zazwyczaj można również kierować metryki platformy do dzienników usługi Azure Monitor/ usługi Log Analytics, aby móc wykonywać zapytania względem nich przy użyciu innych danych dziennika. Aby uzyskać więcej informacji, zobacz ustawienie diagnostyczne Metryki. Aby uzyskać informacje na temat konfigurowania ustawień diagnostycznych dla usługi, zobacz Tworzenie ustawień diagnostycznych w usłudze Azure Monitor.

Aby uzyskać listę wszystkich metryk, które można zebrać dla wszystkich zasobów w usłudze Azure Monitor, zobacz Obsługiwane metryki w usłudze Azure Monitor.

Metryki usługi Azure Stream Analytics

Opis monitorowania metryk w witrynie Azure Portal można znaleźć w temacie Monitorowanie zadania usługi Stream Analytics za pomocą witryny Azure Portal.

Uwaga

Zadania usługi Azure Stream Analytics tworzone za pośrednictwem interfejsów API REST, zestawu Azure SDK lub programu PowerShell nie mają domyślnie włączonego monitorowania. Aby włączyć monitorowanie, wykonaj kroki opisane w temacie Programowe tworzenie monitora zadań usługi Stream Analytics. Dane monitorowania są następnie wyświetlane w obszarze Metryki strony witryny Azure Portal dla zadania usługi Stream Analytics.

W poniższej tabeli wymieniono warunki i akcje naprawcze dla niektórych często monitorowanych metryk usługi Azure Stream Analytics.

Metric Stan Agregacja czasu Threshold Akcje naprawcze
Wykorzystanie jednostek SU (pamięci) % Większe niż Średnia 80 Wiele czynników zwiększa wykorzystanie jednostek przesyłania strumieniowego. Można skalować przy użyciu równoległości zapytań lub zwiększyć liczbę jednostek jednostki jednostki SU. Aby uzyskać więcej informacji, zobacz Korzystanie z przetwarzania równoległego zapytań w usłudze Azure Stream Analytics.
Procentowe wykorzystanie procesora CPU Większe niż Średnia 90 Prawdopodobnie oznacza to, że niektóre operacje (takie jak funkcje zdefiniowane przez użytkownika, agregacje zdefiniowane przez użytkownika lub złożone deserializacja danych wejściowych) wymagają wielu cykli procesora CPU. Zazwyczaj można rozwiązać ten problem, zwiększając liczbę jednostek jednostki SU dla zadania.
Błędy środowiska uruchomieniowego Większe niż Łącznie 0 Sprawdź dzienniki działań lub zasobów i wprowadź odpowiednie zmiany w danych wejściowych, zapytaniach lub danych wyjściowych.
Opóźnienie znaku wodnego Większe niż Średnia Gdy średnia wartość tej metryki w ciągu ostatnich 15 minut jest większa niż tolerancja opóźnionego przylotu (w sekundach). Jeśli nie zmodyfikowano tolerancji opóźnionego przylotu, wartość domyślna to 5 sekund. Spróbuj zwiększyć liczbę jednostek SU lub zrównać zapytanie. Aby uzyskać więcej informacji na temat jednostek przesyłania strumieniowego, zobacz Omówienie i dostosowywanie jednostek przesyłania strumieniowego. Aby uzyskać więcej informacji na temat równoległego przetwarzania zapytań, zobacz Korzystanie z równoległego przetwarzania zapytań w usłudze Azure Stream Analytics.
Błędy deserializacji danych wejściowych Większe niż Łącznie 0 Sprawdź dzienniki aktywności lub zasobów i wprowadź odpowiednie zmiany w danych wejściowych. Aby uzyskać więcej informacji na temat dzienników zasobów, zobacz Rozwiązywanie problemów z usługą Azure Stream Analytics przy użyciu dzienników zasobów.

Aby uzyskać listę i opisy wszystkich dostępnych metryk dla usługi Azure Stream Analytics, zobacz Dokumentacja danych monitorowania usługi Azure Stream Analytics.

Dzienniki zasobów usługi Azure Monitor

Dzienniki zasobów zapewniają wgląd w operacje wykonywane przez zasób platformy Azure. Dzienniki są generowane automatycznie, ale należy skierować je do dzienników usługi Azure Monitor, aby je zapisać lub wysłać do nich zapytanie. Dzienniki są zorganizowane w kategoriach. Dana przestrzeń nazw może mieć wiele kategorii dziennika zasobów.

Kolekcja: dzienniki zasobów nie są zbierane i przechowywane do momentu utworzenia ustawienia diagnostycznego i kierowania dzienników do co najmniej jednej lokalizacji. Podczas tworzenia ustawienia diagnostycznego należy określić kategorie dzienników, które mają być zbierane. Istnieje wiele sposobów tworzenia i konserwacji ustawień diagnostycznych, w tym witryny Azure Portal, programowo i choć usługi Azure Policy.

Routing: sugerowaną wartością domyślną jest kierowanie dzienników zasobów do dzienników usługi Azure Monitor, co umożliwia wykonywanie zapytań względem nich przy użyciu innych danych dziennika. Dostępne są również inne lokalizacje, takie jak Azure Storage, Azure Event Hubs i niektórzy partnerzy monitorowania firmy Microsoft. Aby uzyskać więcej informacji, zobacz Dzienniki zasobów platformy Azure i lokalizacje docelowe dziennika zasobów.

Aby uzyskać szczegółowe informacje na temat zbierania, przechowywania i routingu dzienników zasobów, zobacz Ustawienia diagnostyczne w usłudze Azure Monitor.

Aby uzyskać listę wszystkich dostępnych kategorii dzienników zasobów w usłudze Azure Monitor, zobacz Obsługiwane dzienniki zasobów w usłudze Azure Monitor.

Wszystkie dzienniki zasobów w usłudze Azure Monitor mają te same pola nagłówka, a następnie pola specyficzne dla usługi. Typowy schemat jest opisany w schemacie dziennika zasobów usługi Azure Monitor.

Dzienniki usługi Azure Stream Analytics

Usługa Azure Stream Analytics przechwytuje dwie kategorie dzienników zasobów:

  • Tworzenie: przechwytuje zdarzenia dziennika związane z operacjami tworzenia zadań, takimi jak tworzenie zadań, dodawanie i usuwanie danych wejściowych i wyjściowych, dodawanie i aktualizowanie zapytania oraz uruchamianie lub zatrzymywanie zadania.

  • Wykonanie: przechwytuje zdarzenia występujące podczas wykonywania zadania.

    • Błędy łączności
    • Błędy przetwarzania danych, w tym:
      • Zdarzenia, które nie są zgodne z definicją zapytania (niezgodne typy pól i wartości, brakujące pola itd.)
      • Błędy oceny wyrażeń
    • Inne zdarzenia i błędy

Aby uzyskać dostępne kategorie dzienników zasobów, skojarzone z nimi tabele usługi Log Analytics i schematy dzienników dla usługi Azure Stream Analytics, zobacz Dokumentacja danych monitorowania usługi Azure Stream Analytics.

Aby uzyskać szczegółowy przewodnik rozwiązywania problemów z błędami zadań usługi Azure Stream Analytics przy użyciu dzienników zasobów, zobacz Rozwiązywanie problemów z usługą Azure Stream Analytics przy użyciu dzienników zasobów.

Dziennik aktywności platformy Azure

Dziennik aktywności zawiera zdarzenia na poziomie subskrypcji, które śledzą operacje dla każdego zasobu platformy Azure widoczne spoza tego zasobu; na przykład utworzenie nowego zasobu lub uruchomienie maszyny wirtualnej.

Kolekcja: zdarzenia dziennika aktywności są generowane automatycznie i zbierane w osobnym magazynie do wyświetlania w witrynie Azure Portal.

Routing: możesz wysyłać dane dziennika aktywności do dzienników usługi Azure Monitor, aby móc analizować je wraz z innymi danymi dziennika. Dostępne są również inne lokalizacje, takie jak Azure Storage, Azure Event Hubs i niektórzy partnerzy monitorowania firmy Microsoft. Aby uzyskać więcej informacji na temat kierowania dziennika aktywności, zobacz Omówienie dziennika aktywności platformy Azure.

Aby uzyskać szczegółowy przewodnik rozwiązywania problemów z błędami zadań usługi Azure Stream Analytics przy użyciu dziennika aktywności, zobacz Debugowanie przy użyciu dzienników aktywności.

Analizowanie danych monitorowania

Istnieje wiele narzędzi do analizowania danych monitorowania.

Narzędzia usługi Azure Monitor

Usługa Azure Monitor obsługuje następujące podstawowe narzędzia:

  • Eksplorator metryk — narzędzie w witrynie Azure Portal, które umożliwia wyświetlanie i analizowanie metryk dla zasobów platformy Azure. Aby uzyskać więcej informacji, zobacz Analizowanie metryk za pomocą Eksploratora metryk usługi Azure Monitor.

  • Log Analytics — narzędzie w witrynie Azure Portal, które umożliwia wykonywanie zapytań i analizowanie danych dzienników przy użyciu języka zapytań Kusto (KQL). Aby uzyskać więcej informacji, zobacz Rozpoczynanie pracy z zapytaniami dzienników w usłudze Azure Monitor.

  • Dziennik aktywności, który zawiera interfejs użytkownika w witrynie Azure Portal do wyświetlania i podstawowych wyszukiwań. Aby przeprowadzić bardziej szczegółową analizę, musisz kierować dane do dzienników usługi Azure Monitor i uruchamiać bardziej złożone zapytania w usłudze Log Analytics.

Narzędzia, które umożliwiają bardziej złożoną wizualizację, obejmują:

  • Pulpity nawigacyjne, które umożliwiają łączenie różnych rodzajów danych w jednym okienku w witrynie Azure Portal.
  • Skoroszyty, dostosowywalne raporty, które można utworzyć w witrynie Azure Portal. Skoroszyty mogą zawierać tekst, metryki i zapytania dziennika.
  • Grafana to otwarte narzędzie platformy, które wyróżnia się na operacyjnych pulpitach nawigacyjnych. Za pomocą narzędzia Grafana można tworzyć pulpity nawigacyjne zawierające dane z wielu źródeł innych niż usługa Azure Monitor.
  • Power BI, usługa analizy biznesowej, która udostępnia interaktywne wizualizacje w różnych źródłach danych. Usługę Power BI można skonfigurować tak, aby automatycznie importować dane dziennika z usługi Azure Monitor, aby korzystać z tych wizualizacji.

Narzędzia eksportu usługi Azure Monitor

Dane z usługi Azure Monitor można pobrać do innych narzędzi przy użyciu następujących metod:

  • Metryki: użyj interfejsu API REST dla metryk , aby wyodrębnić dane metryk z bazy danych metryk usługi Azure Monitor. Interfejs API obsługuje wyrażenia filtrów w celu uściślinia pobranych danych. Aby uzyskać więcej informacji, zobacz Dokumentacja interfejsu API REST usługi Azure Monitor.

  • Dzienniki: użyj interfejsu API REST lub skojarzonych bibliotek klienckich.

  • Inną opcją jest eksportowanie danych obszaru roboczego.

Aby rozpocząć pracę z interfejsem API REST dla usługi Azure Monitor, zobacz Przewodnik po interfejsie API REST monitorowania platformy Azure.

Zapytania usługi Kusto

Dane monitorowania można analizować w magazynie dzienników usługi Azure Monitor /Log Analytics przy użyciu języka zapytań Kusto (KQL).

Ważne

Po wybraniu pozycji Dzienniki z menu usługi w portalu usługa Log Analytics zostanie otwarta z zakresem zapytania ustawionym na bieżącą usługę. Ten zakres oznacza, że zapytania dziennika będą zawierać tylko dane z tego typu zasobu. Jeśli chcesz uruchomić zapytanie zawierające dane z innych usług platformy Azure, wybierz pozycję Dzienniki z menu usługi Azure Monitor . Aby uzyskać szczegółowe informacje, zobacz Zakres zapytań dzienników i zakres czasu w usłudze Azure Monitor Log Analytics .

Aby uzyskać listę typowych zapytań dotyczących dowolnej usługi, zobacz interfejs zapytań usługi Log Analytics.

Przykładowe zapytania

Poniżej przedstawiono przykładowe zapytania, których można użyć do monitorowania zasobów usługi Azure Stream Analytics:

  • Wyświetl listę wszystkich błędów danych wejściowych. Poniższe zapytanie przedstawia wszystkie błędy, które wystąpiły podczas przetwarzania danych z danych wejściowych.

    AzureDiagnostics 
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).Type == "DataError" 
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Zdarzenia, które przybyły późno. Poniższe zapytanie pokazuje błędy spowodowane zdarzeniami, w których różnica między czasem aplikacji a czasem przybycia jest większa niż zasady opóźnionego przybycia.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and  parse_json(properties_s).DataErrorType == "LateInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Wydarzenia, które przybyły wcześnie. Poniższe zapytanie pokazuje błędy spowodowane zdarzeniami, w których różnica między czasem aplikacji a czasem przybycia jest większa niż 5 minut.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "EarlyInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Zdarzenia, które wyszły z zamówienia. Poniższe zapytanie pokazuje błędy spowodowane zdarzeniami, które docierają z zamówienia zgodnie z zasadami braku kolejności.

    // To create an alert for this query, click '+ New alert rule'
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "OutOfOrderEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Wszystkie błędy danych wyjściowych. Poniższe zapytanie pokazuje wszystkie błędy, które wystąpiły podczas zapisywania wyników zapytania do danych wyjściowych w zadaniu.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType in ("OutputDataConversionError.RequiredColumnMissing", "OutputDataConversionError.ColumnNameInvalid", "OutputDataConversionError.TypeConversionError", "OutputDataConversionError.RecordExceededSizeLimit", "OutputDataConversionError.DuplicateKey")
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Poniższe zapytanie przedstawia podsumowanie operacji, które zakończyły się niepowodzeniem w ciągu ostatnich siedmiu dni.

    AzureDiagnostics
| where TimeGenerated > ago(7d) //last 7 days
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and status_s == "Failed" 
| summarize Count=count(), sampleEvent=any(properties_s) by JobName=Resource

Alerty

Alerty usługi Azure Monitor proaktywnie powiadamiają o znalezieniu określonych warunków w danych monitorowania. Alerty umożliwiają identyfikowanie i rozwiązywanie problemów w systemie przed ich zauważeniem przez klientów. Aby uzyskać więcej informacji, zobacz Alerty usługi Azure Monitor.

Istnieje wiele źródeł typowych alertów dotyczących zasobów platformy Azure. Przykłady typowych alertów dotyczących zasobów platformy Azure można znaleźć w temacie Przykładowe zapytania alertów dziennika. Witryna Alerty bazowe usługi Azure Monitor (AMBA) udostępnia częściowo zautomatyzowaną metodę implementowania ważnych alertów metryk platformy, pulpitów nawigacyjnych i wytycznych. Witryna ma zastosowanie do stale powiększającego się podzestawu usług platformy Azure, w tym wszystkich usług, które są częścią strefy docelowej platformy Azure (ALZ).

Typowy schemat alertu standandaryzuje użycie powiadomień o alertach usługi Azure Monitor. Aby uzyskać więcej informacji, zobacz Wspólny schemat alertów.

Typy alertów

Możesz otrzymywać alerty dotyczące dowolnej metryki lub źródła danych dziennika na platformie danych usługi Azure Monitor. Istnieje wiele różnych typów alertów w zależności od usług, które monitorujesz i zbieranych danych monitorowania. Różne typy alertów mają różne zalety i wady. Aby uzyskać więcej informacji, zobacz Wybieranie odpowiedniego typu alertu monitorowania.

Poniższa lista zawiera opis typów alertów usługi Azure Monitor, które można utworzyć:

  • Alerty metryk oceniają metryki zasobów w regularnych odstępach czasu. Metryki mogą być metrykami platformy, metrykami niestandardowymi, dziennikami z usługi Azure Monitor przekonwertowanym na metryki lub metrykami usługi Application Insights. Alerty metryk mogą również stosować wiele warunków i progów dynamicznych.
  • Alerty dzienników umożliwiają użytkownikom używanie zapytania usługi Log Analytics do oceny dzienników zasobów z wstępnie zdefiniowaną częstotliwością.
  • Alerty dziennika aktywności są wyzwalane, gdy wystąpi nowe zdarzenie dziennika aktywności zgodne ze zdefiniowanymi warunkami. Alerty usługi Resource Health i alerty usługi Service Health to alerty dziennika aktywności, które zgłaszają kondycję usługi i zasobów.

Niektóre usługi platformy Azure obsługują również alerty wykrywania inteligentnego, alerty Prometheus lub zalecane reguły alertów.

W przypadku niektórych usług można monitorować na dużą skalę, stosując tę samą regułę alertu metryki do wielu zasobów tego samego typu, które istnieją w tym samym regionie świadczenia usługi Azure. Poszczególne powiadomienia są wysyłane dla każdego monitorowanego zasobu. Aby uzyskać informacje o obsługiwanych usługach i chmurach platformy Azure, zobacz Monitorowanie wielu zasobów przy użyciu jednej reguły alertu.

Reguły alertów usługi Azure Stream Analytics

W poniższej tabeli wymieniono sugerowane reguły alertów dla usługi Azure Stream Analytics. Te alerty są tylko przykładami. Alerty można ustawić dla dowolnej metryki, wpisu dziennika lub wpisu dziennika aktywności wymienionego w dokumentacji danych monitorowania usługi Azure Stream Analytics.

Typ alertu Warunek opis
Metryki platformy Wykorzystanie pamięci jednostki przesyłania strumieniowego (SU) Za każdym razem, gdy średnie wykorzystanie jednostek SU (pamięci) jest większe niż 80%
Dziennik aktywności Operacje zakończone niepowodzeniem Za każdym razem, gdy dziennik aktywności ma zdarzenie Category='Administrative', Signal name='All Administrative operations', Status='Failed'

Aby uzyskać szczegółowe instrukcje dotyczące konfigurowania alertu dla usługi Azure Stream Analytics, zobacz Konfigurowanie alertów dla zadań usługi Azure Stream Analytics.

Zalecenia doradcy

W przypadku niektórych usług, jeśli podczas operacji zasobów wystąpią krytyczne warunki lub nieuchronne zmiany, na stronie Przegląd usługi w portalu zostanie wyświetlony alert. Więcej informacji i zalecanych poprawek alertu można znaleźć w temacie Zalecenia usługi Advisor w obszarze Monitorowanie w menu po lewej stronie. Podczas normalnych operacji nie są wyświetlane żadne zalecenia doradcy.

Aby uzyskać więcej informacji na temat usługi Azure Advisor, zobacz Omówienie usługi Azure Advisor.

Powiązana zawartość