Monitorowanie i zbieranie danych z punktów końcowych usługi internetowej ML

DOTYCZY: Zestaw SDK języka Python w wersji 1

Z tego artykułu dowiesz się, jak zbierać dane z modeli wdrożonych w punktach końcowych usługi internetowej w usłudze Azure Kubernetes Service (AKS) lub Azure Container Instances (ACI). Użyj usługi aplikacja systemu Azure Insights, aby zebrać następujące dane z punktu końcowego:

• Dane wyjściowe
• Odpowiedzi
• Szybkości żądań, czasy odpowiedzi i współczynniki niepowodzeń
• Współczynniki zależności, czasy odpowiedzi i współczynniki niepowodzeń
• Wyjątki

Notes enable-app-insights-in-production-service.ipynb przedstawia pojęcia przedstawione w tym artykule.

Instrukcję uruchamiania notesów znajdziesz w artykule Use Jupyter notebooks to explore this service (Eksplorowanie tej usługi za pomocą notesów Jupyter).

Wymagania wstępne

• Subskrypcja platformy Azure — wypróbuj bezpłatną lub płatną wersję usługi Azure Machine Learning.

• Obszar roboczy usługi Azure Machine Learning, katalog lokalny zawierający skrypty i zainstalowany zestaw SDK usługi Azure Machine Learning dla języka Python. Aby dowiedzieć się więcej, zobacz Jak skonfigurować środowisko deweloperskie.

• Wytrenowany model uczenia maszynowego. Aby dowiedzieć się więcej, zobacz samouczek Trenowanie modelu klasyfikacji obrazów.

Konfigurowanie rejestrowania przy użyciu zestawu SDK języka Python

W tej sekcji dowiesz się, jak włączyć rejestrowanie usługi Application Insights przy użyciu zestawu SDK języka Python.

Aktualizowanie wdrożonej usługi

Aby zaktualizować istniejącą usługę internetową, wykonaj następujące czynności:

1. Zidentyfikuj usługę w obszarze roboczym. Wartość parametru ws to nazwa obszaru roboczego

   from azureml.core.webservice import Webservice
   aks_service= Webservice(ws, "my-service-name")
   

2. Aktualizowanie usługi i włączanie usługi aplikacja systemu Azure Insights

   aks_service.update(enable_app_insights=True)
   

Rejestrowanie niestandardowych śladów w usłudze

Aby rejestrować niestandardowe ślady, postępuj zgodnie ze standardowym procesem wdrażania usługi AKS lub ACI w temacie How to deploy and where document (Jak wdrożyć i gdzie ). Następnie wykonaj następujące czynności:

1. Zaktualizuj plik oceniania, dodając instrukcje drukowania w celu wysyłania danych do usługi Application Insights podczas wnioskowania. Aby uzyskać bardziej złożone informacje, takie jak dane żądania i odpowiedź, użyj struktury JSON.

   Poniższe przykładowe score.py dzienniki plików podczas inicjowania modelu, danych wejściowych i wyjściowych podczas wnioskowania oraz czasu wystąpienia błędów.

   import pickle
   import json
   import numpy 
   from sklearn.externals import joblib
   from sklearn.linear_model import Ridge
   from azureml.core.model import Model
   import time
   
   def init():
       global model
       #Print statement for appinsights custom traces:
       print ("model initialized" + time.strftime("%H:%M:%S"))
   
       # note here "sklearn_regression_model.pkl" is the name of the model registered under the workspace
       # this call should return the path to the model.pkl file on the local disk.
       model_path = Model.get_model_path(model_name = 'sklearn_regression_model.pkl')
   
       # deserialize the model file back into a sklearn model
       model = joblib.load(model_path)
   
   
   # note you can pass in multiple rows for scoring
   def run(raw_data):
       try:
           data = json.loads(raw_data)['data']
           data = numpy.array(data)
           result = model.predict(data)
           # Log the input and output data to appinsights:
           info = {
               "input": raw_data,
               "output": result.tolist()
               }
           print(json.dumps(info))
           # you can return any datatype as long as it is JSON-serializable
           return result.tolist()
       except Exception as e:
           error = str(e)
           print (error + time.strftime("%H:%M:%S"))
           return error
   

2. Zaktualizuj konfigurację usługi i upewnij się, że włączono usługę Application Insights.

   config = Webservice.deploy_configuration(enable_app_insights=True)
   

3. Skompiluj obraz i wdróż go w usłudze AKS lub ACI. Aby uzyskać więcej informacji, zobacz jak i gdzie wdrażać modele.

Wyłączanie śledzenia w języku Python

Aby wyłączyć aplikacja systemu Azure Insights, użyj następującego kodu:

## replace <service_name> with the name of the web service
<service_name>.update(enable_app_insights=False)

Konfigurowanie rejestrowania za pomocą usługi Azure Machine Learning Studio

Możesz również włączyć aplikacja systemu Azure Insights w usłudze Azure Machine Learning Studio. Gdy wszystko będzie gotowe do wdrożenia modelu jako usługi internetowej, wykonaj następujące kroki, aby włączyć usługę Application Insights:

1. Zaloguj się do studia pod adresem https://ml.azure.com.

2. Przejdź do pozycji Modele i wybierz model, który chcesz wdrożyć.

3. Wybierz pozycję +Wdróż.

4. Wypełnij formularz Wdrażanie modelu.

5. Rozwiń menu Zaawansowane.

   

6. Wybierz pozycję Włącz diagnostykę i zbieranie danych usługi Application Insights.

   

Wyświetlanie metryk i dzienników

Wykonywanie zapytań dotyczących dzienników wdrożonych modeli

Dzienniki punktów końcowych online to dane klientów. Funkcja służy do pobierania get_logs() dzienników z wcześniej wdrożonej usługi internetowej. Dzienniki mogą zawierać szczegółowe informacje o wszelkich błędach, które wystąpiły podczas wdrażania.

from azureml.core import Workspace
from azureml.core.webservice import Webservice

ws = Workspace.from_config()

# load existing web service
service = Webservice(name="service-name", workspace=ws)
logs = service.get_logs()

Jeśli masz wiele dzierżaw, może być konieczne dodanie następującego kodu uwierzytelnienia przed ws = Workspace.from_config()

from azureml.core.authentication import InteractiveLoginAuthentication
interactive_auth = InteractiveLoginAuthentication(tenant_id="the tenant_id in which your workspace resides")

Wyświetlanie dzienników w programie Studio

aplikacja systemu Azure Insights przechowuje dzienniki usługi w tej samej grupie zasobów co obszar roboczy usługi Azure Machine Learning. Aby wyświetlić dane przy użyciu programu Studio, wykonaj następujące czynności:

1. Przejdź do obszaru roboczego usługi Azure Machine Learning w programie Studio.

2. Wybierz Punkty końcowe.

3. Wybierz wdrożona usługę.

4. Wybierz link Adres URL usługi Application Insights.

   

5. W usłudze Application Insights na karcie Przegląd lub w sekcji Monitorowanie wybierz pozycję Dzienniki.

   

6. Aby wyświetlić informacje zarejestrowane w pliku score.py, zapoznaj się z tabelą śladów . Następujące zapytanie wyszukuje dzienniki, w których zarejestrowano wartość wejściową:

   traces
   | where customDimensions contains "input"
   | limit 10
   

   

Aby uzyskać więcej informacji na temat korzystania z usługi aplikacja systemu Azure Insights, zobacz Co to jest usługa Application Insights?.

Metadane i dane odpowiedzi usługi sieci Web

Aby rejestrować informacje o żądaniu usługi internetowej, dodaj print instrukcje do pliku score.py. Każda print instrukcja powoduje wyświetlenie jednego wpisu w tabeli śledzenia usługi Application Insights pod komunikatem STDOUT. Usługa Application Insights przechowuje print dane wyjściowe instrukcji w customDimensions tabeli śledzenia i w tabeli Contents śledzenia. Drukowanie ciągów JSON tworzy hierarchiczną strukturę danych w danych wyjściowych śledzenia w obszarze Contents.

Eksportowanie danych do przechowywania i przetwarzania

Eksport ciągły usługi Application Insights umożliwia eksportowanie danych do konta magazynu obiektów blob, na którym można zdefiniować ustawienia przechowywania. Usługa Application Insights eksportuje dane w formacie JSON.

Następne kroki

W tym artykule przedstawiono sposób włączania rejestrowania i wyświetlania dzienników dla punktów końcowych usługi internetowej. Wypróbuj następujące artykuły, aby wykonać następne kroki:

• Jak wdrożyć model w klastrze usługi AKS

• Jak wdrożyć model w usłudze Azure Container Instances

• Metodyka MLOps: zarządzanie modelami, wdrażanie i monitorowanie ich za pomocą usługi Azure Machine Learning , aby dowiedzieć się więcej na temat korzystania z danych zebranych z modeli w środowisku produkcyjnym. Takie dane mogą pomóc w ciągłym ulepszaniu procesu uczenia maszynowego.