Esportare i dati di telemetria da Application Insights

Conservare i dati di telemetria per un periodo di conservazione più lungo del periodo di conservazione standard? O si vuole elaborarlo in qualche modo specializzato? L'esportazione continua è ideale per questo scopo. Gli eventi visualizzati nel portale di Application Insights possono essere esportati nell'archiviazione in azure in formato JSON. Da qui è possibile scaricare i dati e scrivere qualsiasi tipo di codice necessario per elaborarli.

Prima di configurare l'esportazione continua, è necessario prendere in considerazione alcune alternative:

• Il pulsante Esporta nella parte superiore di una scheda metriche o di ricerca consente di trasferire tabelle e grafici in un foglio di calcolo di Excel.
• Log Analytics offre un linguaggio di query avanzato per i dati di telemetria. che consente anche di esportare i risultati.
• Se si vuole esplorare i dati in Power BI, è possibile farlo senza usare l'esportazione continua se è stata eseguita la migrazione a una risorsa basata sull'area di lavoro.
• L'API REST di accesso ai dati consente di accedere ai dati di telemetria a livello di codice.
• È anche possibile accedere alla configurazione per l'esportazione continua tramite PowerShell.

Dopo l'esportazione continua copia i dati nella risorsa di archiviazione, in cui può rimanere fino a quando si preferisce, è ancora disponibile in Application Insights per il periodo di conservazione consueto.

Aree geografiche supportate

L'esportazione continua è supportata nelle aree seguenti:

• Asia sud-orientale
• Canada centrale
• India centrale
• Europa settentrionale
• Regno Unito meridionale
• Australia orientale
• Giappone orientale
• Corea centrale
• Francia centrale
• Asia orientale
• Stati Uniti occidentali
• Stati Uniti centrali
• Stati Uniti orientali 2
• Stati Uniti centro-meridionali
• West US 2
• Sudafrica settentrionale
• Stati Uniti centro-settentrionali
• Brasile meridionale
• Svizzera settentrionale
• Australia sud-orientale
• Regno Unito occidentale
• Germania centro-occidentale
• Svizzera occidentale
• Australia centrale 2
• Emirati Arabi Uniti centrali
• Brasile meridionale
• Australia centrale
• Emirati Arabi Uniti settentrionali
• Norvegia orientale
• Giappone occidentale

Configurazione dell'archiviazione avanzata per l'esportazione continua

L'esportazione continua non supporta le funzionalità o le configurazioni Archiviazione di Azure seguenti:

• Uso di firewall Rete virtuale/Archiviazione di Azure di Azure con Archiviazione BLOB di Azure.
• Azure Data Lake Storage Gen2.

Creare un'esportazione continua

1. Nella risorsa di Application Insights per l'app in Configura a sinistra aprire Esportazione continua e selezionare Aggiungi.

2. Scegliere i tipi di dati di telemetria da esportare.

3. Creare o selezionare un account Archiviazione di Azure in cui archiviare i dati. Per altre informazioni sulle opzioni relative ai prezzi di archiviazione, vedere la pagina Prezzi.

   Selezionare Aggiungi>account di archiviazione di destinazione>esportazione. Creare quindi un nuovo archivio o scegliere un archivio esistente.

   Avviso

   Per impostazione predefinita, il percorso di archiviazione verrà impostato sulla stessa area geografica della risorsa di Application Insights. Se si archivia in un'area diversa, è possibile che vengano addebitati addebiti per il trasferimento.

4. Creare o selezionare un contenitore nella risorsa di archiviazione.

Può verificarsi un ritardo di circa un'ora prima che i dati vengano visualizzati nella risorsa di archiviazione.

Al termine della prima esportazione, è possibile trovare la struttura seguente nel contenitore di archiviazione BLOB. Questa struttura varia a seconda dei dati raccolti.

Modificare l'esportazione continua

Selezionare Esportazione continua e selezionare l'account di archiviazione da modificare.

Arrestare l'esportazione continua

Per arrestare l'esportazione, selezionare Disabilita. Quando si seleziona di nuovo Abilita , l'esportazione viene riavviata con nuovi dati. Non si otterranno i dati che arrivano nel portale mentre l'esportazione è stata disabilitata.

Per interrompere l'esportazione in modo permanente, eliminare l'esportazione. Questa operazione non elimina i dati dalla risorsa di archiviazione.

Non si riesce ad aggiungere o modificare un'esportazione?

Per aggiungere o modificare le esportazioni, è necessario avere i diritti di accesso Proprietario, Collaboratore o Collaboratore di Application Insights. Informazioni sui ruoli.

Quali eventi si ottengono?

I dati esportati sono i dati di telemetria non elaborati ricevuti dall'applicazione con dati sulla posizione aggiunti dall'indirizzo IP del client.

I dati eliminati dal campionamento non sono inclusi nei dati esportati.

Altre metriche calcolate non sono incluse. Ad esempio, non si procederà all'esportazione dell'uso medio della CPU, ma si procederà all'esportazione dei dati di telemetria non elaborati a partire dai quali viene calcolata la media.

I dati includono anche i risultati di ogni test Web di disponibilità impostato.

Esaminare i dati

È possibile esaminare lo spazio di archiviazione direttamente nel portale. Selezionare Home nel menu all'estrema sinistra. Nella parte superiore in cui sono presenti i servizi di Azure selezionare Account di archiviazione. Selezionare il nome dell'account di archiviazione e nella pagina Panoramica selezionare BLOB dei servizi>. Infine, selezionare il nome del contenitore.

Per esaminare Archiviazione di Azure in Visual Studio, selezionare Visualizza>Cloud Explorer. Se questo comando di menu non è disponibile, è necessario installare Azure SDK. Aprire la finestra di dialogo Nuovo progetto, espandere Visual C#/Cloud e selezionare Recupera Microsoft Azure SDK per .NET.

Quando si apre l'archivio BLOB, si noterà un contenitore con un set di file BLOB. Verrà visualizzato l'URI di ogni file derivato dal nome della risorsa di Application Insights, dalla relativa chiave di strumentazione e dal tipo di telemetria, dalla data e dall'ora. Il nome della risorsa è tutto minuscolo e la chiave di strumentazione omette trattini.

La data e l'ora sono UTC e sono quando i dati di telemetria sono stati depositati nell'archivio, non l'ora in cui è stata generata. Per questo motivo, se si scrive codice per scaricare i dati, è possibile spostarsi in modo lineare tra i dati.

Di seguito è riportato il formato del percorso:

$"{applicationName}_{instrumentationKey}/{type}/{blobDeliveryTimeUtc:yyyy-MM-dd}/{ blobDeliveryTimeUtc:HH}/{blobId}_{blobCreationTimeUtc:yyyyMMdd_HHmmss}.blob"

Dove:

• blobCreationTimeUtc è l'ora in cui il BLOB è stato creato nell'archivio di staging interno.
• blobDeliveryTimeUtc è l'ora in cui il BLOB viene copiato nell'archivio di destinazione dell'esportazione.

Formato dati

I dati vengono formattati in modo che:

• Ogni BLOB è un file di testo che contiene più \nrighe separate. Contiene i dati di telemetria elaborati in un periodo di tempo di circa mezzo minuto.

• Ogni riga rappresenta un punto dati di telemetria, ad esempio una richiesta o una visualizzazione pagina.

• Ogni riga è un documento JSON non formattato. Per visualizzare le righe, aprire il BLOB in Visual Studio e selezionare Modifica>file di formato avanzato.>

  

Gli intervalli di tempo sono espressi in tick, dove 10.000 tick = 1 ms. Questi valori, ad esempio, indicano un tempo di 1 ms per inviare una richiesta dal browser, 3 ms per riceverla e 1,8 s per elaborare la pagina nel browser:

"sendRequest": {"value": 10000.0},
"receiveRequest": {"value": 30000.0},
"clientProcess": {"value": 17970000.0}

Per informazioni di riferimento dettagliate sul modello di dati per i tipi di proprietà e i valori, vedere Modello di dati di esportazione di Application Insights.

Elaborare i dati

Su scala ridotta, è possibile scrivere codice per separare i dati e leggerli in un foglio di calcolo. Ad esempio:

private IEnumerable<T> DeserializeMany<T>(string folderName)
{
   var files = Directory.EnumerateFiles(folderName, "*.blob", SearchOption.AllDirectories);
   foreach (var file in files)
   {
      using (var fileReader = File.OpenText(file))
      {
         string fileContent = fileReader.ReadToEnd();
         IEnumerable<string> entities = fileContent.Split('\n').Where(s => !string.IsNullOrWhiteSpace(s));
         foreach (var entity in entities)
         {
            yield return JsonConvert.DeserializeObject<T>(entity);
         }
      }
   }
}

Per un esempio di codice più grande, vedere Uso di un ruolo di lavoro.

Eliminare i vecchi dati

L'utente è responsabile della gestione della capacità di archiviazione e dell'eliminazione dei dati obsoleti, se necessario.

Rigenerare la chiave di archiviazione

Se si modifica la chiave per l'archiviazione, l'esportazione continua non funzionerà più. Verrà visualizzata una notifica nell'account Azure.

Selezionare la scheda Esportazione continua e modificare l'esportazione. Modificare ilvalore Esporta destinazione , ma lasciare selezionata la stessa risorsa di archiviazione. Seleziona OK per confermare.

L'esportazione continua verrà riavviata.

Esempi di esportazione

Per esempi di esportazione, vedere:

• Eseguire l'esportazione in SQL usando l'analisi di flusso
• Esempio di analisi di flusso 2

Su larga scala, prendere in considerazione i cluster Hadoop di HDInsight nel cloud. HDInsight offre varie tecnologie per la gestione e l'analisi dei Big Data. È possibile usarlo per elaborare i dati esportati da Application Insights.

Domande frequenti

Questa sezione fornisce le risposte alle domande comuni.

È possibile ottenere un download monouso di un grafico?

per un telefono Android, Nella parte superiore della scheda selezionare Esporta dati.

È stata configurata un'esportazione, ma perché non sono presenti dati nell'archivio?

Application Insights ha ricevuto eventuali dati di telemetria dall'app dal momento in cui si è impostata l'esportazione? Si riceveranno solo nuovi dati.

Si è tentato di configurare un'esportazione, ma perché è stato negato l'accesso?

Se l'account è di proprietà dell'organizzazione, è necessario essere membri dei gruppi Proprietari o Collaboratori.

È possibile eseguire un'esportazione direttamente al negozio locale?

No. Il nostro motore di esportazione attualmente funziona solo con Archiviazione di Azure in questo momento.

Esiste un limite alla quantità di dati da inserire nell'archivio personale?

No. L'inserimento dei dati continuerà fino a quando non si elimina l'esportazione. Ci fermeremo se si raggiungono i limiti esterni per l'archiviazione BLOB, ma questo limite è enorme. Spetta all'utente controllare quante risorse di archiviazione usare.

Quanti BLOB dovrebbero essere visualizzati nella risorsa di archiviazione?

• Per ogni tipo di dati selezionato per l'esportazione, viene creato un nuovo BLOB ogni minuto, se i dati sono disponibili.
• Per le applicazioni con traffico elevato, vengono allocate unità di partizione aggiuntive. In questo caso ogni unità crea un BLOB ogni minuto.

È stata rigenerata la chiave nell'archiviazione o è stato modificato il nome del contenitore, ma perché l'esportazione non funziona?

Modificare l'esportazione e selezionare la scheda Esporta destinazione . Lasciare selezionata la stessa risorsa di archiviazione precedente e selezionare OK per confermare. L'esportazione verrà riavviata. Se la modifica è stata eseguita negli ultimi giorni, non si perderanno i dati.

È possibile sospendere l'esportazione?

Sì. Seleziona Disabilita.

Esempi di codice

• Esempio di analisi di flusso
• Esportare in SQL usando Analisi di flusso
• Informazioni di riferimento dettagliate sul modello di dati per tipi e valori di proprietà

Esportazione basata sulle impostazioni di diagnostica

L'esportazione delle impostazioni di diagnostica è preferibile perché offre funzionalità aggiuntive:

L'esportazione delle impostazioni di diagnostica differisce ulteriormente dall'esportazione continua nei modi seguenti:

• Schema aggiornato.
• I dati di telemetria vengono inviati man mano che arrivano anziché in caricamenti in batch.

Per eseguire la migrazione all'esportazione delle impostazioni di diagnostica:

1. Abilitare le impostazioni di diagnostica in Application Insights classico.
2. Configurare l'esportazione dei dati: selezionare Impostazioni di>diagnostica Aggiungi impostazione di diagnostica dall'interno della risorsa di Application Insights.
3. Verificare che la nuova esportazione dei dati sia configurata come l'esportazione continua

Modello di dati di esportazione di Application Insights

Questa tabella elenca le proprietà di telemetria inviate al portale dagli SDK di Application Insights . Queste proprietà saranno visualizzate nell'output dei dati di Esportazione continua. Sono visibili anche nei filtri delle proprietà in Esplora metriche e Ricerca diagnostica.

Punti da notare:

• [0] in queste tabelle indica un punto nel percorso in cui è necessario inserire un indice, ma non è sempre 0.
• Le durate sono espresse in decimi di microsecondo, quindi 10000000 == 1 secondo.
• Date e ore sono in formato UTC e vengono specificate nel formato ISO yyyy-MM-DDThh:mm:ss.sssZ

Esempio

// A server report about an HTTP request
{
  "request": [
    {
      "urlData": { // derived from 'url'
        "host": "contoso.org",
        "base": "/",
        "hashTag": ""
      },
      "responseCode": 200, // Sent to client
      "success": true, // Default == responseCode<400
      // Request id becomes the operation id of child events
      "id": "fCOhCdCnZ9I=",  
      "name": "GET Home/Index",
      "count": 1, // 100% / sampling rate
      "durationMetric": {
        "value": 1046804.0, // 10000000 == 1 second
        // Currently the following fields are redundant:
        "count": 1.0,
        "min": 1046804.0,
        "max": 1046804.0,
        "stdDev": 0.0,
        "sampledValue": 1046804.0
      },
      "url": "/"
    }
  ],
  "internal": {
    "data": {
      "id": "7f156650-ef4c-11e5-8453-3f984b167d05",
      "documentVersion": "1.61"
    }
  },
  "context": {
    "device": { // client browser
      "type": "PC",
      "screenResolution": { },
      "roleInstance": "WFWEB14B.fabrikam.net"
    },
    "application": { },
    "location": { // derived from client ip
      "continent": "North America",
      "country": "United States",
      // last octagon is anonymized to 0 at portal:
      "clientip": "168.62.177.0",
      "province": "",
      "city": ""
    },
    "data": {
      "isSynthetic": true, // we identified source as a bot
      // percentage of generated data sent to portal:
      "samplingRate": 100.0,
      "eventTime": "2016-03-21T10:05:45.7334717Z" // UTC
    },
    "user": {
      "isAuthenticated": false,
      "anonId": "us-tx-sn1-azr", // bot agent id
      "anonAcquisitionDate": "0001-01-01T00:00:00Z",
      "authAcquisitionDate": "0001-01-01T00:00:00Z",
      "accountAcquisitionDate": "0001-01-01T00:00:00Z"
    },
    "operation": {
      "id": "fCOhCdCnZ9I=",
      "parentId": "fCOhCdCnZ9I=",
      "name": "GET Home/Index"
    },
    "cloud": { },
    "serverDevice": { },
    "custom": { // set by custom fields of track calls
      "dimensions": [ ],
      "metrics": [ ]
    },
    "session": {
      "id": "65504c10-44a6-489e-b9dc-94184eb00d86",
      "isFirst": true
    }
  }
}

Contesto

Tutti i tipi di telemetria sono accompagnati da una sezione di contesto. Non tutti questi campi vengono trasmessi con ogni punto dati.

Eventi

Eventi personalizzati generati da TrackEvent().

Eccezioni

Segnala le eccezioni nel server e nel browser.

Messaggi di traccia

Inviati da TrackTrace e dagli adattatori di registrazione.

Dipendenza remota

Inviata da TrackDependency. Usata per segnalare le prestazioni e l'utilizzo delle chiamate alle dipendenze nel server e delle chiamate AJAX nel browser.

Richieste

Inviate da TrackRequest. I moduli standard le usano per segnalare il tempo di risposta del server, calcolato nel server.

Prestazioni visualizzazioni pagina

Inviate dal browser. Misura il tempo necessario per elaborare una pagina, da quando l'utente avvia la richiesta al completamento della visualizzazione (escluse le chiamate AJAX asincrone).

I valori del contesto indicano la versione del sistema operativo client e del browser.

Visualizzazioni pagina

Inviate da trackPageView() o stopTrackPage

Disponibilità

Segnala i test Web di disponibilità.

Metrica

Generata da TrackMetric().

Il valore della metrica è disponibile in context.custom.metrics[0]

Ad esempio:

{
  "metric": [ ],
  "context": {
  ...
    "custom": {
      "dimensions": [
        { "ProcessId": "4068" }
      ],
      "metrics": [
        {
          "dispatchRate": {
            "value": 0.001295,
            "count": 1.0,
            "min": 0.001295,
            "max": 0.001295,
            "stdDev": 0.0,
            "sampledValue": 0.001295,
            "sum": 0.001295
          }
        }
      ]  
    }
  }
}

Informazioni sui valori della metrica

I valori della metrica, nei report della metrica e altrove, vengono segnalati con una struttura di oggetti standard. Ad esempio:

"durationMetric": {
  "name": "contoso.org",
  "type": "Aggregation",
  "value": 468.71603053650279,
  "count": 1.0,
  "min": 468.71603053650279,
  "max": 468.71603053650279,
  "stdDev": 0.0,
  "sampledValue": 468.71603053650279
}

Attualmente (ma la situazione potrebbe cambiare in futuro) di tutti i valori segnalati dai moduli SDK standard sono utili count==1 e solo i campi name e value. L'unico caso in cui sarebbero diversi è quello in cui si scrivono chiamate TrackMetric personalizzate in cui si impostano gli altri parametri.

Lo scopo degli altri campi è quello di consentire l'aggregazione della metrica nell'SDK, per ridurre il traffico verso il portale. È possibile, ad esempio, calcolare la media di diverse letture successive prima di inviare il report di ogni metrica. Si calcolerà quindi la deviazione minima, massima e standard e il valore di aggregazione (somma o media) e si imposterà il conteggio sul numero di letture rappresentate dal report.

Nelle tabelle precedenti sono stati omessi i campi usati raramente, min, max, stdDev e sampledValue.

Se è necessario ridurre il volume della telemetria, anziché aggregare in anticipo la metrica, è possibile usare il campionamento .

Durate

Se non indicato diversamente, le durate vengono espresse in decimi di microsecondo, quindi 10000000,0 corrisponde a 1 secondo.

Vedi anche

• Application Insights
• Esportazione continua
• Esempi di codice