Tutorial: Ingerir e consultar dados de monitorização no Azure Data Explorer

Exemplo de métricas de diagnóstico

As métricas de diagnóstico são agregadas com um intervalo de tempo de 1 minuto. Segue-se um exemplo de um esquema de eventos de métricas do Azure Data Explorer durante a consulta:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Exemplo de registos de diagnóstico

Segue-se um exemplo de um registo de ingestão de diagnósticos do Azure Data Explorer:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "d59882f1-ad64-4fc4-b2ef-d663b6cc1cc5",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "d59882f1-ad64-4fc4-b2ef-d663b6cc1cc5",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Exemplo de registos de atividades

Os registos de atividades do Azure são registos ao nível da subscrição que fornecem informações sobre as operações realizadas nos recursos na sua subscrição. Segue-se um exemplo de um evento de registo de atividades para verificar o acesso:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "0de9f4bc-4adc-4209-a774-1b4f4ae573ed",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "0de9f4bc-4adc-4209-a774-1b4f4ae573ed",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Criar tabelas para as métricas de diagnóstico

1. Na base de dados TestDatabase , crie uma tabela com o nome DiagnosticMetrics para armazenar os registos de métricas de diagnóstico. Utilize o seguinte .create table comando de gestão:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Selecione Executar para criar a tabela.

   

3. Crie a tabela de dados intermédia denominada DiagnosticRawRecords na base de dados TestDatabase para manipulação de dados com a seguinte consulta. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Defina a política de retenção zero para a tabela intermédia:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Criar tabelas para os registos de diagnóstico

1. Na base de dados TestDatabase , crie uma tabela com o nome DiagnosticLogs para armazenar os registos de diagnóstico. Utilize o seguinte .create table comando de gestão:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Selecione Executar para criar a tabela.

3. Crie a tabela de dados intermédia denominada DiagnosticRawRecords na base de dados TestDatabase para manipulação de dados com a seguinte consulta. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Defina a política de retenção zero para a tabela intermédia:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Criar tabelas para os registos de atividades

1. Crie uma tabela com o nome ActivityLogs na base de dados TestDatabase para receber registos de atividades. Para criar a tabela, execute a seguinte consulta de Data Explorer do Azure:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Crie a tabela de dados intermédia denominada ActivityLogsRawRecords na base de dados TestDatabase para manipulação de dados:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Defina a política de retenção zero para a tabela intermédia:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Mapear métricas de diagnóstico e registos para a tabela

Para mapear a métrica de diagnóstico e os dados de registo para a tabela, utilize a seguinte consulta:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Mapear registos de atividades para a tabela

Para mapear os dados do registo de atividades para a tabela, utilize a seguinte consulta:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Criar política de atualização de dados para métricas de diagnóstico

1. Crie uma função que expanda a coleção de registos de métricas de diagnóstico para que cada valor na coleção receba uma linha separada. Utilize o mv-expand operador :

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política irá executar automaticamente a consulta em quaisquer dados recentemente ingeridos na tabela de dados intermédios DiagnosticRawRecords e ingerir os resultados na tabela DiagnosticMetrics :

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar política de atualização de dados para registos de diagnósticos

1. Crie uma função que expanda a coleção de registos de diagnósticos para que cada valor na coleção receba uma linha separada. Irá ativar os registos de ingestão num cluster do Azure Data Explorer e utilizar o esquema de registos de ingestão. Irá criar uma tabela para a ingestão com êxito e para ingestão falhada, enquanto alguns dos campos estarão vazios para ingestão com êxito (ErrorCode, por exemplo). Utilize o mv-expand operador :

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política irá executar automaticamente a consulta em quaisquer dados recentemente ingeridos na tabela de dados intermédio DiagnosticRawRecords e ingerir os resultados na tabela DiagnosticLogs :

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar política de atualização de dados para registos de atividades

1. Crie uma função que expanda a coleção de registos de atividades para que cada valor na coleção receba uma linha separada. Utilize o mv-expand operador :

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política irá executar automaticamente a consulta em quaisquer dados recentemente ingeridos na tabela de dados intermédia ActivityLogsRawRecords e ingerir os respetivos resultados na tabela ActivityLogs :

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Ligar métricas de diagnóstico e registos ao hub de eventos

Selecione um recurso a partir do qual exportar métricas. Vários tipos de recursos suportam a exportação de dados de diagnóstico, incluindo o espaço de nomes dos hubs de eventos, o Azure Key Vault, o Hub IoT do Azure e os clusters do Azure Data Explorer. Neste tutorial, vamos utilizar um cluster do Azure Data Explorer como recurso. Vamos rever as métricas de desempenho de consultas e os registos de resultados de ingestão.

1. Selecione o cluster do Kusto no portal do Azure.

2. Selecione Definições de diagnóstico e, em seguida, selecione a ligação Ativar diagnóstico.

   

3. O painel Definições de diagnóstico é apresentado. Siga estes passos:

   1. Atribua aos dados de registo de diagnóstico o nome ADXExportedData.

   2. Em LOG, selecione as caixas de verificação SucceededIngestion e FailedIngestion .

   3. Em MÉTRICA, selecione a caixa de verificação Desempenho da consulta.

   4. Selecione a caixa de verificação Transmitir para um hub de eventos .

   5. Selecione Configurar.

      

4. No painel Selecionar hub de eventos , configure como exportar dados de registos de diagnóstico para o hub de eventos que criou:

   1. Na lista Selecionar espaço de nomes do hub de eventos , selecione AzureMonitoringData.
   2. Na lista Selecionar nome do hub de eventos , selecione DiagnósticoDados.
   3. Na lista Selecionar nome da política do hub de eventos , selecione RootManagerSharedAccessKey.
   4. Selecione OK.

5. Selecione Guardar.

Ligar registos de atividades ao hub de eventos

1. No menu esquerdo do portal do Azure, selecione Registo de atividades.

2. É aberta a janela Registo de atividades. Selecione Definições de diagnóstico.

   

3. É aberta a janela Definições de diagnóstico. Selecione +Adicionar definição de diagnóstico.

   

4. É aberta uma nova janela Definição de diagnóstico .

   

   Efetue os seguintes passos:

   1. Introduza um nome no campo Nome da definição de diagnóstico .
   2. No lado esquerdo das caixas de verificação, selecione os registos da plataforma que pretende recolher de uma subscrição.
   3. Selecione a caixa de verificação Transmitir para um hub de eventos .
   4. Selecione a sua subscrição.
   5. Na lista Espaço de nomes do hub de eventos , selecione AzureMonitoringData.
   6. Opcionalmente, selecione o nome do hub de eventos.
   7. Na lista Nome da política do hub de eventos , selecione o nome predefinido da política do hub de eventos.
   8. No canto superior esquerdo da janela, selecione Guardar. Será criado um hub de eventos com o nome insights-operational-logs (a menos que tenha selecionado um nome do Hub de eventos acima).

1. Utilize as seguintes definições na janela Ligação de Dados :

   Origem de dados:

   Definição	Valor sugerido	Descrição do campo
   Nome da ligação de dados	DiagnosticsLogsConnection	O nome da ligação que quer criar no Azure Data Explorer.
   Espaço de nomes do hub de eventos	AzureMonitoringData	O nome que escolheu anteriormente que identifica o seu espaço de nomes.
   Hub de eventos	DiagnosticData	O hub de eventos que criou.
   Grupo de consumidores	adxpipeline	O grupo de consumidores definido no hub de eventos que criou.

   Tabela de destino:

   Existem duas opções para o encaminhamento: estático e dinâmico. Neste tutorial, irá utilizar o encaminhamento estático (a predefinição), onde especifica o nome da tabela, o formato de dados e o mapeamento. Deixe o campo Os meus dados incluem informações de encaminhamento não selecionado.

   Definição	Valor sugerido	Descrição do campo
   Tabela	DiagnosticRawRecords	A tabela que criou na base de dados TestDatabase .
   Formato de dados	JSON	O formato utilizado na tabela.
   Mapeamento de colunas	DiagnosticRawRecordsMapping	O mapeamento que criou na base de dados TestDatabase , que mapeia os dados JSON recebidos para os nomes de colunas e tipos de dados da tabela DiagnosticRawRecords .

2. Selecione Criar.

1. Utilize as seguintes definições na janela Ligação de Dados :

   Origem de dados:

   Definição	Valor sugerido	Descrição do campo
   Nome da ligação de dados	ActivityLogsConnection	O nome da ligação que quer criar no Azure Data Explorer.
   Espaço de nomes do hub de eventos	AzureMonitoringData	O nome que escolheu anteriormente que identifica o seu espaço de nomes.
   Hub de eventos	insights-operational-logs	O hub de eventos que criou.
   Grupo de consumidores	$Default	O grupo de consumidores predefinido. Se necessário, pode criar um grupo de consumidores diferente.

   Tabela de destino:

   Existem duas opções para o encaminhamento: estático e dinâmico. Neste tutorial, irá utilizar o encaminhamento estático (a predefinição), onde especifica o nome da tabela, o formato de dados e o mapeamento. Deixe o campo Os meus dados incluem informações de encaminhamento não selecionado.

   Definição	Valor sugerido	Descrição do campo
   Tabela	ActivityLogsRawRecords	A tabela que criou na base de dados TestDatabase .
   Formato de dados	JSON	O formato utilizado na tabela.
   Mapeamento de colunas	ActivityLogsRawRecordsMapping	O mapeamento que criou na base de dados TestDatabase , que mapeia os dados JSON recebidos para os nomes de colunas e tipos de dados da tabela ActivityLogsRawRecords .

2. Selecione Criar.

Consultar a tabela de métricas de diagnóstico

A consulta seguinte analisa os dados de duração da consulta dos registos de métricas de diagnóstico no Azure Data Explorer:

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Resultados da consulta:

Consultar a tabela de registos de diagnóstico

Este pipeline produz ingestões através de um hub de eventos. Irá rever os resultados destas ingestões. A consulta seguinte analisa quantas ingestões acumuladas num minuto, incluindo uma amostra de Databasee TableIngestionSourcePath para cada intervalo:

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Resultados da consulta:

Consultar a tabela de registos de atividades

A consulta seguinte analisa dados de registos de atividades no Azure Data Explorer:

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Resultados da consulta: