Tutorial: Ingerir e consultar dados de monitoramento no Azure Data Explorer

Exemplo de métricas de diagnóstico

As métricas de diagnóstico são agregadas com um intervalo de agregação de um minuto. A seguir há um exemplo de um esquema de evento de métrica do Azure Data Explorer sobre a duração da consulta:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Exemplo de logs de diagnóstico

A seguir há um exemplo de um log de ingestão de diagnóstico do Azure Data Explorer:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "d59882f1-ad64-4fc4-b2ef-d663b6cc1cc5",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "d59882f1-ad64-4fc4-b2ef-d663b6cc1cc5",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Exemplo de logs de atividades

Os logs de atividades do Azure são logs de nível de assinatura que fornecem insight sobre as operações executadas nos recursos em sua assinatura. A seguir, há um exemplo de um evento de log de atividades para verificar o acesso:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "0de9f4bc-4adc-4209-a774-1b4f4ae573ed",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "0de9f4bc-4adc-4209-a774-1b4f4ae573ed",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Criar tabelas para as métricas de diagnóstico

1. No banco de dados TestDatabase, crie uma tabela chamada DiagnosticMetrics para armazenar os registros das métricas de diagnóstico. Use o seguinte .create table comando de gerenciamento:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Selecione Executar para criar a tabela.

   

3. Crie a tabela de dados intermediários denominada DiagnosticRawRecords no banco de dados TestDatabase para manipulação de dados usando a consulta a seguir. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Defina política de retenção zero para a tabela intermediária:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Criar tabelas para os logs de diagnóstico

1. No banco de dados TestDatabase, crie uma tabela chamada DiagnosticLogs para armazenar os registros do log de diagnóstico. Use o seguinte .create table comando de gerenciamento:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Selecione Executar para criar a tabela.

3. Crie a tabela de dados intermediários denominada DiagnosticRawRecords no banco de dados TestDatabase para manipulação de dados usando a consulta a seguir. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Defina política de retenção zero para a tabela intermediária:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Criar tabelas para os logs de atividades

1. Crie uma tabela chamada ActivityLogs no banco de dados TestDatabase para receber os registros do log de atividades. Para criar a tabela, execute a seguinte consulta do Azure Data Explorer:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Crie a tabela de dados intermediária chamada ActivityLogsRawRecords no banco de dados TestDatabase para manipulação de dados:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Defina política de retenção zero para a tabela intermediária:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Mapear métricas e logs de diagnóstico para a tabela

Para mapear os dados das métricas e dos logs de diagnóstico para a tabela, use a seguinte consulta:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Mapear logs de atividade para a tabela

Para mapear os dados do log de atividades para a tabela, use a seguinte consulta:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Criar política de atualização de dados para métricas de diagnóstico

1. Crie uma função que expande a coleção dos registros da métrica de diagnóstico de modo que cada valor na coleção receba uma linha separada. Use o operador mv-expand:

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Adicione a política de atualização à tabela de destino. Essa política executará a consulta automaticamente nos dados recém-ingeridos na tabela de dados intermediária DiagnosticRawRecords e ingerirá os resultados na tabela DiagnosticMetrics:

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar política de atualização de dados para logs de diagnóstico

1. Crie uma função que expande a coleção dos registros dos logs de diagnóstico de modo que cada valor na coleção receba uma linha separada. Você habilitará os logs de ingestão em um cluster do Azure Data Explorer e usará o esquema de logs de ingestão. Você criará uma tabela para ingestão com êxito e com falha, enquanto alguns dos campos estarão vazios para a ingestão com êxito (ErrorCode, por exemplo). Use o operador mv-expand:

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Adicione a política de atualização à tabela de destino. Essa política executará a consulta automaticamente nos dados recém-ingeridos na tabela de dados intermediária DiagnosticRawRecords e ingerirá os resultados na tabela DiagnosticLogs:

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar política de atualização de dados dos logs de atividades

1. Crie uma função que expande a coleção de registros de log de atividades de forma que cada valor na coleção receba uma linha separada. Use o operador mv-expand:

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Adicione a política de atualização à tabela de destino. Essa política executará a consulta automaticamente nos dados recém-ingeridos na tabela de dados intermediária ActivityLogsRawRecords e ingerirá os resultados na tabela ActivityLogs:

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Conectar as métricas e os logs de diagnóstico ao hub de eventos

Selecione um recurso do qual exportar métricas. Vários tipos de recurso dão suporte à exportação dos dados de diagnóstico, incluindo o namespace de hubs de eventos, o Azure Key Vault, o Hub IoT do Azure e clusters do Azure Data Explorer. Neste tutorial, usaremos um cluster do Azure Data Explorer como nosso recurso, examinaremos as métricas de desempenho de consulta e os logs de resultados de ingestão.

1. Selecione o cluster Kusto no portal do Azure.

2. Selecione Configurações de diagnóstico e, em seguida, selecione o link Ativar diagnóstico.

   

3. O painel Configurações de diagnóstico será aberto. Siga estas etapas:

   1. Dê aos dados de log de diagnóstico o nome ADXExportedData.

   2. Em LOG, marque as caixas de seleção SucceededIngestion e FailedIngestion.

   3. Em MÉTRICA, marque a caixa de seleção Desempenho de consulta.

   4. Marque a caixa de seleção Transmitir para um hub de eventos.

   5. Selecione Configurar.

      

4. No painel Selecionar um hub de eventos, configure como exportar os dados dos logs de diagnóstico para o hub de eventos criado:

   1. Na lista Selecionar um namespace do hub de eventos, selecione AzureMonitoringData.
   2. Na lista Selecionar o nome do hub de evento, selecione DiagnosticData.
   3. Na lista Selecionar o nome da política do hub de eventos, selecione RootManagerSharedAccessKey.
   4. Selecione OK.

5. Clique em Salvar.

Conectar os logs de atividades ao hub de eventos

1. No menu à esquerda do portal do Azure, selecione Log de atividades.

2. A janela Log de atividades será aberta. Selecionar configurações de Diagnóstico.

   

3. A janela Configurações de diagnóstico é aberta. Selecione + Adicionar configuração de diagnóstico.

   

4. Abre uma nova janela de Configurações de Diagnóstico.

   

   Execute as seguintes etapas:

   1. Insira um nome no campo Nome da configuração de diagnóstico.
   2. No lado esquerdo das caixas de seleção, selecione os logs das plataformas que você deseja coletar de uma assinatura.
   3. Marque a caixa de seleção Transmitir para um hub de eventos.
   4. Selecione sua assinatura.
   5. Na lista Namespace do hub de eventos, selecione AzureMonitoringData.
   6. Opcionalmente, selecione seu nome do hub de eventos.
   7. Na lista Nome da política de hub de eventos, selecione o nome padrão da política do hub de eventos.
   8. No canto superior esquerdo da janela, selecione Salvar. Um hub de eventos com o nome insights-operational-logs será criado, a menos que você tenha selecionado um nome de hub de eventos acima.

1. Use as seguintes configurações na janela Conexão de Dados:

   Fonte de dados:

   Configuração	Valor sugerido	Descrição do campo
   Nome da conexão de dados	DiagnosticsLogsConnection	O nome da conexão que você deseja criar no Azure Data Explorer.
   Namespace do Hub de Eventos	AzureMonitoringData	O nome escolhido anteriormente que identifica seu namespace.
   Hub de eventos	DiagnosticData	O hub de eventos que você criou.
   Grupo de consumidores	adxpipeline	O grupo de consumidores definido no hub de eventos que você criou.

   Tabela de destino:

   Há duas opções de roteamento: estático e dinâmico. Para este tutorial, você usará o roteamento estático (o padrão), no qual especificará o nome da tabela, o formato de dados e o mapeamento. Não selecione Meus dados incluem informações de roteamento.

   Configuração	Valor sugerido	Descrição do campo
   Tabela	DiagnosticRawRecords	A tabela criada no banco de dados TestDatabase.
   Formato dos dados	JSON	O formato usado na tabela.
   Mapeamento de coluna	DiagnosticRawRecordsMapping	O mapeamento criado no banco de dados TestDatabase, que mapeia os dados JSON de entrada para os nomes de coluna e os tipos de dados da tabela DiagnosticRawRecords.

2. Selecione Criar.

1. Use as seguintes configurações na janela Conexão de Dados:

   Fonte de dados:

   Configuração	Valor sugerido	Descrição do campo
   Nome da conexão de dados	ActivityLogsConnection	O nome da conexão que você deseja criar no Azure Data Explorer.
   Namespace do Hub de Eventos	AzureMonitoringData	O nome escolhido anteriormente que identifica seu namespace.
   Hub de eventos	insights-operational-logs	O hub de eventos que você criou.
   Grupo de consumidores	$Default	O grupo de consumidor padrão. Se necessário, é possível criar um grupo de consumidor diferente.

   Tabela de destino:

   Há duas opções de roteamento: estático e dinâmico. Para este tutorial, você usará o roteamento estático (o padrão), no qual especificará o nome da tabela, o formato de dados e o mapeamento. Não selecione Meus dados incluem informações de roteamento.

   Configuração	Valor sugerido	Descrição do campo
   Tabela	ActivityLogsRawRecords	A tabela criada no banco de dados TestDatabase.
   Formato dos dados	JSON	O formato usado na tabela.
   Mapeamento de coluna	ActivityLogsRawRecordsMapping	O mapeamento criado no banco de dados TestDatabase, que mapeia os dados JSON de entrada para os nomes de coluna e os tipos de dados da tabela ActivityLogsRawRecords.

2. Selecione Criar.

Consultar a tabela de métricas de diagnóstico

A seguinte consulta analisa os dados de duração da consulta dos registros da métrica de diagnóstico no Azure Data Explorer:

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Resultados da consulta:

Consultar a tabela dos logs de diagnóstico

Esse pipeline produz ingestões por meio de um hub de eventos. Você examinará os resultados dessas ingestões. A consulta a seguir analisa quantas ingestões são acumuladas em um minuto, incluindo uma amostra de Database, Table e IngestionSourcePath para cada intervalo:

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Resultados da consulta:

Consultar a tabela de logs de atividades

A seguinte consulta analisa os dados dos registros do log de atividades no Azure Data Explorer:

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Resultados da consulta: