Criar e executar um notebook com o Kqlmagic

Kqlmagic é um comando que estende os recursos do kernel de Python nos Notebooks do Azure Data Studio . Você pode combinar o Python e o KQL (linguagem de consulta Kusto) para consultar e visualizar dados usando a avançada biblioteca Plot.ly integrada com comandos render. O Kqlmagic traz o benefício dos notebooks, da análise de dados e dos recursos avançados de Python, tudo isso no mesmo lugar. As fontes de dados com suporte para Kqlmagic incluem o Azure Data Explorer , o Application Insights e os Logs do Azure Monitor .

Este artigo mostra como criar e executar um notebook no Azure Data Studio usando a extensão Kqlmagic para um cluster do Azure Data Explorer, um log do Application Insights e logs do Azure Monitor.

Pré-requisitos

Instalar e configurar Kqlmagic em um notebook

Todas as etapas nesta seção são executadas dentro de um notebook do Azure Data Studio.

  1. Crie um notebook e altere o Kernel para Python 3.

    Captura de tela de um novo notebook.

  2. Talvez seja solicitado que você atualize seus pacotes do Python quando seus pacotes precisarem ser atualizados.

    Screenshot Captura de tela do resultado – Yes.

  3. Instale Kqlmagic:

    import sys
    !{sys.executable} -m pip install Kqlmagic --no-cache-dir --upgrade
    

    Verifique se ele está instalado:

    import sys
    !{sys.executable} -m pip list
    

    Captura de tela da lista.

  4. Carregue Kqlmagic:

    %reload_ext Kqlmagic
    

    Observação

    Se essa etapa falhar, feche o arquivo e abra-o novamente.

    Captura de tela da carga da extensão Kqlmagic.

  5. Você pode testar se Kqlmagic foi carregado corretamente navegando pela documentação de ajuda ou verificando a versão.

    %kql --help "help"
    

    Observação

    Se Samples@help solicitar uma senha, deixe-a em branco e pressione Enter.

    Captura de tela da ajuda.

    Para ver qual versão de Kqlmagic está instalada, execute o comando a seguir.

    %kql --version
    

Kqlmagic com um cluster do Azure Data Explorer

Esta seção explica como executar a análise de dados usando Kqlmagic com um cluster do Azure Data Explorer.

Carregar e autenticar Kqlmagic para o Azure Data Explorer

Observação

Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.

  1. Verifique se o Kernel está definido como Python3.

    Captura de tela da alteração do kernel.

  2. Carregue Kqlmagic:

    %reload_ext Kqlmagic
    

    Captura de tela da carga da extensão Kqlmagic.

  3. Conectar-se ao cluster e autenticar:

    %kql azureDataExplorer://code;cluster='help';database='Samples'
    

    Observação

    Se estiver usando seu próprio cluster ADX, você deverá incluir a região nas cadeias de conexão da seguinte maneira:

    %kql azuredataexplorer://code;cluster='mycluster.westus';database='mykustodb' Você usa as credenciais do dispositivo para se autenticar. Copie o código da saída e selecione autenticar, que abre um navegador no qual você precisa colar o código. Após autenticar-se com êxito, você pode voltar para o Azure Data Studio para continuar com o restante do script.

    Captura de tela da autenticação do Azure Data Explorer.

Consultar e visualizar no Azure Data Explorer

Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.

  1. Analise os 10 principais eventos de tempestade por estado e frequência:

    %kql StormEvents | summarize count() by State | sort by count_ | limit 10
    

    Se estiver familiarizado com o KQL (Linguagem de Consulta Kusto), digite a consulta após %kql.

    Captura de tela da análise de eventos storm.

  2. Visualize um gráfico de linha do tempo:

    %kql StormEvents \
    | summarize event_count=count() by bin(StartTime, 1d) \
    | render timechart title= 'Daily Storm Events'
    

    Captura de tela de um gráfico de tempo.

  3. Exemplo de Consulta Multilinha usando %%kql.

    %%kql
    StormEvents
    | summarize count() by State
    | sort by count_
    | limit 10
    | render columnchart title='Top 10 States by Storm Event count'
    

    Captura de tela de um exemplo de consulta de várias linhas.

Kqlmagic com Application Insights

Carregar e autenticar Kqlmagic para o Application Insights

  1. Verifique se o Kernel está definido como Python3.

    Captura de tela de um kernel.

  2. Carregue Kqlmagic:

    %reload_ext Kqlmagic
    

    Captura de tela da carga da extensão Kqlmagic.

    Observação

    Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.

  3. Conectar e autenticar.

    Primeiro será necessário gerar uma chave de API para seu recurso do Application Insights. Em seguida, use a ID do aplicativo e a chave de API para se conectar ao Application Insights do notebook:

    %kql appinsights://appid='DEMO_APP';appkey='DEMO_KEY'
    

Consultar e visualizar no Application Insights

Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.

  1. Mostrar as Exibições de Página:

    %%kql
    pageViews
    | limit 10
    

    Captura de tela das exibições de página.

    Observação

    Use o mouse para arrastar em uma área do gráfico para ampliar as datas específicas.

  2. Mostrar as exibições de página em um gráfico de linha do tempo:

    %%kql
    pageViews
    | summarize event_count=count() by name, bin(timestamp, 1d)
    | render timechart title= 'Daily Page Views'
    

    Captura de tela do gráfico de linha do tempo.

Kqlmagic com logs do Azure Monitor

Carregar e autenticar Kqlmagic para logs do Azure Monitor

  1. Verifique se o Kernel está definido como Python3.

    Captura de tela da alteração.

  2. Carregue Kqlmagic:

    %reload_ext Kqlmagic
    

    Captura de tela mostrando o carregamento da extensão Kqlmagic.

    Observação

    Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.

  3. Conectar-se e autenticar:

    %kql loganalytics://workspace='DEMO_WORKSPACE';appkey='DEMO_KEY';alias='myworkspace'
    

    Captura de tela da autenticação do Log Analytics.

Consultar e visualizar nos Logs do Azure Monitor

Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.

  1. Exiba um gráfico de linha do tempo:

    %%kql
    KubeNodeInventory
    | summarize event_count=count() by Status, bin(TimeGenerated, 1d)
    | render timechart title= 'Daily Kubernetes Nodes'
    

    Captura de tela mostrando o gráfico de tempo diário de Nós do Kubernetes do Log Analytics.

Próximas etapas

Saiba mais sobre os notebooks e Kqlmagic: