Criar e executar um notebook com o Kqlmagic
Kqlmagic é um comando que estende os recursos do kernel de Python nos Notebooks do Azure Data Studio . Você pode combinar o Python e o KQL (linguagem de consulta Kusto) para consultar e visualizar dados usando a avançada biblioteca Plot.ly integrada com comandos render
. O Kqlmagic traz o benefício dos notebooks, da análise de dados e dos recursos avançados de Python, tudo isso no mesmo lugar. As fontes de dados com suporte para Kqlmagic incluem o Azure Data Explorer , o Application Insights e os Logs do Azure Monitor .
Este artigo mostra como criar e executar um notebook no Azure Data Studio usando a extensão Kqlmagic para um cluster do Azure Data Explorer, um log do Application Insights e logs do Azure Monitor.
Pré-requisitos
Instalar e configurar Kqlmagic em um notebook
Todas as etapas nesta seção são executadas dentro de um notebook do Azure Data Studio.
Crie um notebook e altere o Kernel para Python 3.
Talvez seja solicitado que você atualize seus pacotes do Python quando seus pacotes precisarem ser atualizados.
Instale Kqlmagic:
import sys !{sys.executable} -m pip install Kqlmagic --no-cache-dir --upgrade
Verifique se ele está instalado:
import sys !{sys.executable} -m pip list
Carregue Kqlmagic:
%reload_ext Kqlmagic
Observação
Se essa etapa falhar, feche o arquivo e abra-o novamente.
Você pode testar se Kqlmagic foi carregado corretamente navegando pela documentação de ajuda ou verificando a versão.
%kql --help "help"
Observação
Se
Samples@help
solicitar uma senha, deixe-a em branco e pressione Enter.Para ver qual versão de Kqlmagic está instalada, execute o comando a seguir.
%kql --version
Kqlmagic com um cluster do Azure Data Explorer
Esta seção explica como executar a análise de dados usando Kqlmagic com um cluster do Azure Data Explorer.
Carregar e autenticar Kqlmagic para o Azure Data Explorer
Observação
Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.
Verifique se o Kernel está definido como Python3.
Carregue Kqlmagic:
%reload_ext Kqlmagic
Conectar-se ao cluster e autenticar:
%kql azureDataExplorer://code;cluster='help';database='Samples'
Observação
Se estiver usando seu próprio cluster ADX, você deverá incluir a região nas cadeias de conexão da seguinte maneira:
%kql azuredataexplorer://code;cluster='mycluster.westus';database='mykustodb'
Você usa as credenciais do dispositivo para se autenticar. Copie o código da saída e selecione autenticar, que abre um navegador no qual você precisa colar o código. Após autenticar-se com êxito, você pode voltar para o Azure Data Studio para continuar com o restante do script.
Consultar e visualizar no Azure Data Explorer
Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.
Analise os 10 principais eventos de tempestade por estado e frequência:
%kql StormEvents | summarize count() by State | sort by count_ | limit 10
Se estiver familiarizado com o KQL (Linguagem de Consulta Kusto), digite a consulta após
%kql
.Visualize um gráfico de linha do tempo:
%kql StormEvents \ | summarize event_count=count() by bin(StartTime, 1d) \ | render timechart title= 'Daily Storm Events'
Exemplo de Consulta Multilinha usando
%%kql
.%%kql StormEvents | summarize count() by State | sort by count_ | limit 10 | render columnchart title='Top 10 States by Storm Event count'
Kqlmagic com Application Insights
Carregar e autenticar Kqlmagic para o Application Insights
Verifique se o Kernel está definido como Python3.
Carregue Kqlmagic:
%reload_ext Kqlmagic
Observação
Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.
Conectar e autenticar.
Primeiro será necessário gerar uma chave de API para seu recurso do Application Insights. Em seguida, use a ID do aplicativo e a chave de API para se conectar ao Application Insights do notebook:
%kql appinsights://appid='DEMO_APP';appkey='DEMO_KEY'
Consultar e visualizar no Application Insights
Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.
Mostrar as Exibições de Página:
%%kql pageViews | limit 10
Observação
Use o mouse para arrastar em uma área do gráfico para ampliar as datas específicas.
Mostrar as exibições de página em um gráfico de linha do tempo:
%%kql pageViews | summarize event_count=count() by name, bin(timestamp, 1d) | render timechart title= 'Daily Page Views'
Kqlmagic com logs do Azure Monitor
Carregar e autenticar Kqlmagic para logs do Azure Monitor
Verifique se o Kernel está definido como Python3.
Carregue Kqlmagic:
%reload_ext Kqlmagic
Observação
Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.
Conectar-se e autenticar:
%kql loganalytics://workspace='DEMO_WORKSPACE';appkey='DEMO_KEY';alias='myworkspace'
Consultar e visualizar nos Logs do Azure Monitor
Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.
Exiba um gráfico de linha do tempo:
%%kql KubeNodeInventory | summarize event_count=count() by Status, bin(TimeGenerated, 1d) | render timechart title= 'Daily Kubernetes Nodes'
Próximas etapas
Saiba mais sobre os notebooks e Kqlmagic:
- Extensão do Kusto (KQL) para o Azure Data Studio (versão prévia)
- Criar e executar um notebook do Kusto (KQL) (versão prévia)
- Usar um Jupyter Notebook e a extensão Kqlmagic para analisar dados no Azure Data Explorer
- Extensão (Magic) para o Jupyter Notebook e o Jupyter Lab, que habilita a experiência de notebook trabalhando com o uso de dados do Application Insights do Kusto e do Log Analytics.
- Kqlmagic
- Como usar notebooks no Azure Data Studio