Armazenamento e análise de consultas históricas no Azure Synapse Analytics

  • Artigo

A análise de consulta histórica é uma das necessidades cruciais dos engenheiros de dados. O Azure Synapse Analytics dá suporte a quatro maneiras principais de analisar o histórico e o desempenho da consulta. Elas incluem Repositório de Consultas, DMVs, Azure Log Analytics e Azure Data Explorer.

Este artigo mostrará como usar cada uma dessas opções para suas necessidades. Analise os casos de uso de análise do histórico de consultas e o melhor método para cada um.

Necessidade do cliente Repositório de Consultas DMVs Azure Log Analytics Azure Data Explorer
Solução pronta para uso Precisa ser habilitada ✔️ Serviço de adição necessário Serviço de adição necessário
Períodos de análise mais longos 30 dias Até 10.000 linhas de histórico Personalizável Personalizável
Disponibilidade de métricas cruciais Limitado ✔️ Limitado Personalizável
Usar SQL para análise ✔️ ✔️ KQL necessário Suporte a SQL é limitado

Repositório de Consultas

O recurso Repositório de Consultas fornece insights sobre a escolha e o desempenho do plano de consulta. Ele simplifica a solução de problemas, ajudando você a identificar rapidamente diferenças de desempenho causadas por alterações nos planos de consulta.

O Repositório de Consultas não está habilitado por padrão para novos bancos de dados do Azure Synapse Analytics. Para habilitar o Repositório de Consultas para execução, use o seguinte comando T-SQL:

ALTER DATABASE <database_name>
SET QUERY_STORE = ON;

Por exemplo:

ALTER DATABASE [SQLPOOL1]
SET QUERY_STORE = ON;

Você pode executar a auditoria de desempenho e solucionar problemas de tarefas relacionadas encontrando as últimas consultas executadas, as contagens de execução, as consultas com execução prolongada, as consultas com o máximo de leads físicos de E/S. Consulte Monitoramento de desempenho usando o Repositório de Consultas para consultas de exemplo.

Vantagens:

  • Até 30 dias de armazenamento para dados de consulta. Padrão 7 dias.
  • Os dados podem ser consumidos na mesma ferramenta em que você executaria a consulta.

Limitação conhecida:

  • O armazenamento padrão de dados de consulta históricos é menor.
  • Os cenários de análise são limitados no Repositório de Consultas para o Azure Synapse quando comparados ao uso de DMVs.

DMVs

As DMVs (Exibições de Gerenciamento Dinâmico) são extremamente úteis quando se trata de coletar informações sobre tempos de espera de consulta, planos de execução, memória etc. É altamente recomendável rotular sua consulta de interesse para rastreá-la mais tarde. Por exemplo:

-- Query with Label
SELECT *
FROM sys.tables
OPTION (LABEL = 'My Query');

Para obter mais informações sobre como rotular suas consultas no SQL do Azure Synapse, consulte Usar rótulos de consulta no SQL do Synapse.

Para obter mais informações sobre o uso de DMVs para monitorar sua carga de trabalho do Azure Synapse Analytics, confira Monitorar sua carga de trabalho de pool de SQL dedicada usando DMVs. Para ver a documentação sobre exibições do catálogo específicas do Azure Synapse Analytics, confira Exibições do catálogo do Azure Synapse Analytics.

Vantagens:

  • Os dados podem ser consumidos na mesma ferramenta de consulta.
  • As DMVs fornecem opções extensivas para análise.

Limitações conhecidas:

  • As DMVs são limitadas a 10.000 linhas de entradas históricas.
  • As exibições são redefinidas quando o pool é pausado/retomado.

Log Analytics

Os workspaces do Log Analytics podem ser criados facilmente no portal do Azure. Para obter mais instruções de como conectar o Synapse ao Log Analytics, veja Monitorar carga de trabalho – portal do Azure.

Assim como o Azure Data Explorer, o Log Analytics usa a KQL (Linguagem de Consulta Kusto). Para obter mais informações sobre a sintaxe da Kusto, confira Visão geral da consulta Kusto.

Junto com o período de retenção configurável, você escolhe o workspace que está direcionando especificamente para consulta no Log Analytics. O Log Analytics oferece a flexibilidade para armazenar dados, executar e salvar consultas.

Vantagens:

  • O Azure Log Analytics tem uma política de retenção de log personalizável

Limitações conhecidas:

  • O uso da KQL aumenta a curva de aprendizado.
  • Exibições limitadas podem ser registradas fora da caixa.

ADX (Azure Data Explorer)

O ADX (Azure Data Explorer) é um serviço líder de exploração de dados. Esse serviço pode ser usado para analisar consultas históricas do Azure Synapse Analytics. Para configurar um pipeline do ADF (Azure Data Factory) para copiar e armazenar logs no ADX, consulte Copiar dados do/para o Azure Data Explorer. No ADX, você pode executar uma consulta Kusto eficiente para analisar seus logs. Você pode combinar outras estratégias aqui, por exemplo, para consultar e carregar a saída da DMV para o ADX por meio do ADF.

Vantagens:

  • O ADX oferece uma política de retenção de log personalizável.
  • Execução de consulta de eficiente em uma grande quantidade de dados, especialmente consultas que envolvem pesquisa de cadeia de caracteres.

Limitação conhecida:

  • O uso da KQL aumenta a curva de aprendizado.

Próximas etapas