Visão geral do monitoramento do Apache Spark

  • Artigo

O monitoramento do Spark do Microsoft Fabric foi projetado para oferecer uma experiência baseada na interface do usuário da Web com recursos avançados internos para monitorar o progresso e status de aplicativos Spark em andamento, navegar por atividades anteriores do Spark, analisar e otimizar o desempenho e facilitar a solução de problemas de falhas. Vários pontos de entrada estão disponíveis para navegação, monitoramento e exibição de detalhes do aplicativo Spark.

Hub de Monitoramento

O Hub de Monitoramento serve como um portal centralizado para navegar pelas atividades do Spark entre itens. Em um relance, você pode exibir aplicativos Spark em andamento disparados de Notebooks, Definições de Trabalho do Spark e Pipelines. Você também pode pesquisar e filtrar aplicativos Spark com base em critérios diferentes e fazer busca detalhada para exibir mais detalhes de execução do Spark de um aplicativo do Spark.

Execuções recentes do item

Ao trabalhar em itens específicos, o recurso Execuções recentes do item permite que você navegue pelas atividades atuais e recentes do item e obtenha insights sobre o remetente, status, duração e outras informações para atividades enviadas por você ou outras pessoas.

Monitoramento contextual do notebook

O Monitoramento Contextual do Notebook oferece a capacidade de criar, monitorar e depurar trabalhos do Spark em um único local. Você pode monitorar o progresso do trabalho do Spark, exibir tarefas e executores de execução do Spark e acessar logs do Spark em um Notebook no nível da célula notebook. O orientador do Spark também é integrado ao Notebook para oferecer conselhos em tempo real sobre a execução do Spark de código e célula e executar a análise de erros.

Monitoramento em linha da definição de trabalho do Spark

O recurso Monitoramento interno da definição de trabalho do Spark permite exibir o envio de definição de trabalho do Spark e executar status em tempo real, bem como exibir as execuções e configurações anteriores da definição de trabalho do Spark. Você pode navegar até a página de detalhes do aplicativo Spark para exibir mais detalhes.

Monitoramento embutido da atividade do Pipeline do Spark

Para o Monitoramento Embutido da Atividade do Spark do Pipeline, links profundos foram incorporados às atividades de definição de trabalho do Notebook e do Spark no Pipeline. Você pode exibir os detalhes de execução do aplicativo Spark, as respectivas definições de trabalho do Notebook e do Spark instantâneo e acessar os logs do Spark para solução de problemas. Se as atividades do Spark falharem, a mensagem de erro embutida também estará disponível nas atividades do Pipeline Spark.

Conteúdo relacionado