Monitoramento de detalhes do aplicativo Apache Spark

  • Artigo

Com o Microsoft Fabric, você pode usar o Apache Spark para executar blocos de anotações, trabalhos e outros tipos de aplicativos em seu espaço de trabalho. Este artigo explica como monitorar seu aplicativo Apache Spark, permitindo que você fique de olho no status de execução recente, problemas e progresso de seus trabalhos.

Ver aplicações Apache Spark

Você pode visualizar todos os aplicativos Apache Spark na definição de trabalho do Spark ou o menu de contexto do item do bloco de anotações mostra a opção de execução recente ->Execuções recentes.

Captura de ecrã a mostrar a lista de execuções recentes e os detalhes.

Você pode selecionar o nome do aplicativo que deseja visualizar na lista de aplicativos, na página de detalhes do aplicativo você pode visualizar os detalhes do aplicativo.

Monitorar o status do aplicativo Apache Spark

Abra a página Execuções recentes do bloco de anotações ou definição de trabalho do Spark, você pode visualizar o status do aplicativo Apache.

  • Com êxito

Captura de tela mostrando onde o status Bem-sucedido aparece.

  • Em fila

Captura de tela mostrando onde o status Enfileirado aparece.

  • Parado

Captura de ecrã a mostrar o estado Interrompido.

  • Cancelada

Captura de tela mostrando onde o status cancelado é exibido.

  • Com falhas

Captura de tela mostrando onde o status Falha aparece.

Tarefas

Abrir um trabalho do aplicativo Apache Spark na definição de trabalho do Spark ou no menu de contexto do item do bloco de anotações mostra a opção Execução recente ->Execuções recentes -> selecione um trabalho na página Execuções recentes.

Na página de detalhes de monitoramento do aplicativo Apache Spark, a lista de execuções de trabalho é exibida na guia Trabalhos , você pode visualizar os detalhes de cada trabalho aqui, incluindo ID do trabalho, Descrição, Status, Estágios, Tarefas, Duração, Processado, Dados lidos, Dados escritos e Trecho de código.

  • Clicar em ID do trabalho pode expandir/recolher o trabalho.
  • Clique na descrição do trabalho, você pode saltar para a página de trabalho ou estágio na interface do usuário do spark.
  • Clique no trecho do código do trabalho, você pode verificar e copiar o código relacionado a este trabalho.

Captura de tela mostrando os trabalhos.

Recursos (Pré-visualização)

O gráfico de uso do executor exibe visualmente a alocação de executores de trabalho do Spark e o uso de recursos. Atualmente, apenas as informações de tempo de execução do spark 3.4 e superior exibirão esse recurso. Selecione Recursos (Visualização) e, em seguida, quatro tipos de curvas sobre o uso do executor são rasgadas, incluindo instâncias em execução, ociosa, alocadas e máximas.

Captura de tela mostrando o uso de recursos de monitoramento.

  • Para Alocado, refere-se à situação principal alocada durante a execução do aplicativo Spark.

  • Para instâncias Máximas, refere-se ao número máximo de núcleos alocados para o aplicativo Spark.

  • Para Execução, refere-se ao número real de núcleos usados pelo aplicativo Spark quando ele está em execução. Clique em um ponto no tempo enquanto o aplicativo spark está em execução. Você pode ver os detalhes de alocação do núcleo do executor em execução na parte inferior do gráfico.

    Captura de tela mostrando os detalhes de alocação do núcleo do executor em execução.

  • Para Idled, é o número de núcleos não utilizados enquanto o aplicativo Spark está em execução.

Em alguns casos, em alguns momentos, o número de tarefas pode exceder a capacidade dos núcleos do executor (ou seja, números > totais de tarefas núcleos do executor / spark.task.cpus). Isso é o esperado, porque há um intervalo de tempo entre uma tarefa marcada como em execução e ela está realmente sendo executada em um núcleo de executor. Assim, algumas tarefas podem ser mostradas como em execução, mas não são executadas em nenhum núcleo.

Selecione o ícone de cor para selecionar ou desmarcar o conteúdo correspondente em todos os gráficos.

Captura de tela mostrando o gráfico de seleção de gráfico

Painel de resumo

Na página de monitoramento do aplicativo Apache Spark, clique no botão Propriedades para abrir/recolher o painel de resumo. Você pode visualizar os detalhes desta aplicação em Detalhes.

  • Status para este aplicativo de faísca.
  • ID deste aplicativo Spark.
  • Duração total.
  • Duração de execução para este aplicativo spark.
  • Duração da fila para este aplicativo de faísca.
  • ID Lívio
  • Transmitente para este aplicativo de faísca.
  • Tempo de envio para esta aplicação de faísca.
  • Número de executores.

Captura de tela mostrando o resumo do aplicativo spark.

Registos

Para a guia Logs , você pode visualizar o log completo de Livy, Prelaunch, Driver log com diferentes opções selecionadas no painel esquerdo. E você pode recuperar diretamente as informações de log necessárias pesquisando palavras-chave e visualizar os logs filtrando o status do log. Clique em Download Log para baixar as informações de log para o local.

Às vezes, nenhum log está disponível, como o status do trabalho está enfileirado e a criação do cluster falhou.

Os logs em tempo real só estão disponíveis quando o envio do aplicativo falha, e os logs de driver também são fornecidos.

Captura de tela mostrando os logs do aplicativo spark.

Dados

Para a guia Dados , você pode copiar a lista de dados na área de transferência, baixar a lista de dados e os dados únicos e verificar as propriedades de cada dado.

  • O painel esquerdo pode ser expandido ou recolhido.
  • O nome, formato de leitura, tamanho, origem e caminho dos arquivos de entrada e saída serão exibidos nesta lista.
  • Os arquivos de entrada e saída podem ser baixados, copiar caminho e visualizar propriedades.

Captura de tela mostrando os dados para o aplicativo spark.

A guia Itens relacionados permite que você navegue e visualize itens associados ao aplicativo Apache Spark, incluindo Notebooks, definição de trabalho do Spark e/ou Pipelines. A página de itens relacionados exibe o instantâneo dos valores de código e parâmetro no momento da execução dos Blocos de Anotações. Ele também mostra o instantâneo de todas as configurações e parâmetros no momento do envio para definições de trabalho do Spark. Se o aplicativo Apache Spark estiver associado a um pipeline, a página do item relacionado também apresentará o pipeline correspondente e a atividade do Spark.

Na tela Itens relacionados, você pode:

  • Navegue e navegue pelos itens relacionados na árvore hierárquica.
  • Clique no ícone de elipse 'Uma lista de mais ações' para cada item para executar ações diferentes.
  • Clique no item de instantâneo para visualizar seu conteúdo.
  • Exiba o Breadcrumb para ver o caminho do item selecionado para a raiz.

Captura de tela mostrando os itens relacionados para o aplicativo spark.

Diagnóstico

O painel de diagnóstico fornece aos usuários recomendações em tempo real e análise de erros, que são geradas pelo Spark Advisor através de uma análise do código do usuário. Com padrões integrados, o Apache Spark Advisor ajuda os usuários a evitar erros comuns e analisa falhas para identificar sua causa raiz.

Captura de tela mostrando o diagnóstico para o aplicativo spark.

Conteúdos relacionados

A próxima etapa depois de visualizar os detalhes de um aplicativo Apache Spark é visualizar o progresso do trabalho do Spark abaixo da célula do Notebook. Pode referir-se a: