Monitoramento de detalhes do aplicativo Apache Spark

Com o Microsoft Fabric, você pode usar o Apache Spark para executar blocos de anotações, trabalhos e outros tipos de aplicativos em seu espaço de trabalho. Este artigo explica como monitorar seu aplicativo Apache Spark, permitindo que você fique de olho no status de execução recente, problemas e progresso de seus trabalhos.

Ver aplicações Apache Spark

Você pode visualizar todos os aplicativos Apache Spark na definição de trabalho do Spark ou o menu de contexto do item do bloco de anotações mostra a opção de execução recente ->Execuções recentes.

Você pode selecionar o nome do aplicativo que deseja visualizar na lista de aplicativos, na página de detalhes do aplicativo você pode visualizar os detalhes do aplicativo.

Monitorar o status do aplicativo Apache Spark

Abra a página Execuções recentes do bloco de anotações ou definição de trabalho do Spark, você pode visualizar o status do aplicativo Apache.

• Com êxito

• Em fila

• Parado

• Cancelada

• Com falhas

Tarefas

Abrir um trabalho do aplicativo Apache Spark na definição de trabalho do Spark ou no menu de contexto do item do bloco de anotações mostra a opção Execução recente ->Execuções recentes -> selecione um trabalho na página Execuções recentes.

Na página de detalhes de monitoramento do aplicativo Apache Spark, a lista de execuções de trabalho é exibida na guia Trabalhos , você pode visualizar os detalhes de cada trabalho aqui, incluindo ID do trabalho, Descrição, Status, Estágios, Tarefas, Duração, Processado, Dados lidos, Dados escritos e Trecho de código.

• Clicar em ID do trabalho pode expandir/recolher o trabalho.
• Clique na descrição do trabalho, você pode saltar para a página de trabalho ou estágio na interface do usuário do spark.
• Clique no trecho do código do trabalho, você pode verificar e copiar o código relacionado a este trabalho.

Recursos

O gráfico de uso do executor na guia Recursos visualiza a alocação e a utilização dos executores do Spark para a aplicação atual do Spark praticamente em tempo real, durante a execução do Spark. Pode referir-se a: Monitorizar a Utilização de Recursos das Aplicações Apache Spark.

Painel de resumo

Na página de monitoramento do aplicativo Apache Spark, clique no botão Propriedades para abrir/recolher o painel de resumo. Você pode visualizar os detalhes desta aplicação em Detalhes.

• Status para este aplicativo de faísca.
• ID deste aplicativo Spark.
• Duração total.
• Duração de execução para este aplicativo spark.
• Duração da fila para este aplicativo de faísca.
• ID Lívio
• Transmitente para este aplicativo de faísca.
• Tempo de envio para esta aplicação de faísca.
• Número de executores.

Registos

Para a guia Logs , você pode visualizar o log completo de Livy, Prelaunch, Driver log com diferentes opções selecionadas no painel esquerdo. E você pode recuperar diretamente as informações de log necessárias pesquisando palavras-chave e visualizar os logs filtrando o status do log. Clique em Download Log para baixar as informações de log para o local.

Às vezes, nenhum log está disponível, como o status do trabalho está enfileirado e a criação do cluster falhou.

Os logs em tempo real só estão disponíveis quando o envio do aplicativo falha, e os logs de driver também são fornecidos.

Dados

Para a guia Dados , você pode copiar a lista de dados na área de transferência, baixar a lista de dados e os dados únicos e verificar as propriedades de cada dado.

• O painel esquerdo pode ser expandido ou recolhido.
• O nome, formato de leitura, tamanho, origem e caminho dos arquivos de entrada e saída serão exibidos nesta lista.
• Os arquivos de entrada e saída podem ser baixados, copiar caminho e visualizar propriedades.

Instantâneos de itens

A guia Instantâneos de item permite que você navegue e visualize itens associados ao aplicativo Apache Spark, incluindo Notebooks, definição de trabalho do Spark e/ou Pipelines. A página de instantâneos de item exibe o instantâneo dos valores de código e parâmetro no momento da execução para Blocos de Anotações. Ele também mostra o instantâneo de todas as configurações e parâmetros no momento do envio para definições de trabalho do Spark. Se o aplicativo Apache Spark estiver associado a um pipeline, a página do item relacionado também apresentará o pipeline correspondente e a atividade do Spark.

Na tela Instantâneos do item, você pode:

• Navegue e navegue pelos itens relacionados na árvore hierárquica.
• Clique no ícone de elipse 'Uma lista de mais ações' para cada item para executar ações diferentes.
• Clique no item de instantâneo para visualizar seu conteúdo.
• Exiba o Breadcrumb para ver o caminho do item selecionado para a raiz.

Diagnóstico

O painel de diagnóstico fornece aos usuários recomendações em tempo real e análise de erros, que são geradas pelo Spark Advisor através de uma análise do código do usuário. Com padrões integrados, o Apache Spark Advisor ajuda os usuários a evitar erros comuns e analisa falhas para identificar sua causa raiz.

Conteúdos relacionados

A próxima etapa depois de visualizar os detalhes de um aplicativo Apache Spark é visualizar o progresso do trabalho do Spark abaixo da célula do Notebook. Pode referir-se a:

• Monitoramento e depuração contextual do notebook