Monitore sua definição de trabalho do Apache Spark

Usando o monitoramento em linha do item de definição de trabalho do Spark, você pode acompanhar o seguinte:

  • Monitore o progresso e o status de uma definição de trabalho do Spark em execução.
  • Exiba o status e a duração das execuções anteriores de definição de trabalho do Spark.

Você pode obter essas informações no menu contextual Execuções recentes no espaço de trabalho ou navegando pelas atividades de definição de trabalho do Spark no hub de monitoramento.

Monitoramento em linha de definição de trabalho de faísca

O recurso de monitoramento em linha de definição de trabalho do Spark permite visualizar o envio de definição de trabalho do Spark e o status de execução em tempo real. Você também pode visualizar as execuções e configurações anteriores da definição de trabalho do Spark e navegar até a página de detalhes do aplicativo Spark para ver mais detalhes .

Screenshot showing the spark job definition inline monitoring.

Modo de exibição de item de definição de trabalho do Spark no espaço de trabalho

Você pode acessar as execuções de trabalho associadas a itens específicos de definição de tarefa do Spark usando o menu contextual Execução recente na página inicial do espaço de trabalho.

Screenshot showing the spark job definition item view in workspace.

A definição do trabalho do Spark é executada no hub de monitoramento

Para exibir todos os aplicativos do Spark relacionados a uma definição de trabalho do Spark, vá para o hub de monitoramento. Classifique ou filtre a coluna Tipo de Item para exibir todas as atividades de execução associadas às definições de trabalho do Spark.

Screenshot showing the spark job definition runs in Monitoring hub.

A próxima etapa depois de visualizar os detalhes de um aplicativo Apache Spark é visualizar o progresso do trabalho do Spark abaixo da célula do Notebook. Pode referir-se a: