Agendar e executar uma definição de trabalho do Apache Spark

Saiba como executar uma definição de trabalho do Microsoft Fabric Apache Spark e encontrar o status e os detalhes da definição da tarefa.

Pré-requisitos

Antes de começar, deve:

Como executar uma definição de trabalho do Spark

Há duas maneiras de executar uma definição de trabalho do Spark:

  • Execute uma definição de trabalho do Spark manualmente selecionando Executar no item de definição de trabalho do Spark na lista de trabalhos.

    Screenshot showing where to select Run.

  • Agende uma definição de trabalho do Spark configurando um plano de agendamento na guia Configurações . Selecione Configurações na barra de ferramentas e, em seguida, selecione Agendar.

    Screenshot showing where to select Schedule on the Settings tab.

Importante

Para ser executada, uma definição de trabalho do Spark deve ter um arquivo de definição principal e um contexto lakehouse padrão.

Gorjeta

Para uma execução manual, a conta do usuário conectado no momento é usada para enviar o trabalho. Para uma execução acionada por uma agenda, a conta do usuário que criou o plano de agendamento é usada para enviar o trabalho.

Três a cinco segundos depois de enviar a execução, uma nova linha aparece na guia Execuções . A linha mostra detalhes sobre sua nova execução. A coluna Status mostra o status quase em tempo real do trabalho e a coluna Tipo de execução mostra se o trabalho é manual ou agendado.

Screenshot of Runs list details.

Para obter mais informações sobre como monitorar um trabalho, consulte Monitorar sua definição de trabalho do Apache Spark.

Como cancelar um trabalho em execução

Depois que o trabalho for enviado, você poderá cancelá-lo selecionando Cancelar execução ativa no item de definição de trabalho do Spark na lista de trabalhos.

Screenshot showing where to select Cancel active run.

Instantâneo de definição de trabalho do Spark

A definição de trabalho do Spark armazena seu estado mais recente. Para exibir o instantâneo da execução do histórico, selecione Exibir instantâneo no item de definição de trabalho do Spark na lista de tarefas. O instantâneo mostra o estado da definição de trabalho quando o trabalho é enviado, incluindo o arquivo de definição principal, o arquivo de referência, os argumentos de linha de comando, a lakehouse referenciada e as propriedades do Spark.

Screenshot showing where to select View Snapshot.

A partir de um instantâneo, você pode executar três ações:

  • Salvar como uma definição de trabalho do Spark: salve o instantâneo como uma nova definição de trabalho do Spark.
  • Abrir definição de trabalho do Spark: abra a definição de trabalho atual do Spark.
  • Restaurar: restaure a definição de tarefa com o instantâneo. A definição de trabalho é restaurada para o estado quando o trabalho foi enviado.

Screenshot of the snapshot menu options.