Supervisión y observabilidad de los trabajos de Databricks

En este artículo se describen las características disponibles en la interfaz de usuario de Azure Databricks para ver los trabajos a los que tiene acceso, un historial de ejecuciones de un trabajo y los detalles de las ejecuciones de trabajos. Para configurar las notificaciones de los trabajos, consulte Adición de notificaciones de correo electrónico y del sistema para eventos de trabajo.

Para obtener información sobre el uso de la CLI de Databricks para ver trabajos y ejecutar trabajos, ejecute los comandos de la CLI databricks jobs list -h, databricks jobs get -h y databricks jobs run-now -h. Para más información sobre el uso de la API de trabajos, consulte la API de trabajos.

Si tiene acceso al esquema system.lakeflow, también puede ver y consultar los registros de ejecuciones de trabajos y tareas de toda su cuenta. Vea Referencia de la tabla del sistema de trabajos.

Visualización de trabajos

Para ver la lista de trabajos a los que tiene acceso, haga clic en Flujos de trabajo en la barra lateral. En la pestaña Trabajos de la interfaz de usuario de flujos de trabajo se muestra información sobre todos los trabajos disponibles, como el creador del trabajo, el desencadenador del trabajo, si existe, y el resultado de la última ejecución.

Para cambiar las columnas mostradas en la lista de trabajos, haga clic en y seleccione o anule la selección de columnas.

Puede filtrar trabajos en la lista Trabajos:

• Mediante palabras clave. Si tiene habilitada la característica de límite de trabajos aumentado para esta área de trabajo, la búsqueda por palabras clave solo se admite para los campos de nombre, identificador de trabajo y etiqueta de trabajo.
• Seleccionando solo los trabajos que posee.
• Seleccionando todos los trabajos a los que tiene permisos de acceso.
• Uso de etiquetas Para buscar una etiqueta creada solo con una clave, escriba la clave en el cuadro de búsqueda. Para buscar una etiqueta creada con una clave y un valor, puede buscar por la clave, el valor o la clave y el valor. Por ejemplo, para una etiqueta con la clave department y el valor finance, puede buscar department o finance para encontrar trabajos coincidentes. Para buscar la clave y el valor, escriba la clave y el valor separados por dos puntos; por ejemplo, department:finance.

También puede hacer clic en cualquier encabezado de columna para ordenar la lista de trabajos (descendente o ascendente) por esa columna. Cuando la característica de límite de trabajos aumentado está habilitada, solo puede ordenar por Name, Job ID o Created by. La ordenación predeterminada es por Name en orden ascendente.

Haga clic en para acceder a las acciones del trabajo, por ejemplo, eliminar el trabajo.

Ver las ejecuciones de un trabajo

Puede ver una lista de ejecuciones actualmente en ejecución y completadas recientemente para todos los trabajos a los que tiene acceso, incluidas las ejecuciones iniciadas por herramientas de orquestación externas, como Apache Airflow o Azure Data Factory. Para ver la lista de ejecuciones de trabajos recientes:

1. Haga clic en Flujos de trabajo en la barra lateral.
2. En la columna Name (Nombre), haga clic en un nombre de trabajo. La pestaña Ejecuciones aparece con las vistas de matriz y lista de las ejecuciones activas y completadas.

La vista de matriz muestra un historial de ejecuciones para el trabajo, incluida cada tarea de trabajo.

La fila Duración total de ejecución de la matriz muestra la duración total de la ejecución y el estado de la ejecución. Para ver los detalles de la ejecución, incluida la hora de inicio, la duración y el estado, mantenga el puntero sobre la barra de la fila Duración total de ejecución.

Cada celda de la fila Tareas representa una tarea y el estado correspondiente de la tarea. Para ver los detalles de cada tarea, incluida la hora de inicio, la duración, el clúster y el estado, mantenga el puntero sobre la celda de esa tarea.

Las barras de ejecución de trabajos y de ejecución de tareas están codificadas por colores para indicar el estado de la ejecución. Las ejecuciones correctas son verdes, las ejecuciones incorrectas son rojas y las ejecuciones omitidas son rosas. El alto de las barras de ejecución de trabajos individuales y ejecución de tareas proporciona una indicación visual de la duración de la ejecución.

Si ha configurado una hora de finalización esperada, la vista de matriz mostrará una advertencia cuando la duración de una ejecución supere el tiempo configurado.

De manera predeterminada, la vista de lista de ejecuciones muestra:

• Hora de inicio de la ejecución.
• El identificador de ejecución.
• Si la ejecución se desencadenó mediante una programación de trabajo o una solicitud de API, o si se inició manualmente.
• Tiempo transcurrido para un trabajo que se ejecuta actualmente o el tiempo total de ejecución de una ejecución completada. Se muestra una advertencia si la duración supera un tiempo de finalización esperado configurado.
• Los vínculos a los registros de Spark.
• El estado de la ejecución, ya sea Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Cancelingo Waiting for Retry.
• Haga clic en para acceder a acciones específicas del contexto de la ejecución, por ejemplo, detener una ejecución activa o eliminar una ejecución completada.

Para cambiar las columnas mostradas en la vista de lista de ejecuciones, haga clic en y seleccione o anule la selección de columnas.

Para ver los detalles de ejecución de un trabajo, haga clic en el vínculo de la ejecución en la columna Hora de inicio de la vista de lista de ejecuciones. Para ver los detalles de la ejecución correcta más reciente de este trabajo, haga clic en Ir a la última ejecución correcta.

Azure Databricks mantiene un historial de las ejecuciones de trabajo durante un máximo de 60 días. Si necesita conservar las ejecuciones de trabajos, Databricks recomienda exportar los resultados antes de que expiren. Para más información, consulte Exportación de resultados de ejecución de trabajos.

Visualización de los detalles de ejecución de un trabajo

La página de detalles de ejecución del trabajo contiene la salida del trabajo y vínculos a los registros, incluida la información sobre el éxito o error de cada tarea de la ejecución del trabajo. Puede acceder a los detalles de ejecución del trabajo desde la pestaña Runs (Ejecuciones) del trabajo. Para ver los detalles de ejecución de un trabajo desde la pestaña Ejecuciones, haga clic en el vínculo de la ejecución en la columna Hora de inicio de la vista de lista de ejecuciones. Para volver a la pestaña Ejecuciones del trabajo, haga clic en el valor Id. de trabajo.

Si el trabajo contiene varias tareas, haga clic en una tarea para ver los detalles de ejecución, entre los que se incluyen:

• el clúster que ejecutó la tarea
  • la interfaz de usuario de Spark para la tarea
  • registros de la tarea
  • métricas de la tarea

Haga clic en el valor Job ID (Id. de trabajo) para volver a la pestaña Runs (Ejecuciones) del trabajo.

¿Cómo determina Azure Databricks el estado de ejecución del trabajo?

Azure Databricks determinan si una ejecución de trabajo se realizó correctamente en función del resultado de las tareas hoja del trabajo. Una tarea hoja es una tarea que no tiene dependencias descendentes. Una ejecución de trabajos puede tener uno de estos tres resultados:

• Correcto: todas las tareas se realizaron correctamente.
• Correcto con errores: algunas tareas han producido un error, pero todas las tareas hoja se realizaron correctamente.
• Error: error en una o varias tareas hoja.

Ver el historial de ejecución de una tarea

Para ver el historial de ejecución de una tarea, incluidas las ejecuciones correctas y incorrectas:

1. Haga clic en una tarea en la página Detalles de ejecución del trabajo. Se muestra la página Detalles de ejecución de la tarea.
2. Seleccione la ejecución de la tarea en el menú desplegable historial de ejecución.

Visualización del historial de ejecución de tareas para una tarea For each

El acceso al historial de ejecución de una tarea For each es el mismo que una tarea de trabajos de Azure Databricks estándar. Puede hacer clic en el nodo de tarea For each en la página Detalles de ejecución del trabajo o en la celda correspondiente de la vista de matriz. Sin embargo, a diferencia de una tarea estándar, los detalles de ejecución de una tarea For each se presentan como una tabla de las iteraciones de la tarea anidada.

Para ver solo iteraciones con errores, haga clic en Solo iteraciones con errores.

Para ver la salida de una iteración, haga clic en los valores Hora de inicio o Hora de finalización de la iteración.

Ver ejecuciones de trabajos recientes

Puede ver una lista de ejecuciones actualmente en ejecución y completadas recientemente para todos los trabajos de un área de trabajo a la que tenga acceso, incluidas las ejecuciones iniciadas por herramientas de orquestación externas, como Apache Airflow o Azure Data Factory. Para ver la lista de ejecuciones de trabajos recientes:

1. Haga clic en Flujos de trabajo en la barra lateral.
2. Haga clic en la pestaña Ejecuciones del trabajo para mostrar la lista Ejecuciones de trabajo.

El gráfico Recuento de ejecuciones finalizadas muestra el número de ejecuciones de trabajo completadas en las últimas 48 horas. De forma predeterminada, el gráfico muestra las ejecuciones de trabajo erróneas, omitidas y correctas. También puede filtrar el gráfico para mostrar estados de ejecución específicos o restringir el gráfico a un intervalo de tiempo específico. La pestaña Ejecuciones de trabajo también incluye una tabla de ejecuciones de trabajo de los últimos 67 días. De forma predeterminada, la tabla incluye detalles sobre ejecuciones de trabajos erróneas, omitidas y correctas.

Puede filtrar el recuento de ejecuciones finalizadas por estado de ejecución:

• Si desea actualizar el gráfico para mostrar los trabajos que se están ejecutando o esperando a ejecutarse, haga clic en Ejecuciones activas.
• Si desea actualizar el gráfico para mostrar solo las ejecuciones completadas, incluidas las ejecuciones erróneas, correctas y omitidas, haga clic en Ejecuciones completadas.
• Si desea actualizar el gráfico para mostrar solo las ejecuciones completadas correctamente en las últimas 48 horas, haga clic en Ejecuciones correctas.
• Si desea actualizar el gráfico para mostrar solo ejecuciones omitidas, haga clic en Ejecuciones omitidas. Las ejecuciones se omiten porque superó el número máximo de ejecuciones simultáneas en el área de trabajo o el trabajo superó el número máximo de ejecuciones simultáneas especificadas por la configuración del trabajo.
• Si desea actualizar el gráfico para mostrar solo las ejecuciones completadas en un estado de error, haga clic en Ejecuciones con errores.

Al hacer clic en cualquiera de los botones de filtro, la lista de ejecuciones de la tabla de ejecuciones también se actualiza para mostrar solo las ejecuciones de trabajo que coinciden con el estado seleccionado.

Para limitar el intervalo de tiempo que se muestra en el gráfico Recuento de ejecuciones finalizadas, haga clic y arrastre el cursor en el gráfico para seleccionar el intervalo de tiempo. El gráfico y la tabla de ejecuciones se actualizan para mostrar solo las ejecuciones del intervalo de tiempo seleccionado.

De forma predeterminada, la lista de ejecuciones de la tabla de ejecuciones muestra:

• Hora de inicio de la ejecución.
• Nombre del trabajo asociado a la ejecución.
• Nombre de usuario con el que se ejecuta el trabajo.
• Si la ejecución se desencadenó mediante una programación de trabajo o una solicitud de API, o si se inició manualmente.
• Tiempo transcurrido para un trabajo que se ejecuta actualmente o el tiempo total de ejecución de una ejecución completada. Se muestra una advertencia si la duración supera un tiempo de finalización esperado configurado.
• El estado de la ejecución, ya sea Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Cancelingo Waiting for Retry.
• Cualquier parámetro de la ejecución.
• Haga clic en para acceder a acciones específicas del contexto de la ejecución, por ejemplo, detener una ejecución activa o eliminar una ejecución completada.

Para cambiar las columnas que se muestran en la lista de ejecuciones, haga clic en y seleccione o anule la selección de columnas.

En la tabla 5 tipos de error principales se muestra una lista de los tipos de error más frecuentes del intervalo de tiempo seleccionado, lo que le permite ver rápidamente las causas más comunes de los problemas de trabajo en el área de trabajo.

Para ver los detalles de la ejecución del trabajo, haga clic en el vínculo de la columna Hora de inicio de la ejecución. Para ver los detalles del trabajo, haga clic en el nombre del trabajo en la columna Trabajo.

Visualización de la información de linaje de un trabajo

Si Unity Catalog está habilitado en el área de trabajo, puede ver la información de linaje de las tablas de Unity Catalog en el flujo de trabajo. Si la información de linaje está disponible para el flujo de trabajo, verá un vínculo con un recuento de tablas ascendentes y descendentes en el panel Detalles del trabajo del trabajo correspondiente, el panel Detalles de ejecución del trabajo para la ejecución del trabajo o el panel Detalles de ejecución de tareas para la ejecución de tareas. Haga clic en el vínculo para mostrar la lista de tablas. Haga clic en una tabla para ver la información detallada en Catalog Explorer.

Visualización y ejecución de un trabajo creado con un conjunto de recursos de Databricks

Puede usar la interfaz de usuario de trabajos de Azure Databricks para ver y ejecutar trabajos implementados por un conjunto de recursos de Databricks. De forma predeterminada, estos trabajos son de solo lectura en la interfaz de usuario Trabajos. Para editar un trabajo implementado por una agrupación, cambie el archivo de configuración del lote y vuelva a implementar el trabajo. La aplicación de cambios solo a la configuración de agrupación garantiza que los archivos de origen del lote siempre capturen la configuración del trabajo actual.

Sin embargo, si debe realizar cambios inmediatos en un trabajo, puede desconectar el trabajo de la configuración de agrupación para habilitar la edición de la configuración del trabajo en la interfaz de usuario. Para desconectar el trabajo, haga clic en Desconectar del origen. En el cuadro de diálogo Desconectar del origen, haga clic en Desconectar para confirmar.

Los cambios realizados en el trabajo de la interfaz de usuario no se aplican a la configuración de agrupación. Para aplicar los cambios realizados en la interfaz de usuario a la agrupación, debe actualizar manualmente la configuración de agrupación. Para volver a conectar el trabajo a la configuración de agrupación, vuelva a implementar el trabajo mediante la agrupación.

Exportación de los resultados de la ejecución del trabajo

Puede exportar los resultados de la ejecución del cuaderno y los registros de ejecución de trabajos para todos los tipos de trabajo.

Exportación de resultados de ejecución de cuadernos

Puede conservar las ejecuciones de trabajos exportando sus resultados. Para las ejecuciones de trabajos de cuaderno, puede exportar un cuaderno representado que se pueda importar más adelante en el área de trabajo de Azure Databricks.

Para exportar los resultados de la ejecución del cuaderno para un trabajo con una sola tarea:

1. En la página de detalles del trabajo, haga clic en el vínculo View Details (Ver detalles) de la ejecución en la columna Run (Ejecución) de la tabla Completed Runs (past 60 days) [Ejecuciones finalizadas (últimos 60 días)].
2. Haga clic en Export to HTML (Exportar a HTML).

Para exportar los resultados de la ejecución del cuaderno para un trabajo con varias tareas:

1. En la página de detalles del trabajo, haga clic en el vínculo View Details (Ver detalles) de la ejecución en la columna Run (Ejecución) de la tabla Completed Runs (past 60 days) [Ejecuciones finalizadas (últimos 60 días)].
2. Haga clic en la tarea del cuaderno que quiere exportar.
3. Haga clic en Export to HTML (Exportar a HTML).

Exportación de registros de ejecución de trabajos

También puede exportar los registros de la ejecución del trabajo. Puede configurar el trabajo para que entregue automáticamente los registros a DBFS a través de la API de trabajos. Vea el objeto new_cluster.cluster_log_conf en el cuerpo de la solicitud pasado a la operación Create a new job (Crear un trabajo) (POST /jobs/create) en la API de trabajos.