Supervisión y observabilidad de los trabajos de Databricks

En este artículo se describen las características disponibles en la interfaz de usuario de Azure Databricks para ver los trabajos a los que tiene acceso, un historial de ejecuciones de un trabajo y los detalles de las ejecuciones de trabajos. Para configurar notificaciones para tareas, consulte Agregar notificaciones en una tarea.

Para obtener información sobre el uso de la CLI de Databricks para ver trabajos y ejecutar trabajos, ejecute los comandos de la CLI databricks jobs list -h, databricks jobs get -h y databricks jobs run-now -h. Para más información sobre el uso de la API de trabajos, consulte la API de trabajos.

Si tiene acceso al esquema system.lakeflow, también puede ver y consultar los registros de ejecuciones de trabajos y tareas de toda su cuenta. Vea Referencia de la tabla del sistema de trabajos. También puede unir las tablas del sistema de trabajos con tablas de facturación para supervisar el costo de los trabajos en toda la cuenta. Consulta Supervisión de los costos y el rendimiento de los trabajos con las tablas del sistema.

Visualización de trabajos

Para ver la lista de trabajos a los que tiene acceso, haga clic en Flujos de trabajo en la barra lateral. En la pestaña Trabajos de la interfaz de usuario de flujos de trabajo se muestra información sobre todos los trabajos disponibles, como el creador del trabajo, el desencadenador del trabajo, si existe, y el resultado de las últimas cinco ejecuciones.

Para cambiar las columnas mostradas en la lista de trabajos, haga clic en y seleccione o anule la selección de columnas.

Puede filtrar los trabajos en la lista Trabajos, como se muestra en la captura de pantalla siguiente.

1. Búsqueda en palabras clave. La búsqueda de palabras clave se admite para los campos de nombre, ID de trabajo y etiqueta de tarea. Para buscar una etiqueta creada con una clave y un valor, puede buscar por la clave, el valor o la clave y el valor. Por ejemplo, para una etiqueta con la clave department y el valor finance, puede buscar department o finance para encontrar trabajos coincidentes. Para buscar por la clave y el valor, escriba la clave y el valor separados por dos puntos (por ejemplo, department:finance).
2. Seleccionando solo los trabajos que posee.
3. Selección de todos los trabajos a los que tiene permisos para acceder.
4. Selección de todos los trabajos marcados como favoritos.
5. Uso de etiquetas Para buscar por etiqueta, puede usar el menú desplegable etiquetas para filtrar hasta cinco etiquetas al mismo tiempo o usar directamente la búsqueda de palabras clave.

También puede ordenar la lista de trabajos (descendente o ascendente) por las columnas de Nombre, ID de trabajo, o Creado por haciendo clic en el encabezado de la columna correspondiente. De forma predeterminada, los trabajos se ordenan por Nombre en orden ascendente.

Para iniciar un trabajo, haga clic en el botón Reproducir. Para detener un trabajo, haga clic en el botón Detener. Para acceder a otras acciones de trabajo, haga clic en el menú kebab (por ejemplo, para eliminar el trabajo).

Visualización de ejecuciones de un solo trabajo

Puede ver una lista de ejecuciones actualmente en ejecución y recientemente completadas para un trabajo al que tiene acceso, incluidas las ejecuciones iniciadas por herramientas de orquestación externas, como Apache Airflow o Azure Data Factory. Para ver la lista de ejecuciones de trabajos recientes:

1. Haga clic en Flujos de trabajo en la barra lateral.
2. En la columna Name (Nombre), haga clic en un nombre de trabajo. La pestaña Ejecuciones aparece con las vistas de matriz y lista de las ejecuciones activas y completadas.

La vista de matriz muestra un historial de ejecuciones para el trabajo, incluida cada tarea de trabajo.

La fila Duración total de ejecución de la matriz muestra la duración total de la ejecución y el estado de la ejecución. Para ver los detalles de la ejecución, incluida la hora de inicio, la duración y el estado, mantenga el puntero sobre la barra de la fila Duración total de ejecución.

Cada celda de la fila Tareas representa una tarea y el estado correspondiente de la tarea. Para ver los detalles de cada tarea, incluida la hora de inicio, la duración, el clúster y el estado, mantenga el puntero sobre la celda de esa tarea.

Las barras de ejecución de trabajos y de ejecución de tareas están codificadas por colores para indicar el estado de la ejecución. Las ejecuciones exitosas son verdes. Las ejecuciones incorrectas son rojas, las ejecuciones omitidas son rosas y las ejecuciones en espera de reintento son amarillas. Pendiente, cancelado o expirado se muestran en gris. El alto de las barras de ejecución de trabajos individuales y ejecución de tareas proporciona una indicación visual de la duración de la ejecución.

Si ha configurado una hora de finalización esperada, la vista de matriz mostrará una advertencia cuando la duración de una ejecución supere el tiempo configurado.

De forma predeterminada, la vista de lista de ejecuciones muestra lo siguiente:

• Hora de inicio de la ejecución.
• El identificador de ejecución.
• Si la ejecución se desencadenó mediante una programación de trabajo o una solicitud de API, o si se inició manualmente.
• Tiempo transcurrido para un trabajo que se ejecuta actualmente o el tiempo total de ejecución de una ejecución completada. Se muestra una advertencia si la duración supera un tiempo de finalización esperado configurado.
• El estado de la ejecución, ya sea En cola, Pendiente, En ejecución, Omitido, Completado, Error, Expirado, Cancelandoo Cancelado.
• Código de error con el que finalizó la ejecución.
• Parámetros de ejecución.

Actualmente, las ejecuciones activas muestran un botón de detención. Para detener todas las ejecuciones activas y en cola, seleccione Cancelar ejecuciones o Cancelar todas las ejecuciones en cola en el menú desplegable.

Use el menú para una ejecución para acciones específicas del contexto adicionales, como eliminar entradas de ejecuciones completadas.

Para acceder a acciones específicas del contexto para la ejecución, haga clic en el menú de kebab (por ejemplo, para detener una ejecución activa o eliminar una ejecución completada).

Para cambiar las columnas mostradas en la vista de lista de ejecuciones, haga clic en y seleccione o anule la selección de columnas.

Para ver los detalles de ejecución de un trabajo, haga clic en el vínculo de la ejecución en la columna Hora de inicio de la vista de lista de ejecuciones. Para ver los detalles de la ejecución correcta más reciente de este trabajo, haga clic en Ir a la última ejecución correcta.

Azure Databricks mantiene un historial de las ejecuciones de trabajo durante un máximo de 60 días. Si necesita conservar las ejecuciones de trabajos, Databricks recomienda exportar los resultados antes de que expiren. Para más información, consulte Exportación de resultados de ejecución de trabajos.

Visualización de los detalles de ejecución de un trabajo

La página de detalles de ejecución del trabajo contiene la salida del trabajo y vínculos a los registros, incluida la información sobre el éxito o error de cada tarea de la ejecución del trabajo. Puede acceder a los detalles de ejecución del trabajo desde la pestaña Runs (Ejecuciones) del trabajo.

Para ver los detalles de ejecución de un trabajo desde la pestaña Ejecuciones, haga clic en el vínculo de la ejecución en la columna Hora de inicio de la vista de lista de ejecuciones. Para volver a la pestaña Ejecuciones del trabajo, haga clic en el valor Id. de trabajo.

Los trabajos con varias tareas tienen además un gráfico, una escala de tiempo y una vista de lista.

Vista del gráfico

Haga clic en un nodo de tarea en el gráfico para ver los detalles de la ejecución de tareas, entre los que se incluyen:

• Detalles de la tarea, como la ejecución, cómo se inició el trabajo, la hora de inicio, la hora de finalización, la duración y el estado.
• Código fuente.
• El clúster que ejecutó la tarea y proporciona enlaces a su historial de consultas y registros de actividad.
• Métricas de la tarea.

Vista de escala de tiempo

Los trabajos que contienen varias tareas tienen una vista de escala de tiempo para identificar las tareas que tardan mucho tiempo en completarse, comprender las dependencias y superponerse para ayudar a depurar y optimizar estos trabajos.

Vista de lista

De forma predeterminada, la vista de lista muestra el estado, el nombre, el tipo, el recurso, la duración y las dependencias. Puede agregar y quitar columnas en esta vista.

Puede buscar una tarea por nombre, filtrar por estado de tarea o tipo de tarea y ordenar las tareas por estado, nombre o duración.

Haga clic en el valor Job ID (Id. de trabajo) para volver a la pestaña Runs (Ejecuciones) del trabajo.

¿Cómo determina Azure Databricks el estado de ejecución del trabajo?

Azure Databricks determinan si una ejecución de trabajo se realizó correctamente en función del resultado de las tareas hoja del trabajo. Una tarea hoja es una tarea que no tiene dependencias descendentes. Una ejecución de trabajos puede tener uno de estos tres resultados:

• Correcto: todas las tareas se realizaron correctamente.
• Correcto con errores: algunas tareas han producido un error, pero todas las tareas hoja se realizaron correctamente.
• Error: error en una o varias tareas hoja.
• Omitido: se omitió la ejecución del trabajo (por ejemplo, una tarea podría omitirse porque superó el máximo de ejecuciones simultáneas para el trabajo o el área de trabajo).
• Tiempo límite excedido: la ejecución del trabajo tardó demasiado tiempo en completarse y agotó el tiempo límite.
• Cancelado: la ejecución del trabajo se canceló (por ejemplo, un usuario canceló manualmente la ejecución en curso).

Ver métricas para tareas de streaming

Al consultar los detalles de ejecución del trabajo, puede obtener datos sobre cargas de trabajo de streaming con métricas de observabilidad de streaming en la interfaz de usuario de Jobs. Estas métricas incluyen segundos de trabajo pendiente, bytes de trabajo pendiente, registros de trabajo pendiente y archivos de trabajo pendiente para orígenes compatibles con Spark Structured Streaming, como Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub y tablas Delta. Las métricas se muestran como gráficos en el panel derecho al ver los detalles de ejecución de una tarea. Las métricas que se muestran en cada gráfico son valores máximos agregados por minuto y pueden incluir hasta las 48 horas anteriores.

Cada origen de streaming solo admite métricas específicas. Las métricas no admitidas por un origen de streaming no están disponibles para ver en la interfaz de usuario. En la tabla siguiente se muestran las métricas disponibles para los orígenes de streaming admitidos:

También puede especificar umbrales para cada métrica de streaming y configurar notificaciones si una secuencia supera un umbral durante la ejecución de una tarea. Consulte Configuración de notificaciones para trabajos lentos.

Para ver las métricas de streaming de una ejecución de una tarea que transmite los datos de una de las fuentes de Structured Streaming admitidas:

1. En la página Detalles de ejecución del trabajo, haga clic en la tarea para la que desea ver las métricas.
2. Haga clic en la pestaña Métricas en el panel Ejecución de tarea.
3. Para abrir el gráfico de una métrica, haga clic en junto al nombre de la métrica.
4. Para ver las métricas de una secuencia específica, escriba el identificador de secuencia en el cuadro de texto Filtrar por stream_id. Puede encontrar el identificador de secuencia en la salida para la ejecución de la tarea.
5. Para cambiar el período de tiempo de los gráficos de métricas, use el menú desplegable de hora.
6. Para desplazarse por las secuencias si la ejecución contiene más de diez secuencias, haga clic en Siguiente o Anterior.

Limitaciones de observabilidad de streaming

• Las métricas se actualizan cada minuto a menos que una ejecución tenga más de cuatro secuencias. Si una ejecución tiene más de cuatro secuencias, las métricas se actualizan cada cinco minutos.
• Las métricas solo se recopilan para las primeros cincuenta secuencias de cada ejecución.

Ver el historial de ejecución de una tarea

Para ver el historial de ejecución de una tarea, incluidas las ejecuciones correctas y incorrectas:

1. Haga clic en una tarea en la página Detalles de ejecución del trabajo. Se muestra la página Detalles de ejecución de la tarea.
2. Seleccione la ejecución de la tarea en el menú desplegable historial de ejecución.

Visualización del historial de ejecución de tareas para una tarea For each

El acceso al historial de ejecución de una tarea For each es el mismo que una tarea de trabajos de Azure Databricks estándar. Puede hacer clic en el nodo de tarea For each en la página Detalles de ejecución del trabajo o en la celda correspondiente de la vista de matriz. Sin embargo, a diferencia de una tarea estándar, los detalles de ejecución de una tarea For each se presentan como una tabla de las iteraciones de la tarea anidada.

Para ver solo iteraciones con errores, haga clic en Solo iteraciones con errores.

Para ver la salida de una iteración, haga clic en los valores Hora de inicio o Hora de finalización de la iteración.

Visualización de ejecuciones de trabajos recientes en todos los trabajos

Puede ver una lista de ejecuciones actualmente en ejecución y completadas recientemente para todos los trabajos de un área de trabajo a la que tenga acceso, incluidas las ejecuciones iniciadas por herramientas de orquestación externas, como Apache Airflow o Azure Data Factory. Para ver la lista de ejecuciones de trabajos recientes:

1. Haga clic en Flujos de trabajo en la barra lateral.
2. Haga clic en la pestaña Ejecuciones del trabajo para mostrar el gráfico de recuento de ejecuciones finalizadas y la lista de ejecuciones del trabajo.

Gráfico de recuento de ejecuciones finalizadas

El gráfico Recuento de ejecuciones finalizadas muestra el número de ejecuciones de trabajo completadas en las últimas 48 horas. De forma predeterminada, el gráfico muestra las ejecuciones de trabajo erróneas, omitidas y correctas. También puede filtrar el gráfico para mostrar estados de ejecución específicos o restringir el gráfico a un intervalo de tiempo específico. La pestaña Ejecuciones de trabajo también incluye una tabla de ejecuciones de trabajo de los últimos 67 días. De forma predeterminada, la tabla incluye detalles sobre ejecuciones de trabajos erróneas, omitidas y correctas.

Puede filtrar el recuento de ejecuciones finalizadas por estado de ejecución:

• Si desea actualizar el gráfico para mostrar los trabajos que se están ejecutando o esperando a ejecutarse, haga clic en Ejecuciones activas.
• Si desea actualizar el gráfico para mostrar solo las ejecuciones completadas, incluidas las ejecuciones erróneas, correctas y omitidas, haga clic en Ejecuciones completadas.
• Si desea actualizar el gráfico para mostrar solo las ejecuciones completadas correctamente en las últimas 48 horas, haga clic en Ejecuciones correctas.
• Si desea actualizar el gráfico para mostrar solo ejecuciones omitidas, haga clic en Ejecuciones omitidas. Las ejecuciones se omiten porque superó el número máximo de ejecuciones simultáneas en el área de trabajo o el trabajo superó el número máximo de ejecuciones simultáneas especificadas por la configuración del trabajo.
• Si desea actualizar el gráfico para mostrar solo las ejecuciones completadas en un estado de error, haga clic en Ejecuciones con errores.

Al hacer clic en cualquiera de los botones de filtro, la lista de ejecuciones de la tabla de ejecuciones también se actualiza para mostrar solo las ejecuciones de trabajo que coinciden con el estado seleccionado.

Para limitar el intervalo de tiempo que se muestra en el gráfico Recuento de ejecuciones finalizadas, haga clic y arrastre el cursor en el gráfico para seleccionar el intervalo de tiempo. El gráfico y la tabla de ejecuciones se actualizan para mostrar solo las ejecuciones del intervalo de tiempo seleccionado.

En la tabla 5 tipos de error principales se muestra una lista de los tipos de error más frecuentes del intervalo de tiempo seleccionado, lo que le permite ver rápidamente las causas más comunes de los problemas de trabajo en el área de trabajo.

Lista de ejecuciones de trabajos

La pestaña Ejecuciones de trabajo también incluye una tabla de ejecuciones de trabajo de los últimos 60 días. De forma predeterminada, la tabla incluye detalles sobre ejecuciones de trabajos erróneas, omitidas y correctas.

Puede filtrar la lista de ejecuciones que se muestran en la lista en función de lo siguiente:

• Trabajo: seleccione hasta 3 tareas y vea solo las ejecuciones de estas tareas.
• Ejecutar como: seleccione hasta 3 identidades de ejecución y vea solo las ejecuciones que se realizaron como estos usuarios.
• Período de tiempo: seleccione e inicie y finalice la fecha y hora para restringir las ejecuciones de trabajos que se produjeron en este intervalo.
• Estado de ejecución: filtre para ver solo las ejecuciones activas (en curso), completadas (finalizadas, incluidas las ejecuciones correctas e incorrectas), realizadas correctamente, fallidas y omitidas.
• Código de error: filtre la lista en función del código de error para ver todos los trabajos que han producido un error con el mismo código de error.

De forma predeterminada, la lista de ejecuciones de la tabla de ejecuciones muestra lo siguiente:

• Hora de inicio de la ejecución.
• Nombre del trabajo asociado a la ejecución.
• Nombre de usuario con el que se ejecuta el trabajo.
• Si la ejecución se desencadenó mediante una programación de trabajo o una solicitud de API, o si se inició manualmente.
• Tiempo transcurrido para un trabajo que se ejecuta actualmente o el tiempo total de ejecución de una ejecución completada. Se muestra una advertencia si la duración supera un tiempo de finalización esperado configurado.
• El estado de la ejecución: En cola, Pendiente, En ejecución, Omitido, Correcto, Error, Tiempo de espera agotado, Cancelandoo Cancelada.
• Cualquier código de error con el que finalizó la ejecución.
• Cualquier parámetro de la ejecución.
• Para detener un trabajo en ejecución, haga clic en el botón Detener. Para acceder a las acciones del trabajo, haga clic en el (por ejemplo, para detener una ejecución activa o eliminar una ejecución completada).

Para cambiar las columnas que se muestran en la lista de ejecuciones, haga clic en y seleccione o anule la selección de columnas.

Para ver los detalles de la ejecución del trabajo, haga clic en el vínculo de la columna Hora de inicio de la ejecución. Para ver los detalles del trabajo, haga clic en el nombre del trabajo en la columna Trabajo.

Visualización de la información de linaje de un trabajo

Si Unity Catalog está habilitado en el área de trabajo, puede ver la información de linaje de las tablas de Unity Catalog en el flujo de trabajo. Si la información de linaje está disponible para el flujo de trabajo, verá un vínculo con un recuento de tablas ascendentes y descendentes en el panel Detalles del trabajo del trabajo correspondiente, el panel Detalles de ejecución del trabajo para la ejecución del trabajo o el panel Detalles de ejecución de tareas para la ejecución de tareas. Haga clic en el vínculo para mostrar la lista de tablas. Haga clic en una tabla para ver la información detallada en Catalog Explorer.

Visualización y ejecución de un trabajo creado con un conjunto de recursos de Databricks

Puede usar la interfaz de usuario de trabajos de Azure Databricks para ver y ejecutar trabajos implementados por un conjunto de recursos de Databricks. De forma predeterminada, estos trabajos son de solo lectura en la interfaz de usuario Trabajos. Para editar un trabajo implementado por una agrupación, cambie el archivo de configuración del lote y vuelva a implementar el trabajo. La aplicación de cambios solo a la configuración de agrupación garantiza que los archivos de origen del lote siempre capturen la configuración del trabajo actual.

Sin embargo, si debe realizar cambios inmediatos en un trabajo, puede desconectar el trabajo de la configuración de agrupación para habilitar la edición de la configuración del trabajo en la interfaz de usuario. Para desconectar el trabajo, haga clic en Desconectar del origen. En el cuadro de diálogo Desconectar del origen, haga clic en Desconectar para confirmar.

Los cambios realizados en el trabajo de la interfaz de usuario no se aplican a la configuración de agrupación. Para aplicar los cambios realizados en la interfaz de usuario a la agrupación, debe actualizar manualmente la configuración de agrupación. Para volver a conectar el trabajo a la configuración de agrupación, vuelva a implementar el trabajo mediante la agrupación.

Exportación de los resultados de la ejecución del trabajo

Puede exportar los resultados de la ejecución del cuaderno y los registros de ejecución de trabajos para todos los tipos de trabajo.

Exportación de resultados de ejecución de cuadernos

Puede conservar las ejecuciones de trabajos exportando sus resultados. Para las ejecuciones de trabajos de cuaderno, puede exportar un cuaderno representado que se pueda importar más adelante en el área de trabajo de Azure Databricks.

Para exportar los resultados de la ejecución del cuaderno para un trabajo con una sola tarea:

1. En la página de detalles del trabajo, haga clic en el vínculo View Details (Ver detalles) de la ejecución en la columna Run (Ejecución) de la tabla Completed Runs (past 60 days) [Ejecuciones finalizadas (últimos 60 días)].
2. Haga clic en Export to HTML (Exportar a HTML).

Para exportar los resultados de la ejecución del cuaderno para un trabajo con varias tareas:

1. En la página de detalles del trabajo, haga clic en el vínculo View Details (Ver detalles) de la ejecución en la columna Run (Ejecución) de la tabla Completed Runs (past 60 days) [Ejecuciones finalizadas (últimos 60 días)].
2. Haga clic en la tarea del cuaderno que quiere exportar.
3. Haga clic en Export to HTML (Exportar a HTML).

Exportación de registros de ejecución de trabajos

También puede exportar los registros de la ejecución del trabajo. Puede configurar el trabajo para entregar registros automáticamente a DBFS mientras configura el proceso de trabajos (consulte Referencia de configuración de proceso) o a través de la Job API. Vea el objeto new_cluster.cluster_log_conf en el cuerpo de la solicitud pasado a la operación Create a new job (Crear un trabajo) (POST /jobs/create) en la API de trabajos.