Protokolle für Initialisierungsskripts

  • Artikel

Start- und Abschlussereignisse von Initialisierungsskripts werden in den Clusterereignisprotokollen erfasst. Details werden in den Clusterprotokollen gespeichert. Ereignisse zum Erstellen, Bearbeiten und Löschen von Initialisierungsskripts werden ebenfalls in den Diagnoseprotokollen auf Kontoebene erfasst.

Ereignisse für Initialisierungsskripts

In Clusterereignisprotokollen werden die beiden Ereignisse für Initialisierungsskripts INIT_SCRIPTS_STARTED und INIT_SCRIPTS_FINISHED erfasst. Diese geben an, welche Skripts ausgeführt werden sollen und welche erfolgreich abgeschlossen wurden. In INIT_SCRIPTS_FINISHED wird auch die Dauer der Ausführung aufgezeichnet.

Globale Initialisierungsskripts werden in den Protokollereignisdetails durch den Schlüssel "global" angegeben, clusterspezifische Initialisierungsskripts durch "cluster".

Hinweis

In Clusterereignisprotokollen werden die Ereignisse für Initialisierungsskripts nicht für jeden Clusterknoten erfasst, sondern ein ausgewählter Knoten repräsentiert alle anderen.

Wo werden Init-Skriptereignisse geschrieben?

Wird die Übermittlung von Clusterprotokollen für einen Cluster konfiguriert, werden die Protokolle der Initialisierungsskripts in /<cluster-log-path>/<cluster-id>/init_scripts geschrieben.

Die Protokolle für die einzelnen Container im Cluster werden in ein Unterverzeichnis mit dem Namen init_scripts/<cluster-id>_<container-ip> geschrieben.

Beispiel: Wird cluster-log-path auf cluster-logs festgelegt, lautet der Pfad der Protokolle für einen bestimmten Container dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Wenn der Cluster für das Schreiben von Protokollen zu DBFS konfiguriert ist, können Sie die Protokolle mithilfe des Dateisystemhilfsprogramms (dbutils.fs) oder der DBFS-CLI (/Legacy) anzeigen. Beispiel für die Cluster-ID 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Wurde die Übermittlung von Clusterprotokollen nicht konfiguriert, werden die Protokolle in /databricks/init_scripts geschrieben. Mithilfe von Standardshellbefehlen können Sie die Protokolle in einem Notebook auflisten und anzeigen:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Bei jedem Startvorgang eines Clusters wird ein Protokoll in den Protokollordner für Initialisierungsskripts geschrieben.

Wichtig

Jeder Benutzer, der einen Cluster erstellt und die Übermittlung von Clusterprotokollen aktiviert, kann die Ausgaben stderr und stdout von globalen Initialisierungsskripts anzeigen. Stellen Sie daher sicher, dass die Ausgaben Ihrer globalen Initialisierungsskripts keine vertraulichen Informationen enthalten.

Init-Skriptereignisse in Diagnoseprotokollen

In den Azure Databricks-Diagnoseprotokollen werden die Ereignisse zum Erstellen, Bearbeiten und Löschen von globalen Initialisierungsskripts unter dem Ereignistyp globalInitScripts erfasst. Weitere Informationen finden Sie unter Globale Initilaisierungsskriptereignisse.