Konfigurieren des Speicherorts für Notebookergebnisse

  • Artikel

Die Datenschutzanforderungen Ihres Unternehmens können es erforderlich machen, dass Sie alle interaktiven Notebook-Ergebnisse im Arbeitsbereichsspeicherkonto in Ihrem Cloud-Konto speichern und nicht im Standardverzeichnis der von Databricks verwalteten Kontrollebene, in dem einige Ergebnisse von Notebook-Befehle gespeichert werden.

Die Ausgabe von Notebookbefehlen wird je nach Ausführung des Notebooks unterschiedlich gespeichert.

Wenn Sie ein Notebook interaktiv ausführen, indem Sie im Notebook auf Ausführen klicken, ist das Standardverhalten wie folgt:

  • Wenn die Ergebnisse klein sind, werden sie auf der Steuerungsebene von Azure Databricks gespeichert, und zwar zusammen mit den Befehlsinhalten und Metadaten des Notebooks.
  • Größere Ergebnisse werden im Speicherkonto des Arbeitsbereichs in Ihrem Azure-Abonnement gespeichert. Azure Databricks erstellt das Arbeitsbereichsspeicherkonto automatisch. Azure Databricks nutzt diesen Speicherbereich für Systemdaten des Arbeitsbereichs und den DBFS-Stamm Ihres Arbeitsbereichs. Notebookergebnisse werden im Datenspeicher des Arbeitsbereichssystems gespeichert, auf den Benutzer nicht zugreifen können. Weitere Informationen finden Sie unter Arbeitsbereichsspeicherkonto.

Wenn Sie ein Notebook als Auftrag ausführen, indem Sie es planen oder auf der Seite „Aufträge“ auf Jetzt ausführen klicken, werden alle Ergebnisse im Arbeitsbereichsspeicherkonto in Ihrem Konto gespeichert.

Sie können Ihren Arbeitsbereich so konfigurieren, dass alle interaktiven Notebookergebnisse in Ihrem Cloudkonto gespeichert werden, und zwar unabhängig von der Größe der Ergebnisse.

Konfigurieren des Speicherorts für interaktive Notebook-Ergebnisse

Sie können Ihren Arbeitsbereich so konfigurieren, dass alle interaktiven Notebookergebnisse in Ihrem Azure-Abonnement statt auf Steuerungsebene gespeichert werden. Sie können dieses Feature über die Seite „Administratoreinstellungen“ oder die REST-API aktivieren. Diese Konfiguration hat keine Auswirkungen auf Notebooks, die als Aufträge ausgeführt werden, deren Ergebnisse bereits standardmäßig in Ihrem Azure-Abonnement gespeichert werden.

Beachten Sie folgende Punkte:

  • Änderungen an dieser Konfiguration gelten nur für neue Ergebnisse. Vorhandene Notebookergebnisse werden nicht verschoben.
  • Einige Metadaten zu Ergebnissen, z. B. Diagrammspaltennamen, werden weiterhin auf Steuerungsebene gespeichert.
  • Bei Ihrem Cloudanbieter können höhere Speicherkosten anfallen.
  • Eine erhöhte Netzwerk- und E/A-Latenz kann beim Lesen und Schreiben von Ergebnissen auftreten.

Speichern aller Notebook-Ergebnisse in Ihrem Konto über die Seite „Administratoreinstellungen“

Als Arbeitsbereichsadministrator:

  1. Navigieren Sie zur Seite Einstellungen.
  2. Klicken Sie auf die Registerkarte Sicherheit .
  3. Klicken Sie auf die Umschaltfläche Interaktive Notebook-Ergebnisse im Kundenkonto speichern.

Speichern aller Notebook-Ergebnisse in Ihrem Konto mithilfe der REST-API

So konfigurieren Sie Ihren Arbeitsbereich zum Speichern aller Notebookergebnisse in Ihrem Azure-Abonnement mithilfe der REST-API

  • Sie müssen ein Arbeitsbereichsadministrator sein.
  • Sie benötigen ein persönliches Zugriffstoken. Die folgenden Anweisungen gehen davon aus, dass Sie eine .netrc-Datei mit Ihrem persönlichen Zugriffstoken so konfiguriert haben, dass Sie in curl-Befehlen die Option -n verwenden können. Weitere Informationen finden Sie im Artikel, auf den zuvor verwiesen wurde.

Um die aktuelle Einstellung abzurufen, rufen Sie den Endpunkt GET /workspace-conf auf, und legen Sie keys auf storeInteractiveNotebookResultsInCustomerAccount fest:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Damit Ihr Arbeitsbereich interaktive Notebookergebnisse in Ihrem Azure-Abonnement speichern kann, rufen Sie den Endpunkt PATCH /workspace-conf auf, und legen Sie im Anforderungstext storeInteractiveNotebookResultsInCustomerAccount auf true fest:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Um das Feature zu deaktivieren, legen Sie das gleiche Flag auf false fest:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'