Datastore Klasse

Referenz

Stellt eine Speicherabstraktion eines Azure Machine Learning-Speicherkontos dar.

Datenspeicher werden Arbeitsbereichen angefügt und zum Speichern von Verbindungsinformationen zu Azure-Speicherdiensten verwendet, sodass Sie anhand des Namens darauf verweisen können und sich nicht die Verbindungsinformationen und das Geheimnis merken müssen, die zum Herstellen einer Verbindung mit den Speicherdiensten verwendet werden.

Beispiele für unterstützte Azure-Speicherdienste, die als Datenspeicher registriert werden können:

Azure-Blobcontainer
Azure-Dateifreigabe
Azure Data Lake
Azure Data Lake Gen2
Azure SQL-Datenbank
Azure Database for PostgreSQL
Databricks-Dateisystem
Azure Database for MySQL

Verwenden Sie diese Klasse, um Verwaltungsvorgänge durchzuführen, einschließlich Registrieren, Auflisten, Abrufen und Entfernen von Datenspeichern. Mit den register*-Methoden dieser Klasse werden Datenspeicher für die jeweiligen Dienste erstellt. Wenn Sie einen Datenspeicher für den Zugriff auf Daten verwenden, müssen Sie über die Berechtigung für den Zugriff auf die Daten verfügen. Dies hängt von den Anmeldeinformationen ab, die beim Datenspeicher registriert sind.

Weitere Informationen zu Datenspeichern und deren Verwendung für das maschinelle Lernen finden Sie in den folgenden Artikeln:

Ruft einen Datenspeicher anhand des Namens ab. Dieser Aufruf sendet eine Anforderung an den Datenspeicherdienst.

Vererbung: builtins.object

Datastore

Konstruktor

Datastore(workspace, name=None)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich.
name	str, <xref:optional> Der Name des Datenspeichers. Der Standardwert lautet „Keine“, wodurch der Standarddatenspeicher abgerufen wird. Standardwert: None

Hinweise

Um für Machine Learning-Aufgaben mit Daten in Ihren Datenspeichern zu interagieren, z. B. zum Training, erstellen Sie ein Azure Machine Learning-Dataset. Datasets stellen Funktionen bereit, die Tabellendaten Daten in einen Pandas-oder Spark-Datenrahmen laden. Mithilfe von Datasets können Sie auch Dateien beliebiger Formate aus Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL-Datenbank und Azure Database for PostgreSQL herunterladen oder einbinden. Erfahren Sie mehr über das Trainieren mit Datasets.

Das folgende Beispiel zeigt, wie Sie einen Datenspeicher erstellen, der mit einem Azure-Blobcontainer verbunden ist.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

Das vollständige Beispiel finden Sie unter https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb.

Methoden

get	Ruft einen Datenspeicher anhand des Namens ab. Dies entspricht dem Aufrufen des Konstruktors.
get_default	Abrufen des Standarddatenspeichers für den Arbeitsbereich.
register_azure_blob_container	Einen Azure-Blobcontainer für den Datenspeicher registrieren. Anmeldeinformationsbasierter Zugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.
register_azure_data_lake	Einen neuen Azure Data Lake-Datastore initialisieren. Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen. Weiter unten finden Sie ein Beispiel dafür, wie Sie einen Azure Data Lake Gen1 als Datastore registrieren. adlsgen1_datastore_name='adlsgen1datastore' store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal adls_datastore = Datastore.register_azure_data_lake( workspace=ws, datastore_name=aslsgen1_datastore_name, subscription_id=subscription_id, # subscription id of ADLS account resource_group=resource_group, # resource group of ADLS account store_name=store_name, # ADLS account name tenant_id=tenant_id, # tenant id of service principal client_id=client_id, # client id of service principal client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2	Einen neuen Azure Data Lake Gen2-Datenspeicher initialisieren. Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.
register_azure_file_share	Registriert eine Azure-Dateifreigabe für den Datenspeicher. Sie haben die Wahl zwischen einem SAS-Token oder einem Speicherkontoschlüssel.
register_azure_my_sql	Einen neuen Azure MySQL-Datastore initialisieren. Der MySQL-Datenspeicher kann nur zum Erstellen von DataReference-Objekten als Eingabe und Ausgabe für den DataTransferStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier. Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure MySQL-Datenbank als Datenspeicher registrieren.
register_azure_postgre_sql	Initialisiert einen neuen Azure PostgreSQL-Datenspeicher. Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure PostgreSQL-Datenbank als Datenspeicher registrieren.
register_azure_sql_database	Ein neues Datastore-Objekt für die Azure SQL-Datenbank initialisieren. Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen. Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure SQL-Datenbank als Datenspeicher registrieren.
register_dbfs	Initialisiert einen neuen DBFS-Datenspeicher (Databricks File System). Der DBFS-Datenspeicher kann nur zum Erstellen von DataReference als Eingabe und von PipelineData als Ausgabe für den DatabricksStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.
register_hdfs	Hinweis Dies ist eine experimentelle Methode, die sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen. Initialisieren eines neuen HDFS-Datenspeichers.
set_as_default	Legt den Standarddatenspeicher fest.
unregister	Hebt die Registrierung des Datenspeichers auf. Der zugrundeliegende Speicherdienst wird nicht gelöscht.

get

Ruft einen Datenspeicher anhand des Namens ab. Dies entspricht dem Aufrufen des Konstruktors.

static get(workspace, datastore_name)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich.
datastore_name Erforderlich	str, <xref:optional> Der Name des Datenspeichers. Der Standardwert lautet „Keine“, wodurch der Standarddatenspeicher abgerufen wird.

Gibt zurück

Typ	Beschreibung
AzureFileDatastore, AzureBlobDatastore, AzureDataLakeDatastore, AzureDataLakeGen2Datastore, AzureSqlDatabaseDatastore, AzurePostgreSqlDatastore, AzureMySqlDatastore, DBFSDatastore	Der Zugehörige Datenspeicher für diesen Namen.

get_default

Abrufen des Standarddatenspeichers für den Arbeitsbereich.

static get_default(workspace)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich.

Gibt zurück

Typ	Beschreibung
AzureFileDatastore, AzureBlobDatastore	Der Standarddatenspeicher für den Arbeitsbereich.

register_azure_blob_container

Einen Azure-Blobcontainer für den Datenspeicher registrieren.

Anmeldeinformationsbasierter Zugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich.
datastore_name Erforderlich	str Der Name des Datenspeichers darf nur alphanumerische Zeichen und „_“ enthalten, wobei die Groß-/Kleinschreibung nicht beachtet wird.
container_name Erforderlich	str Der Name des Azure-Blobcontainers.
account_name Erforderlich	str Der Name des Speicherkontos.
sas_token	str, <xref:optional> Ein Konto-SAS-Token, standardmäßig „Keine“. Zum Lesen von Daten benötigen wir mindestens Listen- & Leseberechtigungen für Container & Objekte und für Datenschreibberechtigungen zusätzlich Schreibberechtigungen & Hinzufügen. Standardwert: None
account_key	str, <xref:optional> Zugriffsschlüssel Ihres Speicherkontos. Standardwert: „Keine“. Standardwert: None
protocol	str, <xref:optional> Protokoll, das zum Herstellen einer Verbindung mit dem Blobcontainer verwendet werden soll. Bei „Keine“ wird standardmäßig HTTPS verwendet. Standardwert: None
endpoint	str, <xref:optional> Der Endpunkt des Speicherkontos. Bei „Keine“ wird „core.windows.net“ verwendet. Standardwert: None
overwrite	bool, <xref:optional> Überschreibt einen vorhandenen Datenspeicher. Wenn der Datenspeicher nicht vorhanden ist, wird ein Datenspeicher erstellt, Standardwert „False“. Standardwert: False
create_if_not_exists	bool, <xref:optional> Den Blobcontainer erstellen, wenn er nicht vorhanden ist, Standardwert „False“. Standardwert: False
skip_validation	bool, <xref:optional> Überspringt die Validierung von Speicherschlüsseln, Standardwert „False“. Standardwert: False
blob_cache_timeout	int, <xref:optional> Wenn dieser Blob eingebunden wird, legen Sie das Cachetimeout auf diese Anzahl von Sekunden fest. Bei „None“ wird standardmäßig kein Timeout verwendet (d. h. Blobs werden für die Dauer des Auftrags beim Lesen zwischengespeichert). Standardwert: None
grant_workspace_access	bool, <xref:optional> Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardwert: False
subscription_id	str, <xref:optional> Die Abonnement-ID des Speicherkontos. Standardwert: „Keine“. Standardwert: None
resource_group	str, <xref:optional> Die Ressourcengruppe des Speicherkontos. Standardwert: „Keine“. Standardwert: None

Gibt zurück

Typ	Beschreibung
AzureBlobDatastore	Der Blobdatenspeicher.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_azure_data_lake

Einen neuen Azure Data Lake-Datastore initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

Weiter unten finden Sie ein Beispiel dafür, wie Sie einen Azure Data Lake Gen1 als Datastore registrieren.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername
store_name Erforderlich	str Der Name des ADLS-Speichers.
tenant_id	str, <xref:optional> Die Verzeichnis-ID/Mandanten-ID des Dienstprinzipals, der für den Zugriff auf die Daten verwendet wird. Standardwert: None
client_id	str, <xref:optional> Die Client-ID/Anwendungs-ID des Dienstprinzipals, der für den Zugriff auf die Daten verwendet wird. Standardwert: None
client_secret	str, <xref:optional> Der geheime Clientschlüssel des Dienstprinzipals, der für den Zugriff auf Daten verwendet wird. Standardwert: None
resource_url	str, <xref:optional> Die Ressourcen-URL, die bestimmt, welche Vorgänge für den Data Lake-Speicher ausgeführt werden. Bei „Keine“ lautet der Standardwert `https://datalake.azure.net/`, wodurch Dateisystemvorgänge ausgeführt werden können. Standardwert: None
authority_url	str, <xref:optional> Die Autoritäts-URL, die zur Authentifizierung des Benutzers verwendet wird. Standardwert: `https://login.microsoftonline.com`. Standardwert: None
subscription_id	str, <xref:optional> Die ID des Abonnements, zu dem der ADLS-Speicher gehört. Standardwert: None
resource_group	str, <xref:optional> Die Ressourcengruppe, zu der der ADLS-Speicher gehört. Standardwert: None
overwrite	bool, <xref:optional> Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“. Standardwert: False
grant_workspace_access	bool, <xref:optional> Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardwert: False

Gibt zurück

Typ	Beschreibung
AzureDataLakeDatastore	Gibt den Azure Data Lake-Datenspeicher zurück.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

Hinweis

Azure Data Lake-Datenspeicher unterstützen Datenübertragungen und das Ausführen von U-SQL-Aufträgen mithilfe von Azure Machine Learning-Pipelines.

Darüber hinaus ist eine Verwendung als Datenquelle für ein Azure Machine Learning-Dataset möglich, das heruntergeladen oder auf jedem unterstützten Computeziel bereitgestellt werden kann.

register_azure_data_lake_gen2

Einen neuen Azure Data Lake Gen2-Datenspeicher initialisieren.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername
filesystem Erforderlich	str Der Name des Data Lake Gen2-Dateisystems.
account_name Erforderlich	str Der Name des Speicherkontos.
tenant_id	str, <xref:optional> Die Verzeichnis-ID/Mandanten-ID des Dienstprinzipals Standardwert: None
client_id	str, <xref:optional> Die Client-ID/Anwendungs-ID des Dienstprinzipals. Standardwert: None
client_secret	str, <xref:optional> Das Geheimnis des Dienstprinzipals. Standardwert: None
resource_url	str, <xref:optional> Die Ressourcen-URL, die bestimmt, welche Vorgänge für den Data Lake-Speicher ausgeführt werden. Der Standardwert lautet `https://storage.azure.com/`, wodurch Dateisystemvorgänge ausgeführt werden können. Standardwert: None
authority_url	str, <xref:optional> Die Autoritäts-URL, die zur Authentifizierung des Benutzers verwendet wird. Standardwert: `https://login.microsoftonline.com`. Standardwert: None
protocol	str, <xref:optional> Protokoll, das zum Herstellen einer Verbindung mit dem Blobcontainer verwendet werden soll. Bei „Keine“ wird standardmäßig HTTPS verwendet. Standardwert: None
endpoint	str, <xref:optional> Der Endpunkt des Speicherkontos. Bei „Keine“ wird „core.windows.net“ verwendet. Standardwert: None
overwrite	bool, <xref:optional> Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“. Standardwert: False
subscription_id	str, <xref:optional> Die ID des Abonnements, zu dem der ADLS-Speicher gehört. Standardwert: None
resource_group	str, <xref:optional> Die Ressourcengruppe, zu der der ADLS-Speicher gehört. Standardwert: None
grant_workspace_access	bool, <xref:optional> Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardwert: False

Gibt zurück

Typ	Beschreibung
AzureDataLakeGen2Datastore	Gibt den Azure Data Lake Gen2-Datenspeicher zurück.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

Registriert eine Azure-Dateifreigabe für den Datenspeicher.

Sie haben die Wahl zwischen einem SAS-Token oder einem Speicherkontoschlüssel.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Name des Datenspeichers darf nur alphanumerische Zeichen und „_“ enthalten, wobei die Groß-/Kleinschreibung nicht beachtet wird.
file_share_name Erforderlich	str Der Name des Azure-Dateicontainers.
account_name Erforderlich	str Der Name des Speicherkontos.
sas_token	str, <xref:optional> Ein Konto-SAS-Token, standardmäßig „Keine“. Für das Lesen von Daten benötigen wir mindestens Berechtigungen zum Auflisten & Lesen für Container & Objekte und für Datenschreibberechtigungen zusätzlich Schreibberechtigungen & Hinzufügen. Standardwert: None
account_key	str, <xref:optional> Zugriffsschlüssel Ihres Speicherkontos. Standardwert: „Keine“. Standardwert: None
protocol	str, <xref:optional> Das Protokoll, das zum Herstellen einer Verbindung mit der Dateifreigabe verwendet werden soll. Bei „Keine“ wird standardmäßig HTTPS verwendet. Standardwert: None
endpoint	str, <xref:optional> Der Endpunkt der Dateifreigabe. Bei „Keine“ wird „core.windows.net“ verwendet. Standardwert: None
overwrite	bool, <xref:optional> Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“. Standardwert: False
create_if_not_exists	bool, <xref:optional> Gibt an, ob die Dateifreigabe erstellt werden soll, wenn keine vorhanden ist. Die Standardeinstellung lautet „false“. Standardwert: False
skip_validation	bool, <xref:optional> Gibt an, ob die Überprüfung von Speicherschlüsseln übersprungen werden soll. Die Standardeinstellung lautet „false“. Standardwert: False

Gibt zurück

Typ	Beschreibung
AzureFileDatastore	Der Dateidatenspeicher.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_azure_my_sql

Einen neuen Azure MySQL-Datastore initialisieren.

Der MySQL-Datenspeicher kann nur zum Erstellen von DataReference-Objekten als Eingabe und Ausgabe für den DataTransferStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure MySQL-Datenbank als Datenspeicher registrieren.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername
server_name Erforderlich	str Name des MySQL-Servers.
database_name Erforderlich	str Der Name der MySQL-Datenbank.
user_id Erforderlich	str Die Benutzer-ID des MySQL-Servers.
user_password Erforderlich	str Das Benutzerkennwort des MySQL-Servers.
port_number	str Die Portnummer des MySQL-Servers. Standardwert: None
endpoint	str, <xref:optional> Der Endpunkt des MySQL-Servers. Bei „Keine“ lautet der Standardwert mysql.database.azure.com. Standardwert: None
overwrite	bool, <xref:optional> Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“. Standardwert: False

Gibt zurück

Typ	Beschreibung
AzureMySqlDatastore	Gibt den Datenspeicher der MySQL-Datenbank zurück.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Initialisiert einen neuen Azure PostgreSQL-Datenspeicher.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure PostgreSQL-Datenbank als Datenspeicher registrieren.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername
server_name Erforderlich	str Der Name des PostgreSQL-Servers.
database_name Erforderlich	str Der Name der PostgreSQL-Datenbank.
user_id Erforderlich	str Die Benutzer-ID des PostgreSQL-Servers.
user_password Erforderlich	str Das Benutzerkennwort des PostgreSQL-Servers.
port_number	str Die Portnummer des PostgreSQL-Servers. Standardwert: None
endpoint	str, <xref:optional> Der Endpunkt des PostgreSQL-Servers. Bei „Keine“ lautet der Standardwert postgres.database.azure.com. Standardwert: None
overwrite	bool, <xref:optional> Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“. Standardwert: False
enforce_ssl	bool Gibt die SSL-Anforderung des PostgreSQL-Servers an. Der Standardwert ist „True“. Standardwert: True

Gibt zurück

Typ	Beschreibung
AzurePostgreSqlDatastore	Gibt den Datenspeicher der PostgreSQL-Datenbank zurück.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Ein neues Datastore-Objekt für die Azure SQL-Datenbank initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure SQL-Datenbank als Datenspeicher registrieren.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername
server_name Erforderlich	str Der SQL Server-Name. Bei vollqualifizierten Domänennamen wie „beispiel.datenbank.windows.net“ sollte der server_name-Wert „beispiel“ und der Endpunktwert „datenbank.windows.net“ lauten.
database_name Erforderlich	str Der SQL-Datenbankname.
tenant_id	str Die Verzeichnis-ID/Mandanten-ID des Dienstprinzipals Standardwert: None
client_id	str Die Client-ID/Anwendungs-ID des Dienstprinzipals. Standardwert: None
client_secret	str Das Geheimnis des Dienstprinzipals. Standardwert: None
resource_url	str, <xref:optional> Die Ressourcen-URL, die bestimmt, welche Vorgänge im SQL-Datenbankspeicher ausgeführt werden. Bei „Keine“ wird standardmäßig https://database.windows.net/ verwendet. Standardwert: None
authority_url	str, <xref:optional> Die Autoritäts-URL, die zur Authentifizierung des Benutzers verwendet wird. Standardwert: https://login.microsoftonline.com. Standardwert: None
endpoint	str, <xref:optional> Der Endpunkt der SQL Server-Instanz. Standardwert bei „Keine“: database.windows.net. Standardwert: None
overwrite	bool, <xref:optional> Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“. Standardwert: False
username	str Der Benutzername des Datenbankbenutzers für den Zugriff auf die Datenbank. Standardwert: None
password	str Das Kennwort des Datenbankbenutzers für den Zugriff auf die Datenbank. Standardwert: None
skip_validation Erforderlich	bool, <xref:optional> Gibt an, ob die Validierung der Verbindungsherstellung mit der SQL-Datenbank übersprungen werden soll. Der Standardwert lautet „False“.
subscription_id	str, <xref:optional> Die ID des Abonnements, zu dem der ADLS-Speicher gehört. Standardwert: None
resource_group	str, <xref:optional> Die Ressourcengruppe, zu der der ADLS-Speicher gehört. Standardwert: None
grant_workspace_access	bool, <xref:optional> Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardwert: False

Gibt zurück

Typ	Beschreibung
AzureSqlDatabaseDatastore	Gibt den Datenspeicher der SQL-Datenbank zurück.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Initialisiert einen neuen DBFS-Datenspeicher (Databricks File System).

Der DBFS-Datenspeicher kann nur zum Erstellen von DataReference als Eingabe und von PipelineData als Ausgabe für den DatabricksStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.

static register_dbfs(workspace, datastore_name)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername

Gibt zurück

Typ	Beschreibung
DBFSDatastore	Gibt den DBFS-Datenspeicher zurück.

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_hdfs

Hinweis

Dies ist eine experimentelle Methode, die sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen.

Initialisieren eines neuen HDFS-Datenspeichers.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parameter

Name	Beschreibung
workspace Erforderlich	Workspace Der Arbeitsbereich, zu dem dieser Datenspeicher gehört
datastore_name Erforderlich	str Der Datenspeichername
protocol Erforderlich	str oder <xref:_restclient.models.enum> Das Protokoll, das für die Kommunikation mit dem HDFS-Cluster verwendet werden soll. HTTP oder HTTPS. Mögliche Werte: „http“, „https“
namenode_address Erforderlich	str Die IP-Adresse oder der DNS-Hostname des HDFS-Namensknotens (NameNode). Enthält optional einen Port.
hdfs_server_certificate Erforderlich	str, <xref:optional> Der Pfad zum TLS-Signaturzertifikat des HDFS-Namensknotens, wenn TLS mit einem selbstsigniertem Zertifikat verwendet wird.
kerberos_realm Erforderlich	str Der Kerberos-Bereich.
kerberos_kdc_address Erforderlich	str Die IP-Adresse oder der DNS-Hostname der Kerberos-KDC-Instanz.
kerberos_principal Erforderlich	str Der Kerberos-Prinzipal, der für die Authentifizierung und Autorisierung verwendet werden soll.
kerberos_keytab Erforderlich	str, <xref:optional> Der Pfad zur Schlüsseltabellendatei mit den Schlüsseln, die dem Kerberos-Prinzipal entsprechen. Geben Sie entweder diesen Pfad oder ein Kennwort an.
kerberos_password Erforderlich	str, <xref:optional> Das Kennwort, das dem Kerberos-Prinzipal entspricht. Geben Sie entweder dieses Kennwort oder den Pfad zu einer Schlüsseltabellendatei an.
overwrite Erforderlich	bool, <xref:optional> Überschreibt einen vorhandenen Datenspeicher. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Der Standardwert lautet „False“.

set_as_default

Legt den Standarddatenspeicher fest.

set_as_default()

Parameter

Name	Beschreibung
datastore_name Erforderlich	str Der Name des Datenspeichers.

unregister

Hebt die Registrierung des Datenspeichers auf. Der zugrundeliegende Speicherdienst wird nicht gelöscht.

unregister()

Freigeben über

Datastore Klasse

Konstruktor

Parameter

Hinweise

Methoden

get

Parameter

Gibt zurück

get_default

Parameter

Gibt zurück

register_azure_blob_container

Parameter

Gibt zurück

Hinweise

register_azure_data_lake

Parameter

Gibt zurück

Hinweise

register_azure_data_lake_gen2

Parameter

Gibt zurück

Hinweise

register_azure_file_share

Parameter

Gibt zurück

Hinweise

register_azure_my_sql

Parameter

Gibt zurück

Hinweise

register_azure_postgre_sql

Parameter

Gibt zurück

Hinweise

register_azure_sql_database

Parameter

Gibt zurück

Hinweise

register_dbfs

Parameter

Gibt zurück

Hinweise

register_hdfs

Parameter

set_as_default

Parameter

unregister

Feedback

Zusätzliche Ressourcen