Datastore Sınıf

  • Başvuru

Azure Machine Learning depolama hesabı üzerindeki bir depolama soyutlama değerini temsil eder.

Veri depoları çalışma alanlarına eklenir ve Azure depolama hizmetlerine bağlantı bilgilerini depolamak için kullanılır, böylece bunlara ada göre başvurabilirsiniz ve depolama hizmetlerine bağlanmak için kullanılan bağlantı bilgilerini ve gizli diziyi hatırlamanız gerekmez.

Veri deposu olarak kaydedilebilen desteklenen Azure depolama hizmetlerine örnek olarak şunlar verilebilir:

  • Azure Blob Kapsayıcısı

  • Azure Dosya Paylaşımı

  • Azure Data Lake

  • Azure Data Lake 2. Nesil

  • Azure SQL Veritabanı

  • PostgreSQL için Azure Veritabanı

  • Databricks Dosya Sistemi

  • MySQL için Azure Veritabanı

Veri depolarını kaydetme, listeleme, alma ve kaldırma gibi yönetim işlemlerini gerçekleştirmek için bu sınıfı kullanın. Her hizmet için veri depoları bu sınıfın register* yöntemleriyle oluşturulur. Verilere erişmek için bir veri deposu kullanırken, veri deposuna kayıtlı kimlik bilgilerine bağlı olarak bu verilere erişim izniniz olmalıdır.

Veri depoları ve bunların makine öğrenmesinde nasıl kullanılabildikleri hakkında daha fazla bilgi için aşağıdaki makalelere bakın:

Ada göre bir veri deposu alın. Bu çağrı, veri deposu hizmetine bir istekte bulunur.

Devralma
builtins.object
Datastore

Oluşturucu

Datastore(workspace, name=None)

Parametreler

Name Description
workspace
Gerekli
Workspace

Çalışma alanı.
name
str, <xref:optional>

Varsayılan veri deposu olan veri deposunun adı Yok olarak ayarlanır ve bu da varsayılan veri deposunun adını alır.

Default value: None

Açıklamalar

Eğitim gibi makine öğrenmesi görevleri için veri depolarınızdaki verilerle etkileşim kurmak için bir Azure Machine Learning veri kümesi oluşturun. Veri kümeleri, tablosal verileri pandas veya Spark DataFrame'e yükleyen işlevler sağlar. Veri kümeleri ayrıca Azure Blob depolama, Azure Dosyalar, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil, Azure SQL Veritabanı ve PostgreSQL için Azure Veritabanı. Veri kümeleriyle eğitim hakkında daha fazla bilgi edinin.

Aşağıdaki örnekte, Azure Blob Kapsayıcısı'na bağlı bir Veri Deposunun nasıl oluşturulacağı gösterilmektedir.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

Tam örnek şu kaynaktan edinilebilir: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Yöntemler

get

Ada göre bir veri deposu alın. Bu, oluşturucuyu çağırmakla aynıdır.
get_default

Çalışma alanı için varsayılan veri depounu alın.
register_azure_blob_container

Azure Blob Kapsayıcısını veri deposuna kaydetme.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; SAS Belirteci veya Depolama Hesabı Anahtarı kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.
register_azure_data_lake

Yeni bir Azure Data Lake Datastore başlatın.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.

Azure Data Lake 1. Nesil'i Datastore olarak kaydetme örneği için lütfen aşağıya bakın.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Yeni bir Azure Data Lake 2. Nesil Datastore başlatın.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.
register_azure_file_share

Azure Dosya Paylaşımı'nı veri deposuna kaydetme.

SAS Belirteci veya Depolama Hesabı Anahtarı kullanmayı seçebilirsiniz
register_azure_my_sql

Yeni bir Azure MySQL Veri Deposu başlatın.

MySQL veri deposu yalnızca Azure Machine Learning işlem hatlarında DataTransferStep'e giriş ve çıkış olarak DataReference oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz.

Azure MySQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.
register_azure_postgre_sql

Yeni bir Azure PostgreSQL Veri Deposu başlatın.

Azure PostgreSQL veritabanını Datastore olarak kaydetme örneği için lütfen aşağıya bakın.
register_azure_sql_database

Yeni bir Azure SQL veritabanı Veri Deposu başlatın.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; Hizmet Sorumlusu veya kullanıcı adı + parola kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.

Azure SQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.
register_dbfs

Yeni bir Databricks Dosya Sistemi (DBFS) veri deposu başlatın.

DBFS veri deposu yalnızca Giriş olarak DataReference ve Azure Machine Learning işlem hatlarında DatabricksStep çıkışı olarak PipelineData oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz..
register_hdfs

Not

Bu deneysel bir yöntemdir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental.

Yeni bir HDFS veri deposu başlatın.
set_as_default

Varsayılan veri depoyu ayarlayın.
unregister

Veri deposunun kaydını kaldırıyor. temel depolama hizmeti silinmez.

get

Ada göre bir veri deposu alın. Bu, oluşturucuyu çağırmakla aynıdır.

static get(workspace, datastore_name)

Parametreler

Name Description
workspace
Gerekli
Workspace

Çalışma alanı.
datastore_name
Gerekli
str, <xref:optional>

Varsayılan veri deposu olan veri deposunun adı Yok olarak ayarlanır ve bu da varsayılan veri deposunun adını alır.

Döndürülenler

Tür Description
AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

Bu ad için karşılık gelen veri deposu.

get_default

Çalışma alanı için varsayılan veri depounu alın.

static get_default(workspace)

Parametreler

Name Description
workspace
Gerekli
Workspace

Çalışma alanı.

Döndürülenler

Tür Description
AzureFileDatastore,
AzureBlobDatastore

Çalışma alanı için varsayılan veri deposu

register_azure_blob_container

Azure Blob Kapsayıcısını veri deposuna kaydetme.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; SAS Belirteci veya Depolama Hesabı Anahtarı kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parametreler

Name Description
workspace
Gerekli
Workspace

Çalışma alanı.
datastore_name
Gerekli
str

Büyük/küçük harfe duyarlı olmayan veri deposunun adı yalnızca alfasayısal karakterler ve _ içerebilir.
container_name
Gerekli
str

Azure blob kapsayıcısının adı.
account_name
Gerekli
str

Depolama hesabı adı.
sas_token
str, <xref:optional>

Bir hesap SAS belirteci, varsayılan olarak Yok'tur. Veri okuma için Kapsayıcılar & Nesneleri için en az Liste & Okuma izinlerine ve veri yazma için de Yazma & Ekle izinlerine ihtiyacımız vardır.

Default value: None
account_key
str, <xref:optional>

Depolama hesabınızın erişim anahtarları varsayılan olarak Yok olarak belirlenir.

Default value: None
protocol
str, <xref:optional>

Blob kapsayıcısına bağlanmak için kullanılacak protokol. Hiçbiri ise, varsayılan olarak https olur.

Default value: None
endpoint
str, <xref:optional>

Depolama hesabının uç noktası. Hiçbiri ise, varsayılan olarak core.windows.net olur.

Default value: None
overwrite
bool, <xref:optional>

varolan bir veri deposu üzerine yazar. Veri deposu yoksa bir veri deposu oluşturur ve varsayılan olarak False olur

Default value: False
create_if_not_exists
bool, <xref:optional>

yoksa blob kapsayıcısını oluşturun, varsayılan değer False olur

Default value: False
skip_validation
bool, <xref:optional>

depolama anahtarlarının doğrulanması atlar, varsayılan değer False'tur

Default value: False
blob_cache_timeout
int, <xref:optional>

Bu blob bağlandığında önbellek zaman aşımını şu kadar saniye olarak ayarlayın. Hiçbiri ise, varsayılan olarak zaman aşımı olmaz (bloblar okunduğunda iş süresi boyunca önbelleğe alınır).

Default value: None
grant_workspace_access
bool, <xref:optional>

Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için Bunu True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı yönetilen kimliğini depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının sahibi veya kullanıcı erişim yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Default value: False
subscription_id
str, <xref:optional>

Depolama hesabının abonelik kimliği varsayılan olarak Yok'tur.

Default value: None
resource_group
str, <xref:optional>

Depolama hesabının kaynak grubu varsayılan olarak Yok'tur.

Default value: None

Döndürülenler

Tür Description
AzureBlobDatastore

Blob veri deposu.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.

register_azure_data_lake

Yeni bir Azure Data Lake Datastore başlatın.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.

Azure Data Lake 1. Nesil'i Datastore olarak kaydetme örneği için lütfen aşağıya bakın.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Veri deposu adı.
store_name
Gerekli
str

ADLS depo adı.
tenant_id
str, <xref:optional>

Verilere erişmek için kullanılan hizmet sorumlusunun Dizin Kimliği/Kiracı Kimliği.

Default value: None
client_id
str, <xref:optional>

Verilere erişmek için kullanılan hizmet sorumlusunun İstemci Kimliği/Uygulama Kimliği.

Default value: None
client_secret
str, <xref:optional>

Verilere erişmek için kullanılan hizmet sorumlusunun İstemci Gizli Anahtarı.

Default value: None
resource_url
str, <xref:optional>

Data Lake deposunda gerçekleştirilecek işlemleri belirleyen kaynak URL'si ( Yok ise) varsayılan olarak https://datalake.azure.net/ dosya sistemi işlemlerini gerçekleştirmemize olanak tanır.

Default value: None
authority_url
str, <xref:optional>

Kullanıcının kimliğini doğrulamak için kullanılan yetkili URL'si varsayılan olarak kullanılır https://login.microsoftonline.com.

Default value: None
subscription_id
str, <xref:optional>

ADLS deposunun ait olduğu aboneliğin kimliği.

Default value: None
resource_group
str, <xref:optional>

ADLS deposunun ait olduğu kaynak grubu.

Default value: None
overwrite
bool, <xref:optional>

Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

Default value: False
grant_workspace_access
bool, <xref:optional>

Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için Bunu True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı yönetilen kimliğini depolamanın Okuyucusu olarak ekler. Kabul etmek için depolamanın Sahibi veya Kullanıcı Erişimi Yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Default value: False

Döndürülenler

Tür Description
AzureDataLakeDatastore

Azure Data Lake Datastore döndürür.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.

Not

Azure Data Lake Datastore, Azure Machine Learning İşlem Hatlarını kullanarak veri aktarımını ve U-Sql işlerini çalıştırmayı destekler.

Ayrıca, azure machine learning veri kümesi için desteklenen herhangi bir işlemde indirilebilen veya bağlanabilen bir veri kaynağı olarak da kullanabilirsiniz.

register_azure_data_lake_gen2

Yeni bir Azure Data Lake 2. Nesil Datastore başlatın.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Veri deposu adı.
filesystem
Gerekli
str

Data Lake 2. Nesil dosya sisteminin adı.
account_name
Gerekli
str

Depolama hesabı adı.
tenant_id
str, <xref:optional>

Hizmet sorumlusunun Dizin Kimliği/Kiracı Kimliği.

Default value: None
client_id
str, <xref:optional>

Hizmet sorumlusunun İstemci Kimliği/Uygulama Kimliği.

Default value: None
client_secret
str, <xref:optional>

Hizmet sorumlusunun gizli dizisi.

Default value: None
resource_url
str, <xref:optional>

Data Lake Store'da gerçekleştirilecek işlemleri belirleyen kaynak URL'si, varsayılan olarak https://storage.azure.com/ dosya sistemi işlemlerini gerçekleştirmemize olanak tanır.

Default value: None
authority_url
str, <xref:optional>

Kullanıcının kimliğini doğrulamak için kullanılan yetkili URL'si varsayılan olarak kullanılır https://login.microsoftonline.com.

Default value: None
protocol
str, <xref:optional>

Blob kapsayıcısına bağlanmak için kullanılacak protokol. Hiçbiri ise, varsayılan olarak https olur.

Default value: None
endpoint
str, <xref:optional>

Depolama hesabının uç noktası. Hiçbiri ise, varsayılan olarak core.windows.net olur.

Default value: None
overwrite
bool, <xref:optional>

Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

Default value: False
subscription_id
str, <xref:optional>

ADLS deposunun ait olduğu aboneliğin kimliği.

Default value: None
resource_group
str, <xref:optional>

ADLS deposunun ait olduğu kaynak grubu.

Default value: None
grant_workspace_access
bool, <xref:optional>

Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için Bunu True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı yönetilen kimliğini depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının sahibi veya kullanıcı erişim yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Default value: False

Döndürülenler

Tür Description
AzureDataLakeGen2Datastore

Azure Data Lake 2. Nesil Datastore'unu döndürür.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.

register_azure_file_share

Azure Dosya Paylaşımı'nı veri deposuna kaydetme.

SAS Belirteci veya Depolama Hesabı Anahtarı kullanmayı seçebilirsiniz

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Büyük/küçük harfe duyarlı olmayan veri deposunun adı yalnızca alfasayısal karakterler ve _ içerebilir.
file_share_name
Gerekli
str

Azure dosya kapsayıcısının adı.
account_name
Gerekli
str

Depolama hesabı adı.
sas_token
str, <xref:optional>

Bir hesap SAS belirteci, varsayılan olarak Yok'tur. Veri okuma için Kapsayıcılar & Nesneleri için en az Liste & Okuma izinlerine ve veri yazma için de Yazma & Ekle izinlerine ihtiyacımız vardır.

Default value: None
account_key
str, <xref:optional>

Depolama hesabınızın erişim anahtarları varsayılan olarak Yok olarak belirlenir.

Default value: None
protocol
str, <xref:optional>

Dosya paylaşımına bağlanmak için kullanılacak protokol. Hiçbiri ise, varsayılan olarak https olur.

Default value: None
endpoint
str, <xref:optional>

Dosya paylaşımının uç noktası. Hiçbiri ise, varsayılan olarak core.windows.net olur.

Default value: None
overwrite
bool, <xref:optional>

Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

Default value: False
create_if_not_exists
bool, <xref:optional>

Dosya paylaşımı yoksa oluşturulup oluşturulmayacağı. Varsayılan değer False'tur.

Default value: False
skip_validation
bool, <xref:optional>

Depolama anahtarlarını doğrulamanın atlanıp atlanmadığı. Varsayılan değer False'tur.

Default value: False

Döndürülenler

Tür Description
AzureFileDatastore

Dosya veri deposu.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.

register_azure_my_sql

Yeni bir Azure MySQL Veri Deposu başlatın.

MySQL veri deposu yalnızca Azure Machine Learning işlem hatlarında DataTransferStep'e giriş ve çıkış olarak DataReference oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz.

Azure MySQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Veri deposu adı.
server_name
Gerekli
str

MySQL sunucu adı.
database_name
Gerekli
str

MySQL veritabanı adı.
user_id
Gerekli
str

MySQL sunucusunun Kullanıcı Kimliği.
user_password
Gerekli
str

MySQL sunucusunun kullanıcı parolası.
port_number
str

MySQL sunucusunun bağlantı noktası numarası.

Default value: None
endpoint
str, <xref:optional>

MySQL sunucusunun uç noktası. Hiçbiri ise, varsayılan olarak mysql.database.azure.com olur.

Default value: None
overwrite
bool, <xref:optional>

Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

Default value: False

Döndürülenler

Tür Description
AzureMySqlDatastore

MySQL veritabanı Veri Deposu'nı döndürür.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Yeni bir Azure PostgreSQL Veri Deposu başlatın.

Azure PostgreSQL veritabanını Datastore olarak kaydetme örneği için lütfen aşağıya bakın.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Veri deposu adı.
server_name
Gerekli
str

PostgreSQL sunucu adı.
database_name
Gerekli
str

PostgreSQL veritabanı adı.
user_id
Gerekli
str

PostgreSQL sunucusunun Kullanıcı Kimliği.
user_password
Gerekli
str

PostgreSQL sunucusunun Kullanıcı Parolası.
port_number
str

PostgreSQL sunucusunun Bağlantı Noktası Numarası

Default value: None
endpoint
str, <xref:optional>

PostgreSQL sunucusunun uç noktası. Hiçbiri ise, varsayılan olarak postgres.database.azure.com olur.

Default value: None
overwrite
bool, <xref:optional>

Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

Default value: False
enforce_ssl
bool

PostgreSQL sunucusunun SSL gereksinimini gösterir. Varsayılan değer True'dır.

Default value: True

Döndürülenler

Tür Description
AzurePostgreSqlDatastore

PostgreSQL veritabanı Veri Deposu'nı döndürür.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Yeni bir Azure SQL veritabanı Veri Deposu başlatın.

Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; Hizmet Sorumlusu veya kullanıcı adı + parola kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.

Azure SQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Veri deposu adı.
server_name
Gerekli
str

SQL sunucusu adı. "sample.database.windows.net" gibi tam etki alanı adı için server_name değeri "örnek" ve uç nokta değeri "database.windows.net" olmalıdır.
database_name
Gerekli
str

SQL veritabanı adı.
tenant_id
str

Hizmet sorumlusunun Dizin Kimliği/Kiracı Kimliği.

Default value: None
client_id
str

Hizmet sorumlusunun İstemci Kimliği/Uygulama Kimliği.

Default value: None
client_secret
str

Hizmet sorumlusunun gizli dizisi.

Default value: None
resource_url
str, <xref:optional>

Sql veritabanı deposunda gerçekleştirilecek işlemleri belirleyen kaynak URL'si ( Yok ise) varsayılan olarak https://database.windows.net/kullanılır.

Default value: None
authority_url
str, <xref:optional>

Kullanıcının kimliğini doğrulamak için kullanılan yetkili URL'si varsayılan olarak kullanılır https://login.microsoftonline.com.

Default value: None
endpoint
str, <xref:optional>

SQL sunucusunun uç noktası. Hiçbiri ise, varsayılan olarak database.windows.net olur.

Default value: None
overwrite
bool, <xref:optional>

Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

Default value: False
username
str

Veritabanına erişmek için veritabanı kullanıcısının kullanıcı adı.

Default value: None
password
str

Veritabanına erişmek için veritabanı kullanıcısının parolası.

Default value: None
skip_validation
Gerekli
bool, <xref:optional>

SQL veritabanına bağlanma doğrulamasının atlanıp atlanmadığı. Varsayılan değer False'tur.
subscription_id
str, <xref:optional>

ADLS deposunun ait olduğu aboneliğin kimliği.

Default value: None
resource_group
str, <xref:optional>

ADLS deposunun ait olduğu kaynak grubu.

Default value: None
grant_workspace_access
bool, <xref:optional>

Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için Bunu True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı yönetilen kimliğini depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının sahibi veya kullanıcı erişim yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Default value: False

Döndürülenler

Tür Description
AzureSqlDatabaseDatastore

SQL veritabanı Veri Deposu'nı döndürür.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Yeni bir Databricks Dosya Sistemi (DBFS) veri deposu başlatın.

DBFS veri deposu yalnızca Giriş olarak DataReference ve Azure Machine Learning işlem hatlarında DatabricksStep çıkışı olarak PipelineData oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz..

static register_dbfs(workspace, datastore_name)

Parametreler

Name Description
workspace
Gerekli
Workspace

Bu veri deposunun ait olduğu çalışma alanı.
datastore_name
Gerekli
str

Veri deposu adı.

Döndürülenler

Tür Description
DBFSDatastore

DBFS Veri Deposu'nı döndürür.

Açıklamalar

Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.

register_hdfs

Not

Bu deneysel bir yöntemdir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental.

Yeni bir HDFS veri deposu başlatın.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parametreler

Name Description
workspace
Gerekli
Workspace

bu veri deposunun ait olduğu çalışma alanı
datastore_name
Gerekli
str

veri deposu adı
protocol
Gerekli
str veya <xref:_restclient.models.enum>

HDFS kümesiyle iletişim kurarken kullanılacak protokol. http veya https. Olası değerler şunlardır: 'http', 'https'
namenode_address
Gerekli
str

HDFS ad düğümünün IP adresi veya DNS ana bilgisayar adı. İsteğe bağlı olarak bir bağlantı noktası içerir.
hdfs_server_certificate
Gerekli
str, <xref:optional>

OTOMATIK olarak imzalanan bir sertifikayla TLS kullanılıyorsa HDFS ad düğümünün TLS imzalama sertifikasının yolu.
kerberos_realm
Gerekli
str

Kerberos bölgesi.
kerberos_kdc_address
Gerekli
str

Kerberos KDC'sinin IP adresi veya DNS ana bilgisayar adı.
kerberos_principal
Gerekli
str

Kimlik doğrulaması ve yetkilendirme için kullanılacak Kerberos sorumlusu.
kerberos_keytab
Gerekli
str, <xref:optional>

Kerberos sorumlusuna karşılık gelen anahtarları içeren anahtar sekmesi dosyasının yolu. Bunu veya parolayı belirtin.
kerberos_password
Gerekli
str, <xref:optional>

Kerberos sorumlusuna karşılık gelen parola. Bunu veya bir tuş sekmesi dosyasının yolunu belirtin.
overwrite
Gerekli
bool, <xref:optional>

varolan bir veri deposu üzerine yazar. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.

set_as_default

Varsayılan veri depoyu ayarlayın.

set_as_default()

Parametreler

Name Description
datastore_name
Gerekli
str

Veri deposunun adı.

unregister

Veri deposunun kaydını kaldırıyor. temel depolama hizmeti silinmez.

unregister()