Créer des magasins de données

  • Article

S’APPLIQUE À :Extension Azure CLI v2 (actuelle)Kit de développement logiciel (SDK) Python azure-ai-ml v2 (version actuelle)

Dans cet article, découvrez comment vous connecter aux services de stockage de données Azure avec des magasins de données Azure Machine Learning.

Prérequis

Remarque

Les magasins de données Machine Learning ne créent pas les ressources de compte de stockage sous-jacentes. Au lieu de cela, ils lient un compte de stockage existant pour l’utilisation de Machine Learning. Les magasins de données Machine Learning ne sont pas requis. Si vous avez accès aux données sous-jacentes, vous pouvez utiliser directement des URI de stockage.

Créer un magasin de données d’objet blob Azure

from azure.ai.ml.entities import AzureBlobDatastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureBlobDatastore(
    name="",
    description="",
    account_name="",
    container_name=""
)

ml_client.create_or_update(store)

Créez un magasin de données Azure Data Lake Storage Gen2

from azure.ai.ml.entities import AzureDataLakeGen2Datastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureDataLakeGen2Datastore(
    name="",
    description="",
    account_name="",
    filesystem=""
)

ml_client.create_or_update(store)

Créez un magasin de données Azure Files

from azure.ai.ml.entities import AzureFileDatastore
from azure.ai.ml.entities import AccountKeyConfiguration
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureFileDatastore(
    name="file_example",
    description="Datastore pointing to an Azure File Share.",
    account_name="mytestfilestore",
    file_share_name="my-share",
    credentials=AccountKeyConfiguration(
        account_key= "XXXxxxXXXxXXXXxxXXXXXxXXXXXxXxxXxXXXxXXXxXXxxxXXxxXXXxXxXXXxxXxxXXXXxxxxxXXxxxxxxXXXxXXX"
    ),
)

ml_client.create_or_update(store)

Créez un magasin de données Azure Data Lake Storage Gen1

from azure.ai.ml.entities import AzureDataLakeGen1Datastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureDataLakeGen1Datastore(
    name="",
    store_name="",
    description="",
)

ml_client.create_or_update(store)

Créer un magasin de données OneLake (Microsoft Fabric) (préversion)

Cette section décrit diverses options pour créer un magasin de données OneLake. Le magasin de données OneLake fait partie de Microsoft Fabric. À ce stade, Machine Learning prend en charge la connexion à des artefacts lakehouse Microsoft Fabric dans le dossier « Files » qui incluent des dossiers ou des fichiers et des raccourcis Amazon S3. Pour plus d’informations sur les lakehouses, consultez Qu’est-ce qu’un lakehouse dans Microsoft Fabric.

La création d’un magasin de données OneLake nécessite les informations suivantes de votre instance Microsoft Fabric :

  • Point de terminaison
  • GUID d’espace de travail
  • GUID d’artefact

Les captures d’écran suivantes décrivent la récupération de ces ressources d’informations requises à partir de votre instance Microsoft Fabric.

Capture d’écran montrant comment cliquer dans les propriétés d’artefact de l’artefact d’espace de travail Microsoft Fabric dans l’interface utilisateur de Microsoft Fabric.

Vous trouverez ensuite « Point de terminaison », « GUID d’espace de travail » et « GUID d’artefact » dans « URL » et « Chemin d’accès ABFS » dans la page « Propriétés » :

  • Format d’URL : https://{your_one_lake_endpoint}/{your_one_lake_workspace_guid}/{your_one_lake_artifact_guid}/Files
  • Format de chemin d’accès ABFS : abfss://{your_one_lake_workspace_guid}@{your_one_lake_endpoint}/{your_one_lake_artifact_guid}/Files

Capture d’écran montrant l’URL et le chemin d’accès ABFS d’un artefact OneLake dans l’interface utilisateur de Microsoft Fabric.

Créer un magasin de données OneLake

from azure.ai.ml.entities import OneLakeDatastore, OneLakeArtifact
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = OneLakeDatastore(
    name="onelake_example_id",
    description="Datastore pointing to an Microsoft fabric artifact.",
    one_lake_workspace_name="XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX", #{your_one_lake_workspace_guid}
    endpoint="msit-onelake.dfs.fabric.microsoft.com" #{your_one_lake_endpoint}
    artifact = OneLakeArtifact(
        name="XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/Files", #{your_one_lake_artifact_guid}/Files
        type="lake_house"
    )
)

ml_client.create_or_update(store)

Étapes suivantes