Mesurer les performances d’Azure Cosmos DB for NoSQL avec un framework d’évaluation

Accédez à votre compte API for NoSQL sur le Portail Azure.

Dans le menu de la ressource, sélectionnez Explorateur de données.

Sur la page Data Explorer, sélectionnez l’option Nouveau conteneur dans la barre de commandes.

Dans la boîte de dialogue Nouveau conteneur, créez un conteneur en indiquant les paramètres suivants :

Si vous ne l’avez pas déjà fait, connectez-vous à Azure CLI à l’aide de la commande az login.

Créez des variables d’interpréteur de commandes pour les valeurs suivantes :

• Nom de votre compte Azure Cosmos DB for NoSQL existant nommé cosmosAccountName.
• Nom de votre premier groupe de ressources avec des ressources nommées sourceResourceGroupName.
• Nom de votre deuxième groupe de ressources vide nommé targetResourceGroupName.
• URI de point de terminaison de compte Azure Cosmos DB for NoSQL existant nommé cosmosEndpoint
• Clé primaire de compte Azure Cosmos DB for NoSQL existante nommée cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

À l’aide de la commande az cosmosdb sql database create, créez une base de données avec les paramètres suivants :

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

À l’aide de la commande az cosmosdb sql container create, créez un conteneur avec les paramètres suivants :

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Déployez l’infrastructure d’évaluation à l’aide d’un modèle Azure Resource Manager disponible via ce lien.

Dans la page Déploiement personnalisé, les paramètres suivants

Sélectionnez Vérifier + créer, puis Créer pour déployer le modèle.

Attendez la fin du déploiement.

Utilisez az deployment group create pour déployer l’infrastructure d’évaluation à l’aide d’un modèle Azure Resource Manager disponible.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Attendez la fin du déploiement.

Accédez à votre compte Stockage Azure existant sur le Portail Azure.

Accédez à une table de stockage nommée ycsbbenchmarkingmetadata et recherchez l’entité avec une clé de partition de ycsb_sql.

Observez le champ JobStatus de l’entité de table. Initialement, l’état du travail est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

Attendez que le travail soit en l’état Finished et qu’il inclut un horodatage dans la propriété JobFinishTime.

Accédez au conteneur de stockage dans le même compte avec le préfixe ycsbbenchmarking-*. Observez les objets blob de sortie et de diagnostic pour l’outil.

Ouvrez l’objet blob aggregation.csv et observez le contenu. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients d’évaluation.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Interrogez l’enregistrement de travail dans une table de stockage nommée ycsbbenchmarkingmetadata à l’aide de az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Observez les résultats de cette requête. Les résultats doivent retourner un seul travail avec les propriétés JobStartTime, JobStatus et JobFinishTime. Initialement, l’état du travail est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Si nécessaire, exécutez az storage entity query plusieurs fois jusqu’à ce que le travail soit en l’état Finished et qu’il inclut un horodatage dans la propriété JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Recherchez le nom du conteneur de stockage le plus récemment modifié avec le préfixe ycsbbenchmarking-* à l’aide de az storage container list et d’une requête JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Stockez la chaîne de conteneur dans une variable nommée storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Utilisez [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) pour interroger les résultats du travail dans un objet blob de stockage stocké dans le conteneur situé précédemment.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Observez les résultats de cette requête. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients d’évaluation.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867