Tutorial: Criar um Jupyter Notebook para analisar dados da conta do Azure Cosmos DB for NoSQL usando notebooks Jupyter do Visual Studio Code

Abra o Visual Studio Code.

Execute o comando Polyglot Notebook: Criar um notebook em branco na paleta de comandos (CTRL + SHIFT + P).

Selecione a extensão de arquivo .ipynb.

Escolha C# como a linguagem padrão.

Comece na célula de código padrão.

Instale o pacote Azure.cosmos. Execute esta célula antes de continuar.

%pip install azure.cosmos

Importe os pacotes necessários para este tutorial.

import azure.cosmos
from azure.cosmos.partition_key import PartitionKey
from azure.cosmos import CosmosClient

Crie uma instância do CosmosClient.

endpoint = "<FILL ME>"
key = "<FILL ME>"
cosmos_client = CosmosClient(url=endpoint, credential=key)

Crie um banco de dados chamado RetailIngest usando o SDK interno.

database = cosmos_client.create_database_if_not_exists('RetailIngest')

Crie um contêiner chamado WebsiteMetrics com uma chave de partição /CartID.

container = database.create_container_if_not_exists(id='WebsiteMetrics', partition_key=PartitionKey(path='/CartID'))

Selecione Executar para criar o banco de dados e o recurso de contêiner.

Comece na célula de código padrão.

Instale o pacote NuGet Microsoft.Azure.Cosmos. Execute esta célula antes de continuar.

#r "nuget: Microsoft.Azure.Cosmos"

Crie uma célula de código.

Importe os pacotes necessários para este tutorial.

using Microsoft.Azure.Cosmos;

Crie uma instância do tipo de cliente usando o SDK interno. Preencha o ponto de extremidade de URI e a chave da sua conta do Azure Cosmos DB. Encontre esses valores na página Chaves da sua conta do Azure Cosmos DB.

var endpoint = "<FILL ME>";
var key = "<FILL ME>";

var cosmosClient = new CosmosClient(Cosmos.Endpoint, Cosmos.Key);

Crie um banco de dados chamado RetailIngest.

Database database = await cosmosClient.CreateDatabaseIfNotExistsAsync("RetailIngest");

Crie um contêiner chamado WebsiteMetrics com uma chave de partição /CartID.

Container container = await database.CreateContainerIfNotExistsAsync("WebsiteMetrics", "/CartID");

Selecione Executar Célula para criar o banco de dados e o recurso de contêiner.

Adicionar uma nova célula de código

Dentro da célula de código, adicione o seguinte código para carregar dados desta URL: <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json>.

    import urllib.request
    import json

    with urllib.request.urlopen("https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json") as url:
        docs = json.loads(url.read().decode())

    for doc in docs:
        container.upsert_item(doc)

Execute a célula. Isso levará de 45 segundos a 1 minuto para ser executado.

Adicione uma nova célula de código.

Na célula de código, crie uma classe C# para representar um item no contêiner. Execute a célula.

public class Record
{
  public string id { get; set; }
  public int CartID { get; set; }
  public string Action { get; set; }
  public decimal Price { get; set; }
  public string Country { get; set; }
  public string Item { get; set; }
}

Adicione uma nova célula de código.

Dentro da célula de código, adicione o seguinte código para carregar dados desta URL: <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json>.

using System.Net.Http;
using System.Text.Json;
using System.IO;

var dataURL = "https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json";
var jsonData = new HttpClient().GetStringAsync(dataURL).Result;

Record[] result = JsonSerializer.Deserialize<Record[]>(jsonData);

foreach (Record record in result) {
    await container.UpsertItemAsync<Record>(record, new PartitionKey(record.CartID)); //43 seconds
}

Execute a célula. Isso levará de 45 segundos a 1 minuto para ser executado.

Crie outra célula de código.

Na célula de código, use uma consulta SQL para popular um DataFrame do Pandas. Execute esta célula.

import pandas as pd
from pandas import DataFrame

QUERY = "SELECT c.Action, c.Price as ItemRevenue, c.Country, c.Item FROM c"
results = container.query_items(
    query=QUERY, enable_cross_partition_query=True
)

df_cosmos = pd.DataFrame(results)

Crie outra célula de código.

Na célula de código, gere os 10 itens principais do dataframe. Execute esta célula.

df_cosmos.head(10)

Observe a saída da execução do comando.

Crie outra célula de código.

Na célula de código, importe o pacote pandas para personalizar a saída do dataframe. Execute esta célula.

import pandas as pd    
df_cosmos.groupby("Item").size().reset_index()

Observe a saída da execução do comando.

Crie uma célula de código.

Na célula de código, adicione código para executar uma consulta SQL usando o SDK armazenando a saída da consulta em uma variável de tipo List<T> chamada resultados.

using System.Collections.Generic;

var query = new QueryDefinition(
    query: "SELECT c.Action, c.Price, c.Country, c.Item FROM c"
);

FeedIterator<Record> feed = container.GetItemQueryIterator<Record>(
    queryDefinition: query
);

var results = new List<Record>();
while (feed.HasMoreResults)
{
    FeedResponse<Record> response = await feed.ReadNextAsync();
    foreach (Record result in response)
    {
        results.Add(result);
    }
}

Crie outra célula de código.

Na célula de código, crie um dicionário adicionando permutações exclusivas do campo Item como a chave e a soma do campo Price como o valor. Isso fornecerá o total de vendas de cada item. Execute esta célula.

var dictionary = new Dictionary<string, decimal>();

foreach(var result in results)
{
    if (dictionary.ContainsKey(result.Item)) {
        dictionary[result.Item] += result.Price;
    }
    else {
        dictionary.TryAdd (result.Item, result.Price); 

    }
}

dictionary

Observe a saída com combinações exclusivas dos campos Item e Preço.

...
Black Tee: 603
Flannel Shirt: 1199.40
Socks: 210.00
Rainjacket: 2695
...