Tutorial: Executar a ingestão do analisador CSV

  • Artigo

A ingestão do analisador de valores separados por vírgulas (CSV) fornece a capacidade de ingerir arquivos CSV em uma instância do Azure Data Manager for Energy.

Neste tutorial, irá aprender a:

  • Ingerir um arquivo CSV de dados de poço de amostra em uma instância do Azure Data Manager for Energy usando o Postman.
  • Pesquise registros de metadados de armazenamento criados durante a ingestão de CSV usando o Postman.

Pré-requisitos

Antes de iniciar este tutorial, preencha os seguintes pré-requisitos.

Obter detalhes para a instância do Azure Data Manager for Energy

  • Você precisa de uma instância do Azure Data Manager for Energy. Se você ainda não tiver um, crie um seguindo as etapas em Guia de início rápido: criar uma instância do Azure Data Manager for Energy.

  • Para este tutorial, você precisa dos seguintes parâmetros:

    Parâmetro Valor a utilizar Exemplo Onde encontrar este valor
    CLIENT_ID ID da aplicação (cliente) 3dbbbcc2-f28f-44b6-a5ab-xxxxxxxxxxxx Você usa este aplicativo ou ID de cliente ao registrar o aplicativo com a plataforma de identidade da Microsoft. Consulte Registar uma candidatura.
    CLIENT_SECRET Segredos de cliente _fl****************** Às vezes chamado de senha de aplicativo, um segredo do cliente é um valor de cadeia de caracteres que seu aplicativo pode usar no lugar de um certificado para se identificar. Veja Adicionar um segredo do cliente.
    TENANT_ID ID do Diretório (inquilino) 72f988bf-86f1-41af-91ab-xxxxxxxxxxxx Passe o cursor sobre o nome da sua conta no portal do Azure para obter o diretório ou a ID do locatário. Como alternativa, procure e selecione ID do Locatário de Propriedades>do Microsoft Entra ID>no portal do Azure.
    SCOPE ID da aplicação (cliente) 3dbbbcc2-f28f-44b6-a5ab-xxxxxxxxxxxx Esse valor é o mesmo que o ID do aplicativo ou do cliente mencionado anteriormente.
    refresh_token Atualizar valor de token 0.ATcA01-XWHdJ0ES-qDevC6r........... Siga Como gerar um token de autenticação para criar um token de atualização e salvá-lo. Você precisará desse token de atualização posteriormente para gerar um token de usuário.
    DNS URI <instance>.energy.Azure.com Encontre esse valor na página de visão geral da instância do Azure Data Manager for Energy.
    data-partition-id Partições de dados <instance>-<data-partition-name> Encontre esse valor na página de visão geral da instância do Azure Data Manager for Energy.

Siga o guia Gerenciar usuários para adicionar direitos apropriados para o usuário que está executando este tutorial.

Configurar o Postman e executar pedidos

  1. Transfira e instale a aplicação de ambiente de trabalho Postman .

  2. Importe os seguintes arquivos para o Postman:

    Para importar a coleção do Postman e as variáveis de ambiente, siga as etapas em Importando dados para o Postman.

  3. Atualize VALOR ATUAL para o ambiente Postman com as informações obtidas nos detalhes da instância do Azure Data Manager for Energy.

  4. A coleção Postman para ingestão do analisador CSV contém 10 solicitações que você deve executar sequencialmente.

    Certifique-se de escolher Ingestion Workflow Environment antes de acionar a coleção Postman.

    Screenshot of the Postman environment.

  5. Acione cada solicitação selecionando o botão Enviar .

    Em cada solicitação, o Postman valida o código de resposta da API real em relação ao código de resposta esperado. Se houver alguma incompatibilidade, a seção de teste indica falhas.

Aqui está um exemplo de uma solicitação bem-sucedida do carteiro:

Screenshot of a successful Postman call.

Aqui está um exemplo de uma solicitação de carteiro com falha:

Screenshot of a failed Postman call.

Ingerir dados de poços usando o Postman

Para ingerir um arquivo CSV de dados de poço de exemplo na instância do Azure Data Manager for Energy usando a coleção Postman, conclua as seguintes etapas:

  1. Obter um token de acesso de usuário: gere o token de usuário, que será usado para autenticar outras chamadas de API.

  2. Criar um esquema: gere um esquema que adere às colunas presentes no arquivo CSV.

  3. Obter detalhes do esquema: obtenha o esquema criado na etapa anterior e valide-o.

  4. Criar uma tag legal: crie uma tag legal que será adicionada aos dados CSV para fins de conformidade de dados.

  5. Obter um URL assinado para carregar um arquivo CSV: obtenha o caminho de URL assinado para o qual o arquivo CSV será carregado.

  6. Carregue um ficheiro CSV: Transfira o exemplo Wellbore.csv para a sua máquina local e, em seguida, selecione este ficheiro no Postman clicando no botão Selecionar Ficheiro.

    Screenshot of uploading a CSV file.

  7. Carregar metadados de arquivo CSV: carregue as informações de metadados do arquivo, como localização do arquivo e outros campos relevantes.

  8. Criar um fluxo de trabalho de ingestão do analisador CSV: crie o gráfico acíclico direcionado (DAG) para o fluxo de trabalho de ingestão do analisador CSV.

  9. Acionar um fluxo de trabalho de ingestão do analisador CSV: acione o DAG para o fluxo de trabalho de ingestão do analisador CSV.

  10. Pesquisar por ingestão do analisador CSV ingerido Status do fluxo de trabalho: obtenha o status da execução do DAG do analisador CSV.

Pesquise dados de poços ingeridos usando o Postman

Para pesquisar os registros de metadados de armazenamento criados durante a ingestão de CSV usando a coleção Postman, conclua a seguinte etapa:

  • Pesquisar registros CSV ingeridos: pesquise os registros CSV criados anteriormente.

    Screenshot of searching ingested CSV records.

Próximo passo

Avance para o tutorial seguinte:

Tutorial: Executar a ingestão de arquivos com base em manifesto