Sincronizando valores de dados de referência

Este artigo fornece uma visão geral dos valores de dados de referência na Plataforma de Dados OSDU e explica como o Azure Data Manager for Energy ajuda você a sincronizá-los com os padrões da comunidade OSDU.

O que são valores de dados de referência e por que são importantes?

Dentro da estrutura da OSDU Data Platform, os valores de dados de referência desempenham um papel crucial para garantir a consistência e a padronização dos dados. Dados de referência referem-se ao conjunto de valores permitidos para atributos a serem usados em vários campos de dados, como dados mestre ou componentes do produto de trabalho. Por exemplo, degree Celsius é um permitido UnitofMeasure, e Billing Address é um permitido AddressType.

Além de permitir a interpretação e colaboração de dados, os dados de referência são necessários para a ingestão de dados por meio do fluxo de trabalho de ingestão de manifesto OSDU. Os manifestos fornecem um contêiner específico para valores de dados de referência, que são usados para validar os dados ingeridos e gerar metadados para descoberta e uso posteriores. Para saber mais sobre a ingestão baseada em manifesto, consulte Conceitos de ingestão baseada em manifesto.

A plataforma de dados OSDU categoriza os valores de dados de referência nos três buckets a seguir:

• Valores FIXOS : Este conjunto de valores de referência é universalmente reconhecido e utilizado em todas as implantações OSDU e no setor de energia. Esses valores não podem ser estendidos ou alterados, exceto por atualizações de governança da comunidade OSDU
• Valores OPEN : A comunidade OSDU fornece uma lista inicial de valores OPEN sobre os quais você pode estender, mas não alterar de outra forma
• Valores LOCAIS : A comunidade OSDU fornece uma lista inicial de valores LOCAIS que você pode alterar, estender ou substituir totalmente

Para obter mais informações sobre os valores de dados de referência OSDU e seus diferentes tipos, consulte Definições de dados OSDU / Definições de dados / Dados de referência.

Configurando a sincronização de valores no Azure Data Manager for Energy

Para ajudá-lo a manter a integridade dos dados e facilitar a interoperabilidade, as novas instâncias do Azure Data Manager for Energy são criadas automaticamente com valores de dados de referência FIXED e OPEN sincronizados de acordo com o conjunto mais recente da comunidade OSDU para a etapa atual suportada pelo Azure Data Manager for Energy. Além disso, você também pode optar por criar novas instâncias com valores LOCAL sincronizados.

Mais tarde, se você criar novas partições de dados na instância do Azure Data Manager for Energy, elas também serão criadas com valores de referência FIXED e OPEN sincronizados. Se você tiver optado por sincronizar adicionalmente valores LOCAIS quando criou a instância pela primeira vez, novas partições também sincronizarão valores LOCAIS da comunidade.

Conforme abordado no artigo Guia de início rápido: criar uma instância do Azure Data Manager for Energy, você pode optar por habilitar a sincronização de valores LOCAL ao criar uma nova instância do Azure Data Manager for Energy. Ao implantar por meio do portal do Azure, você pode habilitar a sincronização LOCAL na guia "Configurações avançadas". Os valores de referência FIXED e OPEN serão sempre sincronizados quando novas instâncias forem criadas.

Ao implantar por meio de modelos ARM, você pode habilitar a sincronização LOCAL definindo a ReferenceDataProperties propriedade como All. Para restringir a sincronização apenas aos valores FIXED e OPEN, defina seu valor como NonLocal.

Tags legais e direitos para valores de referência sincronizados

O Azure Data Manager for Energy define automaticamente Marcas Legais e Direitos para valores de dados de referência à medida que são sincronizados.

Para todos os valores de dados de referência sincronizados, sejam FIXED, OPEN ou LOCAL, Legal Tags são definidos como {data-partition-id}-referencedata-legal, onde {data-partition-id} corresponde ao nome da partição de dados que você forneceu ao configurar a criação de novas partições de dados.

Para Direitos, o Azure Data Manager for Energy cria automaticamente grupos de direitos que você pode usar para controles de acesso. Os grupos são criados para PROPRIETÁRIOS e VISUALIZADORES em valores FIXOS, ABERTOS e LOCAIS:

Os grupos LOCAIS acima só são criados se você optar por sincronizar valores LOCAIS.

Se você estender os valores OPEN após a criação da instância, recomendamos criar e usar diferentes listas de controle de acesso (ACLs) para controlar seu acesso. Por exemplo, data.referencedata-{ORG}.owners@{data_partition_id}.{osdu_domain} e data.referencedata-{ORG}.viewers@{data_partition_id}.{osdu_domain}, onde {ORG} diferencia a ACL da usada para valores OPEN padrão sincronizados na criação.

As atualizações NameAlias não exigem um direito separado. As atualizações no NameAlias campo são regidas pelos mesmos mecanismos de controle de acesso que as atualizações para qualquer outra parte de um registro de armazenamento. Com efeito, o acesso PROPRIETÁRIO confere o direito de atualizar o NameAlias campo.

Âmbito atual da sincronização de valores de dados de referência do Azure Data Manager for Energy

Atualmente, o Azure Data Manager for Energy sincroniza valores de dados de referência na criação de instâncias e na criação de novas partições para instâncias recém-criadas após a ativação de recursos. Os valores de referência são sincronizados com os da comunidade OSDU, correspondendo ao marco OSDU suportado pelo Azure Data Manager for Energy no momento da criação da instância ou partição. Para obter informações sobre a etapa atual suportada e disponível no serviço OSDU do Azure Data Manager for Energy, consulte Serviços OSDU disponíveis no Azure Data Manager for Energy.

Próximos passos

• Guia de início rápido: criar a instância do Azure Data Manager for Energy
• Tutorial: Passos de exemplo para efetuar uma ingestão de ficheiros baseada no manifesto
• Guia de início rápido de carregamento de dados do operador OSDU