Mapa de dados elásticos no Microsoft Purview
O Mapa de Dados do Microsoft Purview fornece a base para a descoberta de dados e a governança de dados. Ele captura metadados sobre dados presentes em análise, software como serviço (SaaS) e sistemas operacionais em ambientes híbridos, locais e multicloud. O mapa de dados permanece atualizado com seu sistema interno de verificação e classificação.
Todas as contas do Microsoft Purview têm um mapa de dados que começa em uma unidade de capacidade e pode crescer elasticamente. Eles escalam para cima e para baixo com base na carga de solicitação e nos metadados armazenados no mapa de dados.
Unidade de capacidade do mapa de dados
O mapa de dados elástico tem dois componentes: armazenamento de metadados e taxa de transferência de operação, representados como uma CU (unidade de capacidade). Todas as contas do Microsoft Purview, por padrão, começam com uma unidade de capacidade e crescem elásticamente com base no uso. Cada unidade de capacidade do mapa de dados inclui uma taxa de transferência de 25 operações/s e 10 GB de limite de armazenamento de metadados.
Operações
As operações são a medida de taxa de transferência do Mapa de Dados do Microsoft Purview. Eles incluem todas as operações Criar, Ler, Gravar, Atualizar e Excluir em metadados armazenados no Mapa de Dados. Alguns exemplos de operações são:
- Criar um ativo no Mapa de Dados
- Adicione uma relação a um ativo como proprietário, administrador, pai, linhagem etc.
- Edite um ativo para adicionar metadados de negócios, como descrição, termo glossário etc.
- Pesquisa de palavras-chave retornando resultados para a página de resultados da pesquisa.
Armazenamento
O armazenamento é o segundo componente do Mapa de Dados e inclui o armazenamento de metadados técnicos, empresariais, operacionais e semânticos.
Os metadados técnicos incluem esquema, tipo de dados, colunas e assim por diante, que são descobertos durante a verificação do Microsoft Purview. Os metadados de negócios incluem a automatização (por exemplo, promovida a partir de conjuntos de dados do Power BI ou descrições de tabelas SQL) e marcação manual de descrições, termos glossários e assim por diante. Exemplos de metadados semânticos incluem o mapeamento da coleção para fontes de dados ou classificações. Os metadados operacionais incluem a cópia do Data factory e os status de execução da atividade de fluxo de dados e o tempo de execução.
Trabalhar com mapa de dados elásticos
Mapa de dados elástico com dimensionamento automático – você começa com um Mapa de Dados tão baixo quanto uma unidade de capacidade que pode dimensionar automaticamente com base na carga. Para a maioria das organizações, esse recurso leva a uma economia maior e um ponto de preço mais baixo para iniciar projetos de governança de dados. Esse recurso afeta os preços.
Ingestão de verificação & aprimorada – você pode controlar e controlar a população dos ativos de dados, classificação e linhagem nos processos de verificação e ingestão. Esse recurso afeta os preços.
Cenário
Claudia é administradora do Azure na Contoso que deseja criar uma nova conta do Microsoft Purview a partir de portal do Azure. Ela não sabe o tamanho necessário de Mapa de Dados do Microsoft Purview para apoiar o estado futuro da plataforma. No entanto, ela sabe que o Mapa de Dados do Microsoft Purview é cobrado usando Unidades de Capacidade, que são afetadas pelo armazenamento e pela taxa de transferência de operações. Ela quer criar o menor Mapa de Dados para manter o custo baixo e aumentar o tamanho do Mapa de Dados elásticamente com base no consumo.
Claudia pode criar uma conta do Microsoft Purview com o tamanho padrão do Mapa de Dados de uma unidade de capacidade que pode escalar e reduzir automaticamente. O recurso de dimensionamento automático também permite que a capacidade seja ajustada com base em explosões de dados intermitentes ou planejadas durante períodos específicos. Claudia segue as próximas etapas da experiência de criação para configurar a configuração de rede e concluir a criação.
Na portal do Azure, na guia métricas da conta do Microsoft Purview, Claudia pode ver o consumo da taxa de transferência de armazenamento e operações do Mapa de Dados. Ela ainda pode configurar um alerta quando a taxa de transferência de armazenamento ou operações atingir um determinado limite para monitorar o consumo e a cobrança da nova conta do Microsoft Purview.
Cobrança de mapa de dados
Os clientes são cobrados por uma unidade de capacidade (25 ops/s e 10 GB) e a cobrança extra é baseada no consumo de cada unidade de capacidade extra distribuída até a hora. As operações do Mapa de Dados são dimensionadas nos incrementos de escalas de armazenamento de 25 operações/s e metadados nos incrementos de tamanho de 10 GB. Mapa de Dados do Microsoft Purview pode escalar e reduzir automaticamente dentro da janela de elasticidade (marcar limites atuais). No entanto, para obter o próximo nível de janela de elasticidade, um tíquete de suporte precisa ser criado.
As unidades de capacidade do Mapa de Dados vêm com um limite na taxa de transferência e armazenamento de operações. Se o armazenamento exceder a unidade de capacidade atual, os clientes serão cobrados pela próxima unidade de capacidade, mesmo que a taxa de transferência de operações não seja usada. A tabela abaixo mostra os intervalos de unidade de capacidade do Mapa de Dados. Entre em contato com o suporte se a unidade de capacidade do Mapa de Dados ultrapassar 100 unidades de capacidade.
| Unidade de Capacidade do Mapa de Dados | Taxa de transferência Operations/Sec | Capacidade de armazenamento em GB |
|---|---|---|
| 1 | 25 | 10 |
| 2 | 50 | 20 |
| 3 | 75 | 30 |
| 4 | 100 | 40 |
| 5 | 125 | 50 |
| 6 | 150 | 60 |
| 7 | 175 | 70 |
| 8 | 200 | 80 |
| 9 | 225 | 90 |
| 10 | 250 | 100 |
| .. | .. | .. |
| 100 | 2500 | 1000 |
Exemplos de cobrança
A taxa de transferência de operação do Mapa de Dados do Microsoft Purview para a hora determinada é menor ou igual a 25 Ops/S e o tamanho do armazenamento é de 1 GB. Os clientes são cobrados por uma unidade de capacidade.
A taxa de transferência de operação do Mapa de Dados do Microsoft Purview para a hora determinada é menor ou igual a 25 Ops/S e o tamanho do armazenamento é de 15 GB. Os clientes são cobrados por duas unidades de capacidade.
A taxa de transferência de operação do Mapa de Dados do Microsoft Purview para a hora determinada é de 50 Ops/S e o tamanho do armazenamento é de 15 GB. Os clientes são cobrados por duas unidades de capacidade.
A taxa de transferência de operação do Mapa de Dados do Microsoft Purview para a hora determinada é de 50 Ops/S e o tamanho do armazenamento é de 25 GB. Os clientes são cobrados por três unidades de capacidade.
A taxa de transferência de operação do Mapa de Dados do Microsoft Purview para a hora determinada é de 250 Ops/S e o tamanho do armazenamento é de 15 GB. Os clientes são cobrados por 10 unidades de capacidade.
Exemplo detalhado de cobrança
O exemplo de cobrança do Mapa de Dados mostra um Mapa de Dados com crescente armazenamento de metadados e operações variáveis por segundo em uma janela de seis horas das 12:00 às 18:00. A linha vermelha no grafo é operações por segundo consumo e a linha pontilhada azul é o consumo de armazenamento de metadados nesta janela de seis horas:
Cada unidade de capacidade do Mapa de Dados dá suporte a 25 operações/segundo e 10 GB de armazenamento de metadados. O Mapa de Dados é cobrado por hora. Ele é cobrado pelas unidades máximas de capacidade do Mapa de Dados necessárias dentro de uma hora, com um mínimo de uma unidade de capacidade. Às vezes, você pode precisar de mais operações/segundo dentro de uma hora e mais operações aumentam o número de unidades de capacidade necessárias dentro dessa hora. Em outros momentos, suas operações/segundo uso podem ser baixas, mas você ainda pode precisar de um grande volume de armazenamento de metadados. O armazenamento de metadados é o que determina quantas unidades de capacidade você precisa dentro de uma hora.
A tabela mostra o número máximo de operações/segundo e armazenamento de metadados usado por hora para este exemplo de cobrança:
Com base no consumo de armazenamento de operações/segundo e metadados do Mapa de Dados nesse período, esse Mapa de Dados seria cobrado por 22 horas de unidade de capacidade durante esse período de seis horas (1 + 3 + 4 + 5 + 6 + 3):
Importante
Mapa de Dados do Microsoft Purview pode escalar e reduzir automaticamente dentro da janela de elasticidade (marcar limites atuais). Para obter o próximo nível da janela de elasticidade, um tíquete de suporte precisa ser criado.
Aumentar o limite de taxa de transferência de operações
O limite padrão para operações máximas por segundo é 10 unidades de capacidade. Se você estiver trabalhando com um ambiente grande do Microsoft Purview e exigir uma taxa de transferência maior, poderá solicitar uma maior capacidade de janela de elasticidade criando uma solicitação de cota. Selecione "Unidade de capacidade do mapa de dados" como o tipo de cota. Forneça o máximo de informações relevantes que puder sobre seu ambiente e a capacidade extra que deseja solicitar.
Importante
Não há limite padrão para armazenamento de metadados. À medida que você adiciona mais metadados ao mapa de dados, ele aumentará elasticamente.
Aumentar o limite de taxa de transferência de operações também aumenta o número mínimo de unidades de capacidade. Se você aumentar o limite de taxa de transferência para 20, as unidades de capacidade mínima cobradas serão 2 CUs. A tabela abaixo ilustra as possíveis opções de taxa de transferência. O número que você insere na solicitação de cota é o número mínimo de unidades de capacidade na conta.
| Unidades de capacidade mínima | Limite de taxa de transferência de operações |
|---|---|
| 1 | 10 (Padrão) |
| 2 | 20 |
| 3 | 30 |
| 4 | 40 |
| 5 | 50 |
| 6 | 60 |
| 7 | 70 |
| 8 | 80 |
| 9 | 90 |
| 10 | 100 |
Monitorando o mapa de dados elásticos
As unidades de capacidade do mapa de dados de métricas e o tamanho do armazenamento do mapa de dados podem ser monitorados para entender o tamanho do conjunto de dados e a cobrança.
Acesse o portal do Azure e navegue até a página contas do Microsoft Purview e selecione sua conta do Purview
Selecione Visão geral e role para baixo para observar a seção Monitoramento de Unidades de Capacidade do Mapa de Dados e Métricas de Tamanho de Armazenamento do Mapa de Dados em diferentes períodos de tempo
Para outras configurações, navegue até o Monitoramento --> Métricas para observar as Unidades de Capacidade do Mapa de Dados e o Tamanho do Armazenamento do Mapa de Dados.
Selecione as Unidades de Capacidade do Mapa de Dados para exibir o uso da unidade de capacidade do mapa de dados nas últimas 24 horas. Observe que passar o mouse sobre o grafo de linha indica as unidades de capacidade do mapa de dados consumidas naquele momento específico no dia específico.
Selecione a Hora Local: Últimas 24 horas (automática – 1 hora) na parte superior direita da tela para modificar o intervalo de tempo exibido para o grafo.
Personalize o tipo de grafo selecionando a opção:
Selecione o novo gráfico para adicionar o grafo para o gráfico Tamanho do Armazenamento do Mapa de Dados.
Resumo
Com o Mapa de Dados elástico, o Microsoft Purview fornece uma barreira de baixo custo para que os clientes iniciem sua jornada de governança de dados. Mapa de Dados do Microsoft Purview pode crescer elasticamente com o pagamento à medida que você for modelo começando de tão pequeno quanto uma unidade de capacidade. Os clientes não precisam se preocupar em escolher o tamanho correto do Mapa de Dados para seu patrimônio de dados no momento da criação.