Tutorial: Criar e gerenciar dados exportados

Se leu o tutorial de análise de custo, você está familiarizado com o download manual dos dados do Gerenciamento de Custos. No entanto, você pode criar uma tarefa recorrente que exporta automaticamente seus dados de Gerenciamento de Custos para o Armazenamento do Azure com uma frequência diária, semanal ou mensal. Os dados exportados estão no formato CSV e contêm todas as informações coletadas pelo Gerenciamento de Custos da Microsoft. Em seguida, você pode usar os dados exportados no Armazenamento do Azure com sistemas externos e combiná-los com seus próprios dados personalizados. Você também pode usar os dados exportados em um sistema externo, tal como um painel ou outro sistema financeiro.

Assista ao vídeo Como agendar exportações para o armazenamento com o Gerenciamento de Custos para saber como criar uma exportação agendada dos seus dados de custos do Azure para o Armazenamento do Azure. Para assistir a outros vídeos, visite o Canal do YouTube do Gerenciamento de Custos.

Os exemplos neste tutorial orientam você ao exportar os dados do Gerenciamento de Custos e, em seguida, verificar se eles foram exportados com êxito.

Neste tutorial, você aprenderá como:

Pré-requisitos

A exportação de dados está disponível para diversos tipos de conta do Azure, incluindo clientes do EA (Contrato Enterprise) e do Contrato de Cliente da Microsoft. Para exibir a lista completa dos tipos de contas compatíveis, confira Entender os dados do Gerenciamento de Custos. Há suporte para as seguintes permissões ou escopos do Azure por assinatura para exportações de dados por usuário e por grupo. Para obter mais informações sobre escopos, consulte Entender e trabalhar com escopos.

• Proprietário – pode criar, modificar ou excluir exportações agendadas de uma assinatura.
• Colaborador – pode criar, modificar ou excluir suas próprias exportações agendadas. Pode modificar o nome de exportações agendadas criadas por outras pessoas.
• Leitor – pode agendar exportações às quais tem permissão.
  • Para obter mais informações sobre escopos, incluindo o acesso necessário para configurar exportações para os escopos do Contrato Enterprise e do Contrato de Cliente da Microsoft, confira Entender e trabalhar com escopos .

Para contas de Armazenamento do Azure:

• São necessárias permissões de gravação para alterar a conta de armazenamento configurada, independentemente das permissões de exportação.
• Sua conta de Armazenamento do Azure precisa ser configurada para o Armazenamento de Blobs ou de Arquivos.
• Não configure as exportações para um contêiner de armazenamento quando configurado como um destino em uma regra de replicação de objeto.
• Para exportar para contas de armazenamento com firewalls configurados, você precisará de outros privilégios na conta de armazenamento. Os outros privilégios só são necessários durante a criação ou modificação da exportação. Eles são:
  • Função de proprietário na conta de armazenamento. Ou
  • Qualquer função personalizada com permissões de Microsoft.Authorization/roleAssignments/write e Microsoft.Authorization/permissions/read. Além disso, habilite a opção Permitir acesso de serviço confiável do Azure à conta de armazenamento ao configurar o firewall. Se você quiser usar a API REST de Exportações para gerar exportações para uma conta de armazenamento localizada atrás de um firewall, utilize a versão 2023-08-01 ou posterior da API. Todas as versões da API mais recentes continuam oferendo suporte às exportações por trás do firewall.
• A configuração da conta de armazenamento precisa ter a opção Escopo permitido para operações de cópia (versão prévia) definida como De qualquer conta de armazenamento.

Se você tiver uma nova assinatura, não poderá usar imediatamente os recursos do Gerenciamento de Custos. Poderá levar até 48 horas para você poder usar todos os recursos do Gerenciamento de Custos.

Entrar no Azure

Entre no Portal do Azure em https://portal.azure.com.

Criar uma exportação diária

az costmanagement export delete --name DemoExport --scope "subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e"

Install-Module -Name Az.CostManagement

Remove-AzCostManagementExport -Name DemoExport -Scope 'subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e'

Configure as exportações para as contas de armazenamento com um firewall

Se precisar exportar para uma conta de armazenamento atrás do firewall devido a requisitos de segurança e conformidade, verifique se todos os pré-requisitos foram atendidos.

Habilite a opção Permitir acesso de serviços confiáveis do Azure na conta de armazenamento. Você pode ativá-la ao configurar o firewall da conta de armazenamento, na página Rede. Aqui está uma captura de tela mostrando a página.

Se você não tiver habilitado essa configuração, poderá fazer isso facilmente na página Exportações ao criar uma nova exportação.

Uma identidade gerenciada atribuída pelo sistema é criada para uma nova exportação de trabalho quando criada ou modificada. Você deve ter permissões, porque o Gerenciamento de Custos usa o privilégio para atribuir a função StorageBlobDataContributor à identidade gerenciada. A permissão é restrita ao escopo do contêiner da conta de armazenamento. Depois que o trabalho de exportação for criado ou atualizado, o usuário não precisará ter permissões de Proprietário para as operações de runtime regulares.

Adicione as exportações à lista de serviços confiáveis. Para obter mais informações, confira Acesso confiável com base em uma identidade gerenciada.

Exportar agenda

As exportações agendadas são afetadas pela hora e pelo dia da semana de quando a exportação foi inicialmente criada. Quando você cria uma exportação agendada, cada exportação posterior é executada na mesma frequência. Por exemplo, a exportação é executada diariamente, segundo o horário UTC, em um conjunto de exportação de custos do mês atual definido com uma frequência diária. Da mesma forma, para uma exportação semanal, a exportação é executada todas as semanas no mesmo dia (horário UTC) em que foi agendada. As execuções de exportação individuais podem ocorrer em momentos diferentes ao longo do dia. Portanto, evite usar uma dependência firme na hora exata das execuções de exportação. O tempo de execução depende da carga ativa presente no Azure durante um determinado dia (horário UTC). Quando uma execução de exportação começa, seus dados devem estar disponíveis dentro de quatro horas.

As exportações são agendadas usando o UTC (Tempo Universal Coordenado). A API de exportações sempre usa e exibe UTC.

• Ao criar uma exportação usando a API de exportações, especifique o recurrencePeriod em hora UTC. A API não converte a hora local em UTC.
  • Exemplo – Uma exportação semanal está agendada para sexta-feira, 19 de agosto, com recurrencePeriod definido como 14h. A API recebe a entrada como 14h UTC, sexta-feira, 19 de agosto. A exportação semanal está programada para ser executada todas as sextas-feiras.
• Quando você cria uma exportação no portal do Azure, a hora da data de início é convertida automaticamente na hora UTC equivalente.
  • Exemplo – Uma exportação semanal está agendada para sexta-feira, 19 de agosto, com a hora local 2h IST (UTC+5:30) no portal do Azure. A API recebe a entrada às 20h30 de quinta-feira, 18 de agosto. A exportação semanal está programada para ser executada todas as quintas-feiras.

Cada exportação cria um arquivo e, portanto, as exportações mais antigas não são substituídas.

Criar uma exportação para várias assinaturas

Você pode usar um grupo de gerenciamento para agregar informações de custo da assinatura em um único contêiner. As exportações suportam o escopo do grupo de gerenciamento para o Contrato Enterprise, mas não para o Contrato de Cliente da Microsoft ou outros tipos de assinatura. Também não há suporte para várias moedas nas exportações do grupo de gerenciamento.

As exportações no escopo do grupo de gerenciamento dão suporte apenas a encargos de uso. Não há suporte para compras, incluindo reservas e planos de economia. Também não há suporte para relatórios de custo amortizados. Quando você cria uma exportação do portal do Azure para um escopo de grupo de gerenciamento, o campo de métrica não é mostrado porque ele usa como padrão o tipo de uso. Ao criar uma exportação de escopo do grupo de gerenciamento usando a API REST, escolha ExportType como Usage.

1. Crie um grupo de gerenciamento e atribua assinaturas a ele, caso ainda não tenha feito isso.
2. Na análise de custo, defina o escopo para o grupo de gerenciamento e escolha Selecionar este grupo de gerenciamento.
3. Crie uma exportação no escopo para obter os dados de gerenciamento de custos para as assinaturas do grupo de gerenciamento.

Particionamento de arquivos para grandes conjuntos de dados

Se você tem um Contrato de Cliente da Microsoft, um Contrato de Parceiro da Microsoft ou um Contrato Enterprise, habilite a opção Exportações para dividir o arquivo em várias partições menores e ajudar na ingestão de dados. Ao configurar inicialmente a exportação, defina a configuração Particionamento de Arquivos como Ativada. A configuração está Desativada por padrão.

Se você não tiver um Contrato de Cliente da Microsoft, um Contrato de Parceiro da Microsoft ou um Contrato Enterprise, então não verá a opção Particionamento de Arquivos.

Atualmente não há suporte para particionamento para grupos de recursos ou escopos de grupo de gerenciamento.

Atualizar exportações existentes para usar o particionamento de arquivos

Se você já tiver exportações e quiser configurar o particionamento de arquivos, crie uma exportação. O particionamento de arquivos só está disponível com a versão mais recente das exportações. Pode haver pequenas alterações em alguns dos campos nos arquivos de uso criados.

Se você habilitar o particionamento de arquivos em uma exportação existente, poderá haver pequenas alterações nos campos na saída do arquivo. As alterações ocorrem devido a atualizações feitas nas Exportações depois que você configurou a sua.

Saída do particionamento

Quando o particionamento de arquivos está habilitado, são gerados um arquivo para cada partição de dados na exportação e um arquivo _manifest.json. O manifesto contém um resumo do conjunto de dados completo e informações de cada partição de arquivo nele. Cada partição de arquivo tem cabeçalhos e contém apenas um subconjunto do conjunto de dados total. Para lidar com o conjunto de dados completo, você deve ingerir cada partição da exportação.

Veja um exemplo do arquivo de manifesto _manifest.json.

{
  "manifestVersion": "2021-01-01",
  "dataFormat": "csv",
  "blobCount": 1,
  "byteCount": 160769,
  "dataRowCount": 136,
  "blobs": [
    {
      "blobName": "blobName.csv",
      "byteCount": 160769,
      "dataRowCount": 136,
      "headerRowCount": 1,
      "contentMD5": "md5Hash"
    }
  ]
}

Exportar versões

Quando você cria uma exportação agendada no portal do Azure ou com a API, ela sempre é executada na versão de exportação usada no momento da criação. O Azure mantém as exportações criadas anteriormente na mesma versão, a menos que você as atualize. Isso impedirá alterações nos preços e nos campos do CSV se a versão de exportação for alterada. À medida que a funcionalidade de exportação muda ao longo do tempo, os nomes de campo podem ser alterados e novos campos são adicionados.

Se você quiser usar os dados e os campos mais recentes disponíveis, recomendamos que você crie uma exportação no portal do Azure. Para atualizar uma exportação existente para a versão mais recente, atualize-a no portal do Azure ou com a versão mais recente da API de Exportação. A atualização de uma exportação existente poderá fazer com que você veja pequenas diferenças nos campos e encargos em arquivos que forem produzidos posteriormente.

Verificar se os dados são coletados

Verifique com facilidade se os dados do Gerenciamento de Custos estão sendo coletados e veja o arquivo CSV exportado usando o Gerenciador de Armazenamento do Azure.

Na lista de exportação, selecione o nome da conta de armazenamento. Na página da conta de armazenamento, selecione Abrir no Gerenciador. Se vir uma caixa de confirmação, selecione Sim para abrir o arquivo no Gerenciador de Armazenamento do Azure.

No Gerenciador de Armazenamento, navegue até o contêiner que você deseja abrir e selecione a pasta que corresponde ao mês atual. É mostrada uma lista de arquivos CSV. Selecione um deles e selecione Abrir.

O arquivo é aberto com o programa ou aplicativo definido para abrir as extensões de arquivo CSV. Veja abaixo um exemplo no Excel.

Baixar um arquivo de dados CSV exportado

Para baixar o arquivo CSV, navegue até o arquivo no Gerenciador de Armazenamento do Microsoft Azure e baixe-o.

Exibir o histórico de execuções da exportação

Veja o histórico de execuções da exportação agendada selecionando uma exportação individual na página de lista de exportações. A página de lista de exportações também fornece acesso rápido para ver o runtime das exportações anteriores e a próxima vez em que a exportação será executada. Veja um exemplo que mostra o histórico de execuções.

Selecione uma exportação para exibir o histórico de execuções.

A exportação é executada duas vezes por dia nos primeiros cinco dias do mês

Há duas execuções por dia para os primeiros cinco dias de cada mês depois que você cria uma exportação diária. Uma execução é executada e cria um arquivo com os dados de custo do mês atual. É a execução que está disponível para você ver no histórico de execução. Uma segunda execução também é executada para criar um arquivo com todos os custos do mês anterior. No momento, a segunda execução não está visível no histórico de execuções. O Azure executa a segunda execução para garantir que o arquivo mais recente do mês passado contenha todos os preços exatamente como vistos na sua fatura. É executado porque há casos em que o uso e os preços latentes são incluídos na fatura até 72 horas após o fechamento do mês civil. Para saber mais sobre as atualizações de dados de uso do Gerenciamento de Custos, consulte Atualizações de dados de custo e uso e retenção.

Acessar dados exportados de outros sistemas

Uma das finalidades de exportar os dados do Gerenciamento de Custos é acessar os dados de sistemas externos. Você pode usar um sistema de painéis ou outro sistema financeiro. Tais sistemas variam amplamente, portanto, mostrar um exemplo não seria conveniente. No entanto, você pode obter uma introdução sobre como acessar seus dados nos aplicativos em Introdução ao Armazenamento do Azure.

Perguntas frequentes sobre exportações

Aqui estão algumas perguntas frequentes e respostas sobre exportações.

Por que vejo caracteres embaralhados quando abro os arquivos de custos exportados com o Microsoft Excel?

Se você vir caracteres embaralhados no Excel e usar um idioma asiático, como japonês ou chinês, poderá resolver esse problema com as etapas a seguir:

Para novas versões do Excel:

1. Abra o Excel.
2. Selecione a guia Dados na parte superior.
3. Selecione a opção Do Texto/CSV.
4. Selecione o arquivo CSV que você deseja importar.
5. Na próxima caixa, defina a Origem do arquivo como 65001: Unicode (UTF-8).
6. Selecione Carregar.

Para as versões mais antigas do MS Excel:

1. Abra o Excel.
2. Selecione a guia Dados na parte superior.
3. Selecione a opção Do Texto e, em seguida, selecione o arquivo CSV que você deseja importar.
4. O Excel mostra o Assistente de Importação do Texto.
5. No assistente, selecione a opção Delimitado.
6. No campo Origem do arquivo, selecione 65001: Unicode (UTF-8).
7. Selecione Avançar.
8. Em seguida, selecione a opção Vírgula e selecione Concluir.
9. Na janela de diálogo exibida, selecione OK.

Por que o custo agregado do arquivo exportado difere do custo exibido na Análise de Custos?

Você pode observar discrepâncias entre o custo agregado de um arquivo exportado e o custo exibido na Análise de Custos. Essas diferenças poderão ocorrer se a ferramenta usada para ler e agregar o custo total truncar valores decimais. Esse problema é comum em ferramentas como o Power BI e o Microsoft Excel.

Usando o Power BI

Verifique se as casas decimais estão sendo eliminadas quando os valores de custo são convertidos em números inteiros. A perda de valores decimais pode resultar em perda de precisão e representação incorreta do custo agregado.

Para transformar manualmente uma coluna em um número decimal no Power BI, siga estas etapas:

1. Vá para o modo de exibição Tabela.
2. Selecione Transformar dados.
3. Clique com o botão direito do mouse na coluna necessária.
4. Altere o tipo para Número Decimal.

Usando o Microsoft Excel

Quando você abre um arquivo .csv ou .txt, o Excel pode exibir uma mensagem de aviso se detectar que uma conversão automática de dados está prestes a ocorrer. Selecione a opção Converter quando solicitado para garantir que os números sejam armazenados como números e não como texto. Isso garante o total agregado correto. Para obter mais informações, confira Controlar conversões de dados no Excel para Windows e Mac.

Se a conversão correta não for usada, você obterá um triângulo verde com um erro Number Stored as Text. Esse erro pode resultar na agregação incorreta de encargos, levando a discrepâncias com a análise de custo.

Próximas etapas

Neste tutorial, você aprendeu a:

Avance para o próximo tutorial para otimizar e melhorar a eficiência, identificando recursos ociosos e subutilizados.