Design de arquitetura de DataOps
DataOps é uma abordagem de ciclo de vida para análise de dados. Ele usa práticas ágeis para orquestrar ferramentas, código e infraestrutura para fornecer rapidamente dados de alta qualidade com segurança aprimorada. Quando você implementa e simplifica processos de DataOps, sua empresa pode fornecer facilmente insights analíticos econômicos. O DataOps permite que você adote técnicas avançadas de dados que podem revelar insights e novas oportunidades.
Existem muitas ferramentas e recursos para implementar processos de DataOps, como:
- Apache NiFi. O Apache NiFi fornece um sistema para processamento e distribuição de dados.
- Azure Data Factory. O Azure Data Factory é um serviço de integração de dados e ETL (extração, transformação e carregamento) baseado em nuvem. Ele permite criar fluxos de trabalho controlados por dados para orquestrar a movimentação de dados e transformar dados em escala.
- Azure Databricks. Use o Azure Databricks para revelar insights de seus dados e criar soluções de IA. Você também pode configurar rapidamente seu ambiente do Apache Spark, dimensionar automaticamente e colaborar em projetos compartilhados.
- Azure Data Lake. Use uma única plataforma de armazenamento de dados para otimizar custos e proteger seus dados com criptografia inativa e proteção avançada contra ameaças.
- Azure Synapse Analytics. Um serviço de análise ilimitado que reúne ingestão de dados, data warehouse empresarial e análise de Big Data.
- Microsoft Purview. O Microsoft Purview é uma solução unificada de governança de dados que ajuda você a gerenciar e controlar seus dados locais, multinuvem e de SaaS (software como serviço).
- Power BI. Unifique dados de várias fontes para criar dashboards interativos e imersivos e relatórios que fornecem insights práticos e geram resultados de negócios.
Apache®, Apache Spark®, Apache NiFi® e NiFi® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.
Introdução ao DataOps no Azure
Se você não tem experiência no DataOps, o melhor lugar para começar é o Microsoft Learn. Essa plataforma online gratuita oferece vídeos, tutoriais e aprendizado prático para vários produtos e serviços.
Os recursos a seguir podem ajudar você a saber mais sobre os principais serviços para DataOps:
- Integrar dados ao Azure Data Factory ou ao Pipeline do Azure Synapse
- Engenharia de dados com o Azure Databricks
- Introdução ao Azure Synapse Analytics
- Analisar e otimizar o armazenamento de data warehouse no Azure Synapse Analytics
- Leitura e gravação de dados no Azure Databricks
- Integrar o Azure Databricks ao Azure Synapse
- Transformar insight em ação combinando SAP e outros dados
- Examinar as visualizações de dados com o Power BI
Caminho de produção
Para ajudar você a começar a produzir DataOps, considere estes recursos:
- Obtenha ajuda para escolher a solução de dados certa com Escolher uma tecnologia de análise de dados e criação de relatórios no Azure.
- Comece a criar seu sistema de armazenamento de dados com Criar um sistema escalonável para dados intensivos.
Práticas recomendadas
Dependendo da tecnologia de DataOps usada, confira os seguintes recursos de melhores práticas:
- Guia do Administrador do Sistema NiFi
- Arquiteturas de contas e melhores práticas do Microsoft Purview
- Integração e entrega contínuas no Azure Data Factory
- Repositórios para integração com o Git
- Implantar e gerenciar capacidades do Power BI Premium
- Integração e distribuição contínuas para um workspace do Azure Synapse Analytics
Você também pode aprender sobre os pilares do Azure Well-Architected Framework, um conjunto de princípios orientadores que você pode usar para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Implementações específicas
Para saber mais sobre arquiteturas específicas de cenário, consulte as soluções nas áreas a seguir.
Data warehouse moderno
Aplique princípios de DevOps a pipelines de dados criados de acordo com o padrão arquitetônico de data warehouses modernos (MDW) com o Microsoft Azure.
Modernizar um mainframe
Modernize os dados de mainframe e de midrange da IBM e use uma abordagem data-first para migrar esses dados para o Azure.
Alterar dados diretamente do Power BI
Forneça funcionalidade de write-back de dados para relatórios do Power BI. Você pode atualizar os dados no Power BI e enviar as alterações de volta para sua fonte de dados.
Fique por dentro de tudo com o DataOps
Veja as atualizações do Azure para ficar por dentro da tecnologia do Azure relacionada a DataOps.
Recursos adicionais
O DataOps usa muitas ferramentas e técnicas para fornecer dados. Os recursos a seguir podem fornecer ajuda em sua jornada de DataOps.
Soluções de exemplo
- Monitoramento do Azure Data Explorer
- Cargas de trabalho de análise de dados para setores regulamentados
- Pipelines de ingestão, ETL e processamento de fluxos com o Azure Databricks
Profissionais da AWS (Amazon Web Services) ou do Google Cloud
Estes artigos fornecem mapeamento de serviço e comparação entre o Azure e outros serviços de nuvem. Essa referência pode ajudar você a crescer rapidamente no Azure.