Análise e Business Intelligence (BI) nos seus dados do Azure Cosmos DB
O Azure Cosmos DB oferece várias opções para habilitar análises em larga escala e relatórios de BI em seus dados operacionais.
Para obter informações significativas sobre seus dados do Azure Cosmos DB, talvez seja necessário consultar várias partições, coleções ou bancos de dados. Em alguns casos, você pode combinar esses dados com outras fontes de dados em sua organização, como o Banco de Dados SQL do Azure, o Azure Data Lake Storage Gen2 etc. Você também pode consultar com funções agregadas, como soma, contagem, etc. Essas consultas precisam de poder computacional pesado, o que provavelmente consome mais unidades de solicitação (RUs) e, como resultado, essas consultas podem potencialmente afetar o desempenho da carga de trabalho de missão crítica.
Para isolar cargas de trabalho transacionais do impacto no desempenho de consultas analíticas complexas, os dados do banco de dados são ingeridos todas as noites em um local central usando pipelines complexos de ETL (Extract-Transform-Load). Essas análises baseadas em ETL são complexas e dispendiosas, com insights atrasados sobre dados corporativos.
O Azure Cosmos DB aborda esses desafios fornecendo zero ETL e ofertas de análise econômicas.
ETL zero, análise quase em tempo real no Azure Cosmos DB
O Azure Cosmos DB oferece zero ETL, análise quase em tempo real em seus dados sem afetar o desempenho de suas cargas de trabalho transacionais ou unidades de solicitação (RUs). Essas ofertas eliminam a necessidade de pipelines ETL complexos, tornando seus dados do Azure Cosmos DB perfeitamente disponíveis para mecanismos de análise. Com latência reduzida para insights, você pode fornecer uma experiência aprimorada ao cliente e reagir mais rapidamente a mudanças nas condições de mercado ou no ambiente de negócios. Aqui estão alguns cenários de exemplo que você pode alcançar com informações rápidas sobre seus dados.
Você pode habilitar a análise de ETL zero e os relatórios de BI no Azure Cosmos DB usando as seguintes opções:
- Espelhando seus dados no Microsoft Fabric
- Habilitando o Azure Synapse Link para acessar dados do Azure Synapse Analytics
Opção 1: Espelhando seus dados do Azure Cosmos DB no Microsoft Fabric
O espelhamento permite que você traga diretamente seus dados de banco de dados do Azure Cosmos DB para o Microsoft Fabric. Com ETL zero, você pode obter insights de negócios rápidos e avançados sobre seus dados do Azure Cosmos DB usando os recursos internos de análise, BI e IA do Fabric.
Seus dados operacionais do Cosmos DB são replicados incrementalmente no Fabric OneLake quase em tempo real. Os dados no OneLake são armazenados no formato de código aberto Delta Parquet e disponibilizados para todos os mecanismos analíticos no Fabric. Com acesso aberto, você pode usá-lo com vários serviços do Azure, como Azure Databricks, Azure HDInsight e muito mais. O OneLake também ajuda a unificar seu patrimônio de dados para suas necessidades analíticas. Os dados espelhados podem ser unidos a quaisquer outros dados no OneLake, como Lakehouses, Armazéns ou atalhos. Você também pode unir dados do Azure Cosmos DB com outras fontes de banco de dados espelhadas, como o Banco de Dados SQL do Azure, o Snowflake. Você pode consultar coleções do Azure Cosmos DB ou bancos de dados espelhados no OneLake.
Com o espelhamento na malha, você não precisa reunir serviços diferentes de vários fornecedores. Em vez disso, você pode desfrutar de um produto altamente integrado, completo e fácil de usar, projetado para simplificar suas necessidades de análise. Você pode usar o T-SQL para executar consultas agregadas complexas e o Spark para exploração de dados. Você pode acessar perfeitamente os dados em blocos de anotações, usar a ciência de dados para criar modelos de aprendizado de máquina e criar relatórios do Power BI usando o Direct Lake com base na rica integração do Copilot.
Se você estiver procurando análises em seus dados operacionais no Azure Cosmos DB, o espelhamento fornece:
- ETL zero, análise econômica quase em tempo real nos dados do Azure Cosmos DB sem afetar o consumo da unidade de solicitação (RU)
- Facilidade de trazer dados de várias fontes para o Fabric OneLake.
- Melhor desempenho de consulta do mecanismo SQL manipulando tabelas delta, com otimizações de ordem V
- Tempo de arranque a frio melhorado para o motor Spark com integração profunda com ML/portáteis
- Integração com um clique com o Power BI com Direct Lake e Copilot
- Integração mais rica de aplicativos para acessar consultas e visualizações com o GraphQL
- Acesso aberto de e para outros serviços, como o Azure Databricks
Para começar a usar o espelhamento, visite "Introdução ao tutorial de espelhamento".
Opção 2: Azure Synapse Link para acessar dados do Azure Synapse Analytics
O Azure Synapse Link for Azure Cosmos DB cria uma integração perfeita entre o Azure Cosmos DB e o Azure Synapse Analytics, permitindo zero ETL, análise quase em tempo real nos seus dados operacionais. Os dados transacionais são perfeitamente sincronizados com o repositório analítico, que armazena os dados em formato colunar otimizado para análise.
O Azure Synapse Analytics pode acessar esses dados no repositório analítico, sem movimento adicional, usando o Azure Synapse Link. Analistas de negócios, engenheiros de dados e cientistas de dados agora podem usar o Synapse Spark ou o Synapse SQL de forma intercambiável para executar pipelines de business intelligence, análises e aprendizado de máquina quase em tempo real.
A imagem a seguir mostra a integração do Azure Synapse Link com o Azure Cosmos DB e o Azure Synapse Analytics:
Importante
O espelhamento no Microsoft Fabric agora está disponível em visualização para a API NoSql. Esse recurso fornece todos os recursos do Azure Synapse Link com melhor desempenho analítico, capacidade de unificar seu patrimônio de dados com o Fabric OneLake e acesso aberto aos seus dados no OneLake com o formato Delta Parquet. Se você estiver considerando o Azure Synapse Link, recomendamos que tente espelhar para avaliar o ajuste geral para sua organização. Para começar a usar o espelhamento, clique aqui.
Para começar a usar o Azure Synapse Link, visite "Introdução ao Azure Synapse Link".
Análise e BI em tempo real no Azure Cosmos DB: outras opções
Existem algumas outras opções para habilitar a análise em tempo real nos dados do Azure Cosmos DB:
- Usando o feed de alterações
- Usando o conector Spark diretamente no Azure Cosmos DB
- Usando o conector do Power BI diretamente no Azure Cosmos DB
Embora essas opções estejam incluídas para completude e funcionem bem com consultas de partição única em tempo real, esses métodos têm os seguintes desafios para consultas analíticas:
Impacto no desempenho da sua carga de trabalho:
As consultas analíticas tendem a ser complexas e consomem capacidade computacional significativa. Quando essas consultas são executadas diretamente em seus dados do Azure Cosmos DB, você pode experimentar degradação de desempenho em suas consultas transacionais.
Impacto nos custos:
Quando as consultas analíticas são executadas diretamente em seu banco de dados ou coleções, elas aumentam a necessidade de unidades de solicitação alocadas, pois as consultas analíticas tendem a ser complexas e precisam de mais poder de computação. O aumento do uso de RU provavelmente levará a um impacto significativo nos custos ao longo do tempo, se você executar consultas agregadas.
Em vez dessas opções, recomendamos que você use o Espelhamento no Microsoft Fabric ou no Azure Synapse Link, que fornecem zero análise de ETL, sem afetar o desempenho da carga de trabalho transacional ou as unidades de solicitação.