Espelhamento do Azure Cosmos DB (Versão prévia)
O espelhamento no Microsoft Fabric fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Azure Cosmos DB com o restante dos dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Azure Cosmos DB diretamente no Fabric OneLake quase em tempo real, sem qualquer impacto no desempenho de suas cargas de trabalho transacionais.
Os dados no OneLake são armazenados no formato delta de código aberto e disponibilizados automaticamente para todos os mecanismos analíticos no Fabric.
Você pode usar o T-SQL para realizar consultas agregadas complexas e o Spark para exploração de dados. Você pode acessar perfeitamente os dados em notebooks, usar a ciência de dados para criar modelos de machine learning e criar relatórios de business intelligence usando o Direct Lake com tecnologia de integração do Copilot.
Importante
O espelhamento para o Azure Cosmos DB está atualmente em versão prévia. Não há suporte para cargas de trabalho de produção durante a versão prévia. No momento, há suporte apenas para contas do Azure Cosmos DB for NoSQL.
Por que usar o espelhamento no Fabric?
Com o Espelhamento in Fabric, você não precisa reunir diferentes serviços de vários fornecedores. Em vez disso, você pode desfrutar de um produto altamente integrado, de ponta a ponta e fácil de usar, projetado para simplificar suas necessidades de análise e desenvolvido para abertura.
Se você estiver procurando análises sobre seus dados operacionais no Azure Cosmos DB, o espelhamento fornece:
- Análise sem ETL econômica quase em tempo real nos dados do Azure Cosmos DB sem afetar o consumo da unidade de solicitação
- Facilidade de trazer dados de várias fontes para o Fabric OneLake
- Otimizações da tabela delta com ordem V para leituras ultrarrápidas
- Integração com um clique com o Power BI com o Direct Lake e o Copilot
- Insights de negócios avançados unindo dados em várias fontes
- Integração de aplicativos mais avançada para acessar consultas e exibições
Os dados do OneLake são armazenados no formato Delta Lake de código aberto, permitindo que você os use com várias soluções dentro e fora da Microsoft. Esse formato de dados ajuda a facilitar a criação de um único estado de dados para suas necessidades analíticas.
Quais experiências de análise são internas?
Os bancos de dados espelhados no Fabric Synapse Data Warehousing são um item diferente do Warehouse e do ponto de extremidade de análise SQL.
Cada banco de dados espelhado do Azure Cosmos DB tem três itens com os quais você pode interagir em seu workspace do Fabric:
- O item do banco de dados espelhado. O espelhamento gerencia a duplicação de dados no OneLake e a conversão para o Parquet, em um formato pronto para análise. Isso possibilita os cenários de downstream, como engenharia de dados, ciência de dados e muito mais.
- Ponto de extremidade de análise do SQL, que é gerado automaticamente
- Modelo semântico padrão, que é gerado automaticamente
Banco de dados espelhado
O banco de dados espelhado mostra o status da replicação e os controles para interromper ou iniciar a replicação no Fabric OneLake. Você também pode visualizar seu banco de dados de origem, no modo somente leitura, usando o data explorer do Azure Cosmos DB. Usando o data explorer, você pode visualizar seus contêineres no banco de dados do Azure Cosmos DB de origem e consultá-los. Essas operações consomem unidades de solicitação (RUs) da sua conta do Azure Cosmos DB. Quaisquer alterações no banco de dados de origem são refletidas imediatamente na visualização do banco de dados de origem do Fabric. Não é permitido gravar no banco de dados de origem a partir do Fabric, pois você só pode visualizar os dados.
Ponto de extremidade de análise do SQL
Cada banco de dados espelhado tem um ponto de extremidade de análise do SQL gerado automaticamente que fornece uma experiência analítica avançada sobre as tabelas Delta do OneLake criadas pelo processo de espelhamento. Você tem acesso a comandos T-SQL familiares que podem definir e consultar objetos de dados, mas não manipular os dados do ponto de extremidade de análise do SQL, pois é uma cópia somente leitura.
Você pode executar as seguintes ações no ponto de extremidade de análise SQL:
- Explore tabelas Delta Lake usando T-SQL. Cada tabela é mapeada para um contêiner do banco de dados do Azure Cosmos DB.
- Crie consultas e exibições sem código e explore-as visualmente sem escrever uma linha de código.
- Reúna e consulte dados em outros bancos de dados espelhados, Warehouses e Lakehouses no mesmo workspace.
Além do SQL do Microsoft Fabric Editor de Consultas, há um amplo ecossistema de ferramentas. Essas ferramentas incluem o Visual Studio Code, o Azure Data Studio, o SQL Server Management Studio e até mesmo o GitHub Copilot. Você pode turbinar a geração de análise e insights a partir da ferramenta de sua escolha.
Modelo semântico
O modelo semântico padrão é um Modelo Semântico do Power BI provisionado automaticamente. Esse recurso permite que as métricas de negócios sejam criadas, compartilhadas e reutilizadas. Para obter mais informações, confira modelos semânticos.
Como funciona a replicação quase em tempo real?
Quando você habilita o espelhamento em seu banco de dados do Azure Cosmos DB, inserções, atualizações e operações de exclusão em seus dados OLTP (processamento de transações online) são replicados continuamente no Fabric OneLake para consumo de análise.
O recurso de backup contínuo é um pré-requisito para espelhamento. Você pode habilitar o backup contínuo de 7 ou 30 dias em sua conta do Azure Cosmos DB.
Observação
O espelhamento não usa o repositório analítico do Azure Cosmos DB nem o feed de alterações como uma fonte de captura de dados de alterações. Você pode continuar a usar esses recursos de forma independente, juntamente com o espelhamento.
Pode levar alguns minutos para replicar seus dados do Azure Cosmos DB no Fabric OneLake. Dependendo do instantâneo inicial dos dados ou da frequência de atualizações/exclusões, a replicação também pode levar mais tempo em alguns casos. A replicação não afeta as unidades de solicitação (RUs) alocadas para suas cargas de trabalho transacionais.
O que esperar do espelhamento
Há algumas considerações e cenários com suporte que você deve considerar antes do espelhamento.
Considerações sobre a instalação
Para espelhar um banco de dados, ele já deve ser provisionado no Azure. Você deve habilitar o backup contínuo na conta como um pré-requisito.
- Você só pode espelhar um único banco de dados por vez. Você pode escolher qual banco de dados espelhar.
- Você pode espelhar o mesmo banco de dados várias vezes no mesmo workspace. Como prática recomendada, uma única cópia do banco de dados pode ser reutilizada em lakehouses, warehouses ou outros bancos de dados espelhados. Você não deve precisar configurar vários espelhamentos para o mesmo banco de dados.
- Você também pode espelhar o mesmo banco de dados em diferentes workloads ou locatários do Fabric.
- As alterações nos contêineres do Azure Cosmos DB, como adicionar novos contêineres e excluir os existentes, são replicadas perfeitamente para o Fabric. Você pode começar a espelhar um banco de dados vazio sem contêineres, por exemplo, e o espelhamento assimila perfeitamente os contêineres adicionados posteriormente.
Suporte para dados aninhados
Os dados aninhados são mostrados como uma cadeia de caracteres JSON em tabelas de ponto de extremidade de análise do SQL. Você pode usar OPENJSON, CROSS APPLY e OUTER APPLY em consultas ou exibições T-SQL para expandir esses dados seletivamente. Se você estiver usando o Power Query, também poderá aplicar a função ToJson para expandir esses dados.
Observação
O Fabric tem uma limitação para colunas de cadeia de caracteres de 8 KB de tamanho. Para obter mais informações, consulte Limitações do data warehouse.
Lidar com as alterações de esquema
O espelhamento replica automaticamente as propriedades nos itens do Azure Cosmos DB, com alterações de esquema. Todas as novas propriedades descobertas em um item são mostradas como novas colunas e as propriedades ausentes, se houver, são representadas como nulas no Fabric.
Se você renomear uma propriedade em um item, as tabelas do Fabric manterão as colunas antigas e novas. A coluna antiga mostrará nulo e a nova mostrará o valor mais recente, para todos os itens que forem replicados após a operação de renomeação.
Se você alterar o tipo de dados de uma propriedade em itens do Azure Cosmos DB, as alterações terão suporte para tipos de dados compatíveis que podem ser convertidos. Se os tipos de dados não forem compatíveis para conversão em Delta, eles serão representados como valores nulos.
As tabelas de ponto de extremidade de análise do SQL convertem tipos de dados Delta em tipos de dados T-SQL.
Nomes de coluna duplicados
O Azure Cosmos DB dá suporte a nomes de coluna que não diferenciam maiúsculas de minúsculas, com base no padrão JSON. O espelhamento dá suporte a esses nomes de coluna duplicados adicionando _n ao nome da coluna, onde n seria um valor numérico.
Por exemplo, se o item do Azure Cosmos DB tiver addressName e AddressName como propriedades exclusivas, as tabelas de malha terão colunas addressName e AddressName_1 correspondentes. Para obter mais informações, confira limitações de replicação.
Segurança
As conexões com seu banco de dados de origem são baseadas em chaves de conta para suas contas do Azure Cosmos DB. Se você girar ou regenerar as chaves, precisará atualizar as conexões para garantir que a replicação funcione. Para mais informações, consulte as Conexões.
As chaves de conta não ficam diretamente visíveis para outros usuários do Fabric depois que a conexão é configurada. Você pode limitar quem tem acesso às conexões criadas no Fabric. As gravações não são permitidas no banco de dados do Azure Cosmos DB a partir do data explorer ou do ponto de extremidade de análise em seu banco de dados espelhado.
No momento, o espelhamento não oferece suporte à autenticação usando chaves de conta somente leitura, logon único (SSO) com IDs do Microsoft Entra e controle de acesso baseado em função ou identidades gerenciadas.
Depois que os dados são replicados no Fabric OneLake, você precisa proteger o acesso a esses dados.
Recursos de proteção de dados
A segurança granular pode ser configurada no banco de dados espelhado no Microsoft Fabric. Para saber mais, veja Permissões granulares no Microsoft Fabric.
Você pode proteger filtros de coluna e filtros de linha com base em predicados em tabelas para funções e usuários no Microsoft Fabric:
- Segurança em nível de linha no data warehouse do Fabric
- Segurança em nível de coluna no armazenamento de dados do Fabric
Você também pode mascarar dados confidenciais de usuários não administradores usando mascaramento dinâmico de dados:
Segurança de rede
Atualmente, o espelhamento não oferece suporte a pontos de extremidade privados ou chaves gerenciadas pelo cliente (CMK) no OneLake. O espelhamento não tem suporte para contas do Azure Cosmos DB com configurações de segurança de rede menos permissivas do que todas as redes, usando pontos de extremidade de serviço, pontos de extremidade privados, endereços IP ou quaisquer outras configurações que possam limitar o acesso à rede pública à conta. As contas do Azure Cosmos DB devem estar abertas a todas as redes para trabalhar com espelhamento.
Recuperação de desastres e latência de replicação
No Fabric, você pode implantar conteúdo em data centers em regiões diferentes da região inicial do locatário do Fabric. Para obter mais informações, consulte Suporte multigeográfico.
Para uma conta do Azure Cosmos DB com uma região de gravação primária e várias regiões de leitura, o espelhamento escolhe a região de leitura do Azure Cosmos DB mais próxima da região onde a capacidade do Fabric está configurada. Essa seleção ajuda a fornecer replicação de baixa latência para espelhamento.
Quando você alterna sua conta do Azure Cosmos DB para uma região de recuperação, o espelhamento seleciona automaticamente a região do Azure Cosmos DB mais próxima novamente.
Observação
O espelhamento não oferece suporte a contas com várias regiões de gravação.
Seus dados do Cosmos DB replicados para o OneLake precisam ser configurados para lidar com interrupções em toda a região. Para obter mais informações, consulte Recuperação de desastres no OneLake.
Explore seus dados com espelhamento
Você pode visualizar e acessar diretamente os dados espelhados no OneLake. Você também pode acessar continuamente os dados espelhados sem movimentação de dados adicional.
Saiba mais sobre como acessar o OneLake usando APIs ou SDK do ADLS Gen2, o Explorador de arquivos do OneLake e o Gerenciador de Armazenamento do Azure.
Você pode se conectar ao ponto de extremidade da análise SQL a partir de ferramentas como o SSMS (SQL Server Management Studio) ou usando drivers como ODBC (Microsoft Open Database Connectivity) e JDBC (Java Database Connectivity). Para saber mais, confira Conectividade do ponto de extremidade de análise do SQL.
Você também pode acessar dados espelhados com serviços como:
- Serviços como o Azure Databricks, o Azure HDInsight ou o Azure Synapse Analytics
- Fabric Lakehouse usando atalhos para cenários de engenharia de dados e ciência de dados
- Outros bancos de dados ou warehouses espelhados no workspace do Fabric
Você também pode criar soluções de arquitetura de medalhão, limpando e transformando os dados que estão chegando ao banco de dados espelhado como a camada bronze. Para obter mais informações, confira suporte à arquitetura de medalhão no Fabric.
Preços
No momento, não há custo para o recurso de espelhamento ou armazenamento de dados espelhados no Fabric durante a visualização pública. O uso de computação para consultar dados via SQL, Power BI ou Spark ainda é cobrado com base na Capacidade do Fabric. Para mais informações, confira Perguntas frequentes: preços.
Se você estiver usando o data explorer no espelhamento do Fabric, acumulará custos típicos com base no uso de unidade de solicitação (RU) para explorar os contêineres e consultar os itens no banco de dados do Azure Cosmos DB de origem. O recurso de backup contínuo do Azure Cosmos DB é um pré-requisito para o espelhamento: aplicam-se cobranças padrão para backup contínuo. Não há cobranças adicionais pelo espelhamento na cobrança de backup contínuo. Para obter mais informações, veja Preços do Azure Cosmos DB.