Copiar dados para/do Azure Cosmos DB for MongoDB usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory e do Synapse Analytics a fim de copiar dados para/do Azure Cosmos DB for MongoDB. O artigo se baseia em Atividade Copy, que apresenta uma visão geral da atividade Copy.

Funcionalidades com suporte

Esse conector do Azure Cosmos DB for MongoDB tem suporte para os seguintes recursos:

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

É possível copiar dados do Azure Cosmos DB for MongoDB para qualquer armazenamento de dados de coletor com suporte ou de qualquer armazenamento de dados de origem com suporte para o Azure Cosmos DB for MongoDB. Para obter uma lista de armazenamentos de dados que o Copy Activity suporta como fontes e coletores, consulte Armazenamentos de dados e formatos compatíveis.

É possível usar o conector do Azure Cosmos DB for MongoDB para o seguinte:

• Copiar dados para/do Azure Cosmos DB for MongoDB.
• Gravar no Azure Cosmos DB como insert ou upsert.
• Importar e exportar documentos JSON no estado em que se encontram, ou copiar dados de ou para um conjunto de dados tabular. Exemplos incluem um Banco de Dados SQL e um arquivo CSV. Para copiar documentos no estado em que se encontram para ou de arquivos JSON de outra coleção do Azure Cosmos DB, confira Importar ou exportar documentos JSON.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

• A ferramenta Copiar Dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• PowerShell do Azure
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado ao Azure Cosmos DB for MongoDB usando a interface do usuário

Siga as etapas a seguir para criar um serviço vinculado ao Azure Cosmos DB for MongoDB na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse, selecione Serviços Vinculados e clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Pesquise o Azure Cosmos DB for MongoDB e selecione o conector.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que podem ser usadas para definir entidades do Data Factory específicas do Azure Cosmos DB for MongoDB.

Propriedades do serviço vinculado

As seguintes propriedades têm suporte para o serviço vinculado do Azure Cosmos DB for MongoDB:

Exemplo

{
    "name": "CosmosDbMongoDBAPILinkedService",
    "properties": {
        "type": "CosmosDbMongoDbApi",
        "typeProperties": {
            "connectionString": "mongodb://<cosmosdb-name>:<password>@<cosmosdb-name>.documents.azure.com:10255/?ssl=true&replicaSet=globaldb",
            "database": "myDatabase",
            "isServerVersionAbove32": "false"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definição de conjuntos de dados, consulte Conjuntos de dados e serviços vinculados. As seguintes propriedades são compatíveis com o conjunto de dados do Azure Cosmos DB for MongoDB:

Exemplo

{
    "name": "CosmosDbMongoDBAPIDataset",
    "properties": {
        "type": "CosmosDbMongoDbApiCollection",
        "typeProperties": {
            "collectionName": "<collection name>"
        },
        "schema": [],
        "linkedServiceName":{
            "referenceName": "<Azure Cosmos DB for MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da Atividade de Cópia

Esta seção fornece uma lista de propriedades compatíveis com a fonte e o coletor do Azure Cosmos DB for MongoDB.

Para obter uma lista completa de seções e propriedades que estão disponíveis para definir atividades, consulte Pipelines.

Azure Cosmos DB for MongoDB como origem

As seguintes propriedades são suportadas na seção source da atividade de cópia:

Exemplo

"activities":[
    {
        "name": "CopyFromCosmosDBMongoDBAPI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Cosmos DB for MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "CosmosDbMongoDbApiSource",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Cosmos DB for MongoDB como coletor

As seguintes propriedades são suportadas na seção Copy Activity sink:

Exemplo

"activities":[
    {
        "name": "CopyToCosmosDBMongoDBAPI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "CosmosDbMongoDbApiSink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importar e exportar documentos JSON

Você pode usar esse conector do Azure Cosmos DB para facilmente:

• Copiar documentos entre duas coleções do Azure Cosmos DB no estado em que se encontram.
• Importar documentos JSON de várias fontes para o Azure Cosmos DB, incluindo no MongoDB, no Armazenamento de Blobs do Azure, no Azure Data Lake Storage e em outros repositórios baseados em arquivo compatíveis com o serviço.
• Exportar documentos JSON de uma coleção do Azure Cosmos DB para vários repositórios baseados em arquivo.

Para obter uma cópia independente de esquema:

• Ao usar a ferramenta Copiar Dados, selecione a opção Exportar no estado em que se encontra para arquivos JSON ou uma coleção do Azure Cosmos DB.
• Ao usar a criação de atividade, escolha o formato JSON com o repositório de arquivos correspondente para a origem ou o coletor.

Mapeamento de esquema

Para copiar dados do Azure Cosmos DB for MongoDB para o coletor tabular ou o revertido, confira o mapeamento de esquema.

Especificamente para gravações no Azure Cosmos DB, a fim de garantir o preenchimento com a ID de objeto correta de seus dados de origem no Azure Cosmos DB, por exemplo, caso você tenha uma coluna "ID" na tabela do banco de dados SQL e deseja usar esse valor como a ID do documento no MongoDB para inserção/upsert, você precisa definir o mapeamento de esquema adequado de acordo com a definição de modo estrito do MongoDB (_id.$oid) da seguinte forma:

Após a cópia de execução da atividade, o ObjectId BSON abaixo é gerado no coletor:

{
    "_id": ObjectId("592e07800000000000000000")
}

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados aos quais a atividade Copy oferece suporte, como fontes e coletores, consulte Armazenamentos de dados compatíveis.