Configurar o Oracle Cloud Storage em uma atividade de cópia

Este artigo descreve como usar a atividade de cópia em um pipeline de dados para copiar dados do Oracle Cloud Storage.

Pré-requisitos

Para copiar dados do Oracle Cloud Storage, consulte Object Storage Amazon S3 Compatibility API para obter os pré-requisitos e a permissão necessária.

Formato suportado

O Oracle Cloud Storage suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

Configuração suportada

Para a configuração de cada guia em uma atividade de cópia, vá para as seguintes seções:

• General (Geral)
• Source
• Mapeamento
• Definições

Geral

Para Configuração da guia Geral , vá para Geral.

Origem

As propriedades a seguir são suportadas para o Oracle Cloud Storage na guia Origem de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Tipo de armazenamento de dados: Selecione Externo.

• Conexão: selecione uma conexão do Oracle Cloud Storage na lista de conexões. Se não houver conexão, crie uma nova conexão com o Oracle Cloud Storage selecionando Novo.

• Tipo de caminho de arquivo: você pode escolher Caminho de arquivo, Prefixo, Caminho de arquivo curinga ou Lista de arquivos como seu tipo de caminho de arquivo. A configuração de cada uma dessas configurações é:

  • Caminho do arquivo: Os dados podem ser copiados do bucket especificado ou do caminho da pasta/arquivo especificado no Caminho do arquivo.

  • Prefixo: especifique o bucket e o prefixo.

    • Bucket: especifique o nome do bucket do Oracle Cloud Storage. É obrigatório.

    • Prefixo: prefixo para o nome da chave do Oracle Cloud Storage sob o bucket especificado para filtrar os arquivos de origem do Oracle Cloud Storage. As chaves do Oracle Cloud Storage cujos nomes começam com given_bucket/this_prefix são selecionadas. Ele utiliza o filtro do lado do serviço do Oracle Cloud Storage, que oferece melhor desempenho do que um filtro curinga.

      

  • Caminho do arquivo curinga: especifique os caminhos Bucket e Wildcard.

    • Bucket: especifique o nome do bucket do Oracle Cloud Storage. É obrigatório.

    • Caminhos curinga: especifique o caminho da pasta ou do arquivo com caracteres curinga sob o bucket especificado para filtrar as pastas ou arquivos de origem.

      Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou a um único caractere). Use ^ para escapar se o nome da pasta tiver um curinga ou esse caractere de escape dentro. Para obter mais exemplos, vá para Exemplos de filtro de pasta e arquivo.

      

      • Caminho da pasta curinga: especifique o caminho da pasta com caracteres curinga sob o bucket especificado para filtrar as pastas de origem.
      • Nome do arquivo curinga: especifique o nome do arquivo com caracteres curinga sob o bucket especificado e o caminho da pasta (ou caminho da pasta curinga) para filtrar os arquivos de origem.

  • Lista de arquivos: especifique o caminho da pasta e o caminho para a lista de arquivos para indicar a cópia de um conjunto de arquivos especificado. Aponte para um arquivo de texto que inclua uma lista de arquivos que você deseja copiar, um arquivo por linha, que é o caminho relativo para o caminho configurado. Para obter mais exemplos, vá para Exemplos de lista de arquivos.

    

    • Caminho da pasta: especifique o caminho para a pasta sob o bucket especificado. É obrigatório.
    • Caminho para a lista de arquivos: especifique o caminho do arquivo de texto que inclui uma lista de arquivos que você deseja copiar.

• Recursivamente: Indica se os dados são lidos recursivamente a partir das subpastas ou apenas a partir da pasta especificada. Quando essa caixa de seleção é marcada e o destino é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no destino.

• Formato de arquivo: Selecione o formato de arquivo aplicado na lista suspensa. Selecione Configurações para configurar o formato de arquivo. Para configurações de diferentes formatos de arquivo, consulte os artigos em Formato suportado.

Em Avançado, você pode especificar os seguintes campos:

• Filtrar pela última modificação: os arquivos são filtrados com base nas datas da última modificação especificadas. Essa propriedade não se aplica quando você configura o tipo de caminho de arquivo como Lista de arquivos.

  • Hora de início (UTC): Os ficheiros são selecionados se a hora da última modificação for igual ou superior à hora configurada.
  • Hora de término (UTC): Os arquivos são selecionados se o tempo da última modificação for menor do que o tempo configurado.

  Quando a hora de início (UTC) tem um valor datetime, mas a hora de término (UTC) é NULL, isso significa que os arquivos cujo atributo da última modificação é maior ou igual ao valor datetime são selecionados. Quando a hora de término (UTC) tem um valor datetime, mas a hora de início (UTC) é NULL, isso significa que os arquivos cujo atributo da última modificação é menor que o valor datetime estão selecionados. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado aos dados.

• Habilitar descoberta de partições: especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como outras colunas de origem. Ele não é selecionado por padrão e não é suportado quando você usa o formato de arquivo binário.

  • Caminho raiz das partições: Quando a descoberta de partições estiver habilitada, especifique o caminho raiz absoluto para ler pastas particionadas como colunas de dados.

    Se não for especificado, por padrão:

    • Quando você usa um caminho de arquivo ou uma lista de arquivos na origem, o caminho raiz da partição é o caminho que você configurou.
    • Quando você usa um filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga.
    • Quando você usa um prefixo, o caminho raiz da partição é o subcaminho antes do último "/".

    Por exemplo, supondo que você configure o caminho como root/folder/year=2020/month=08/day=27:

    • Se você especificar o caminho da raiz da partição como root/folder/year=2020, a atividade de cópia gerará mais duas colunas, mês e dia. Essas colunas têm os valores "08" e "27", respectivamente, além das colunas dentro dos arquivos.
    • Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.

    

• Máximo de conexões simultâneas: o limite superior de conexões simultâneas estabelecido para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.

• Colunas adicionais: adicione mais colunas de dados para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão é suportada para este último.

Mapeamento

Para a configuração da guia Mapeamento , consulte Configurar seus mapeamentos na guia Mapeamento. Se você escolher Binário como formato de arquivo, o mapeamento não será suportado.

Definições

Para a configuração da guia Configurações , consulte Configurar suas outras configurações na guia Configurações.

Resumo da tabela

A tabela a seguir contém mais informações sobre a atividade de cópia no Oracle Cloud Storage.

Fonte da informação

Conteúdos relacionados

• Visão geral do conector do Oracle Cloud Storage