Copiar dados do servidor HDFS usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como copiar dados do servidor Hadoop Distributed File System (HDFS). Para saber mais, leia os artigos introdutórios do Azure Data Factory e do Synapse Analytics.

Capacidades suportadas

Este conector HDFS é suportado para as seguintes capacidades:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Especificamente, o conector HDFS suporta:

• Copiar ficheiros utilizando o Windows (Kerberos) ou autenticação anónima.
• Copiar ficheiros utilizando o protocolo webhdfs ou suporte DistCp incorporado.
• Copiando arquivos como estão ou analisando ou gerando arquivos com os formatos de arquivo suportados e codecs de compressão.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Começar agora

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• A ferramenta Copiar dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• Azure PowerShell
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado ao HDFS usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao HDFS na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de Dados do Azure
   • Azure Synapse

   

2. Procure HDFS e selecione o conector HDFS.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas do HDFS.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado HDFS:

Exemplo: usando a autenticação anônima

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Anonymous",
            "userName": "hadoop"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: usando a autenticação do Windows

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Windows",
            "userName": "<username>@<domain>.com (for Kerberos auth)",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são suportadas para HDFS em location configurações no conjunto de dados baseado em formato:

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "HdfsLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Pipelines e atividades. Esta seção fornece uma lista de propriedades suportadas pela fonte HDFS.

HDFS como fonte

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são suportadas para HDFS em storeSettings configurações na fonte de cópia baseada em formato:

Exemplo:

"activities":[
    {
        "name": "CopyFromHDFS",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "HdfsReadSettings",
                    "recursive": true,
                    "distcpSettings": {
                        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
                        "tempScriptPath": "/usr/hadoop/tempscript",
                        "distcpOptions": "-m 100"
                    }
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante se você usar um filtro curinga com o caminho da pasta e o nome do arquivo.

Exemplos de lista de ficheiros

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na fonte de atividade Copiar. Ele pressupõe que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos que estão em negrito:

Use o DistCp para copiar dados do HDFS

O DistCp é uma ferramenta de linha de comando nativa do Hadoop para fazer uma cópia distribuída em um cluster Hadoop. Quando você executa um comando no DistCp, ele primeiro lista todos os arquivos a serem copiados e, em seguida, cria vários trabalhos de mapa no cluster Hadoop. Cada trabalho de mapa faz uma cópia binária da origem para o coletor.

A atividade Copiar dá suporte ao uso do DistCp para copiar arquivos como está no armazenamento de Blob do Azure (incluindo cópia em estágios) ou em um repositório de data lake do Azure. Nesse caso, o DistCp pode aproveitar o poder do cluster em vez de ser executado no tempo de execução de integração auto-hospedado. O uso do DistCp fornece uma melhor taxa de transferência de cópia, especialmente se o cluster for muito poderoso. Com base na configuração, a atividade Copiar constrói automaticamente um comando DistCp, envia-o para o cluster Hadoop e monitora o status da cópia.

Pré-requisitos

Para usar o DistCp para copiar arquivos como está do HDFS para o armazenamento de Blob do Azure (incluindo cópia em estágios) ou para o repositório do data lake do Azure, verifique se o cluster Hadoop atende aos seguintes requisitos:

• Os serviços MapReduce e YARN estão habilitados.

• A versão YARN é 2.5 ou posterior.

• O servidor HDFS está integrado com o armazenamento de dados de destino: armazenamento de Blob do Azure ou Repositório Azure Data Lake (ADLS Gen1):

  • O Azure Blob FileSystem tem suporte nativo desde o Hadoop 2.7. Você só precisa especificar o caminho JAR na configuração do ambiente Hadoop.
  • O Sistema de Arquivos do Repositório Azure Data Lake é empacotado a partir do Hadoop 3.0.0-alpha1. Se sua versão de cluster Hadoop for anterior a essa versão, você precisará importar manualmente pacotes JAR relacionados ao Azure Data Lake Store (azure-datalake-store.jar) para o cluster daqui e especificar o caminho do arquivo JAR na configuração do ambiente Hadoop.

• Prepare uma pasta temporária no HDFS. Essa pasta temporária é usada para armazenar um shell script DistCp, portanto, ocupará espaço no nível KB.

• Verifique se a conta de usuário fornecida no serviço vinculado do HDFS tem permissão para:

  • Submeter uma candidatura em YARN.
  • Crie uma subpasta e arquivos de leitura/gravação na pasta temp.

Configurações

Para obter exemplos e configurações relacionadas ao DistCp, vá para a seção HDFS como origem .

Usar autenticação Kerberos para o conector HDFS

Há duas opções para configurar o ambiente local para usar a autenticação Kerberos para o conector HDFS. Você pode escolher o que melhor se adapta à sua situação.

• Opção 1: Ingressar em uma máquina de tempo de execução de integração auto-hospedada no realm Kerberos
• Opção 2: Habilitar a confiança mútua entre o domínio do Windows e o realm Kerberos

Para qualquer uma das opções, certifique-se de ativar o webhdfs para cluster Hadoop:

1. Crie a entidade HTTP e o keytab para webhdfs.

   Importante

   A entidade de Kerberos HTTP deve começar com "HTTP/" de acordo com a especificação Kerberos HTTP SPNEGO. Saiba mais aqui.

   Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
   Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>
   

2. Opções de configuração do HDFS: adicione as três propriedades a seguir no hdfs-site.xml.

   <property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.principal</name>
       <value>HTTP/_HOST@<REALM.COM></value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.keytab</name>
       <value>/etc/security/keytab/spnego.service.keytab</value>
   </property>
   

Opção 1: Ingressar em uma máquina de tempo de execução de integração auto-hospedada no realm Kerberos

Requisitos

• A máquina de tempo de execução de integração auto-hospedada precisa ingressar no realm Kerberos e não pode ingressar em nenhum domínio do Windows.

Como configurar

No servidor KDC:

Crie uma entidade de segurança e especifique a senha.

Kadmin> addprinc <username>@<REALM.COM>

Na máquina de tempo de execução de integração auto-hospedada:

1. Execute o utilitário Ksetup para configurar o servidor e o território do Centro de Distribuição de Chaves Kerberos (KDC).

   A máquina deve ser configurada como membro de um grupo de trabalho, porque um realm Kerberos é diferente de um domínio do Windows. Você pode obter essa configuração definindo o realm Kerberos e adicionando um servidor KDC executando os seguintes comandos. Substitua REALM.COM pelo seu próprio nome de reino.

   C:> Ksetup /setdomain REALM.COM
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   Depois de executar esses comandos, reinicie o computador.

2. Verifique a configuração com o Ksetup comando. A saída deve ser como:

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

No seu data factory ou espaço de trabalho Synapse:

• Configure o conector HDFS usando a autenticação do Windows juntamente com o nome principal e a senha do Kerberos para se conectar à fonte de dados HDFS. Para obter detalhes de configuração, verifique a seção de propriedades do serviço vinculado HDFS.

Opção 2: Habilitar a confiança mútua entre o domínio do Windows e o realm Kerberos

Requisitos

• A máquina de tempo de execução de integração auto-hospedada deve ingressar em um domínio do Windows.
• Você precisa de permissão para atualizar as configurações do controlador de domínio.

Como configurar

No servidor KDC:

1. Edite a configuração do KDC no arquivo krb5.conf para permitir que o KDC confie no domínio do Windows consultando o seguinte modelo de configuração. Por padrão, a configuração está localizada em /etc/krb5.conf.

   [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
   
   [realms]
    REALM.COM = {
     kdc = node.REALM.COM
     admin_server = node.REALM.COM
    }
   AD.COM = {
    kdc = windc.ad.com
    admin_server = windc.ad.com
   }
   
   [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
   
   [capaths]
    AD.COM = {
     REALM.COM = .
    }
   

   Depois de configurar o arquivo, reinicie o serviço KDC.

2. Prepare uma entidade chamada krbtgt/REALM.COM@AD.COM no servidor KDC com o seguinte comando:

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM
   

3. No hadoop.security.auth_to_local arquivo de configuração do serviço HDFS, adicione RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//.

No controlador de domínio:

1. Execute os seguintes Ksetup comandos para adicionar uma entrada de realm:

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Estabeleça confiança do domínio do Windows para o domínio Kerberos. [password] é a palavra-passe do krbtgt /REALM.COM@AD.COM.

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]
   

3. Selecione o algoritmo de criptografia usado no Kerberos.

   a. Selecione Domínio de Gerenciamento de Política de Grupo do Gerenciador>do Servidor, Objetos>de>Política de Grupo>Padrão ou Diretiva de Domínio Ativo e selecione Editar.

   b. No painel Editor de Gerenciamento de Diretiva de Grupo, selecione Diretivas>de Configuração do>Computador, Configurações>do Windows, Configurações>de Segurança, Opções de Segurança de Políticas>Locais e configure Segurança de rede: Configurar tipos de criptografia permitidos para Kerberos.

   c. Selecione o algoritmo de criptografia que deseja usar quando se conectar ao servidor KDC. Você pode selecionar todas as opções.

   

   d. Use o Ksetup comando para especificar o algoritmo de criptografia a ser usado no território especificado.

   C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96
   

4. Crie o mapeamento entre a conta de domínio e a entidade de segurança Kerberos, para que você possa usar a entidade Kerberos no domínio do Windows.

   a. Selecione Ferramentas administrativas>Usuários e Computadores do Ative Directory.

   b. Configure recursos avançados selecionando Exibir>recursos avançados.

   c. No painel Recursos Avançados, clique com o botão direito do mouse na conta para a qual deseja criar mapeamentos e, no painel Mapeamentos de Nome, selecione a guia Nomes Kerberos.

   d. Adicione uma entidade do reino.

   

Na máquina de tempo de execução de integração auto-hospedada:

• Execute os seguintes Ksetup comandos para adicionar uma entrada de realm.

  C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
  C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
  

No seu data factory ou espaço de trabalho Synapse:

• Configure o conector HDFS usando a autenticação do Windows juntamente com sua conta de domínio ou entidade Kerberos para se conectar à fonte de dados HDFS. Para obter detalhes de configuração, consulte a seção Propriedades do serviço vinculado HDFS.

Propriedades da atividade de pesquisa

Para obter informações sobre as propriedades da atividade de pesquisa, consulte Atividade de pesquisa.

Excluir propriedades de atividade

Para obter informações sobre Excluir propriedades de atividade, consulte Excluir atividade.

Modelos antigos

Modelo de conjunto de dados herdado

Exemplo:

{
    "name": "HDFSDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem da atividade de cópia herdada

Exemplo: Origem do HDFS na atividade de cópia usando o DistCp

"source": {
    "type": "HdfsSource",
    "distcpSettings": {
        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
        "tempScriptPath": "/usr/hadoop/tempscript",
        "distcpOptions": "-m 100"
    }
}

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade Copiar, consulte Armazenamentos de dados suportados.