Copiar dados do servidor HDFS utilizando o Azure Data Factory ou Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como copiar dados do servidor do HDFS (Sistema de Arquivos Distribuído Hadoop). Para saber mais, leia o artigo introdutório do Azure Data Factory e do Synapse Analytics.

Funcionalidades com suporte

Há suporte para este conector do HDFS para as seguintes funcionalidades:

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Especificamente, o conector HDFS dá suporte a:

• Cópia de arquivos usando autenticação Windows (Kerberos) ou Anônima.
• Cópia de arquivos usando o protocolo webhdfs ou suporte à DistCp interna.
• Cópia de arquivos no estado em que se encontram ou análise ou geração de arquivos com os formatos de arquivo e codecs de compactação com suporte.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

• A ferramenta Copiar Dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• PowerShell do Azure
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado ao HDFS usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao HDFS na interface do usuário do portal do Microsoft Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Pesquise HDFS e selecione o conector HDFS.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções que se seguem fornecem detalhes sobre as propriedades que são usadas para definir entidades do Data Factory específicas ao HDFS.

Propriedades do serviço vinculado

As propriedades a seguir têm suporte para o serviço vinculado do HDFS:

Exemplo: usando a autenticação anônima

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Anonymous",
            "userName": "hadoop"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: usando a autenticação do Windows

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Windows",
            "userName": "<username>@<domain>.com (for Kerberos auth)",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades que estão disponíveis para definir conjuntos de dados, consulte Conjuntos de Dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são suportadas para o HDFS nas configurações de location no conjunto de dados baseado no formato:

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "HdfsLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir as atividades, confira Pipelines e atividades. Esta seção fornece uma lista das propriedades com suporte pela fonte HDFS.

HDFS como fonte

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades têm suporte para HDFS nas configurações de storeSettings na origem de cópia baseada em formato:

Exemplo:

"activities":[
    {
        "name": "CopyFromHDFS",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "HdfsReadSettings",
                    "recursive": true,
                    "distcpSettings": {
                        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
                        "tempScriptPath": "/usr/hadoop/tempscript",
                        "distcpOptions": "-m 100"
                    }
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento resultante se você usar um filtro curinga com o caminho da pasta e o nome de arquivo.

Exemplos de lista de arquivos

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na origem da atividade Copy. Ela assume que você tem a seguinte estrutura de pasta de origem e quer copiar os arquivos em negrito:

Usar DistCp para copiar dados do HDFS

O DistCp é uma ferramenta de linha de comando nativa do Hadoop para fazer uma cópia distribuída em um cluster Hadoop. Quando você executa um comando no DistCp, ele lista primeiro todos os arquivos a serem copiados e depois cria vários trabalhos de mapa no cluster Hadoop. Cada trabalho de mapa faz uma cópia binária da origem para o coletor.

A atividade Copy dá suporte ao uso de DistCp para copiar arquivos no estado em que se encontram para o armazenamento de Blob do Azure (incluindo cópia em etapas) ou em um Data Lake Store do Azure. Nesse caso, o DistCp pode aproveitar a potência do cluster em vez de ser executado no runtime de integração auto-hospedada. Com o DistCp, você terá uma melhor taxa de transferência de cópia, especialmente se o cluster for muito avançado. Com base na configuração, a atividade Copy constrói automaticamente um comando DistCp, envia os dados para o cluster Hadoop e monitora o status da cópia.

Pré-requisitos

Para usar o DistCp para copiar arquivos no estado em que se encontram do HDFS para o armazenamento Blob do Azure (incluindo cópia em etapas) ou para o Data Lake Store do Azure, verifique se o cluster Hadoop atende aos seguintes requisitos:

• Os serviços MapReduce e YARN estão habilitados.

• A versão do YARN é 2.5 ou mais recente.

• O servidor do HDFS está integrado com o armazenamento de dados de destino: armazenamento Blob do Azure ou Azure Data Lake Storage (ADLS Gen1) :

  • O FileSystem do Blob do Azure tem suporte nativo desde o Hadoop 2.7. Você só precisa especificar o caminho JAR na configuração de ambiente do Hadoop.
  • O FileSystem do Azure Data Lake Store está empacotado desde o Hadoop 3.0.0-alpha1. Se a versão do cluster do Hadoop for anterior à versão, você precisará importar manualmente os pacotes JAR relacionados ao Azure Data Lake Store (azure-datalake-store.jar) para o cluster aquie especificar o caminho do arquivo JAR na configuração do ambiente do Hadoop.

• Prepare uma pasta temporária no HDFS. Essa pasta temporária é usada para armazenar um script de shell do DistCp, portanto, ela ocupa espaço em nível de banco de dados.

• Verifique se a conta de usuário fornecida no serviço vinculado do HDFS tem permissão para:

  • Enviar um aplicativo no YARN.
  • Criar uma subpasta e ler/gravar arquivos na pasta temporária.

Configurações

Para as configurações e exemplos relacionados ao DistCp, vá para a seção HDFS como origem.

Usar a autenticação Kerberos para o conector HDFS

Há duas opções de configuração do ambiente local para usar a autenticação Kerberos para o conector HDFS. Você pode escolher a que melhor se adapta à sua situação.

• Opção 1: ingressar no computador de runtime de integração auto-hospedada no realm Kerberos
• Opção 2: habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Para qualquer opção, certifique-se de ativar o webhdfs para o cluster Hadoop:

1. Crie a entidade de segurança HTTP e keytab para webhdfs.

   Importante

   A entidade de segurança HTTP Kerberos deve começar com "HTTP/ " de acordo com a especificação de HTTP SPNEGO Kerberos. Saiba mais aqui.

   Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
   Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>
   

2. Opções de configuração do HDFS: adicione as três propriedades a seguir no hdfs-site.xml.

   <property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.principal</name>
       <value>HTTP/_HOST@<REALM.COM></value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.keytab</name>
       <value>/etc/security/keytab/spnego.service.keytab</value>
   </property>
   

Opção 1: ingressar no computador de runtime de integração auto-hospedada no realm Kerberos

Requisitos

• O computador de runtime de integração auto-hospedada precisa ingressar no realm Kerberos e não pode ingressar em nenhum domínio do Windows.

Como configurar

No servidor do KDC:

Crie um principal e especifique a senha.

Kadmin> addprinc <username>@<REALM.COM>

No computador de runtime de integração auto-hospedada:

1. Execute o utilitário Ksetup para configurar o realm e servidor KDC (Centro de Distribuição de Chaves) do Kerberos.

   O computador deve ser configurado como um membro de um grupo de trabalho porque um realm Kerberos é diferente de um domínio do Windows. Você pode obter essa configuração ao definir o realm Kerberos e adicionar um servidor KDC executando os comandos a seguir. Substitua o REALM.COM com o seu próprio nome do realm.

   C:> Ksetup /setdomain REALM.COM
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   Depois de executar esses comandos, reinicie o computador.

2. Verifique a configuração com o comando Ksetup. A saída deverá ser como a seguinte:

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

Em seu data factory ou workspace do Synapse:

• Configure o conector HDFS usando a autenticação do Windows com o nome da entidade de segurança e a senha Kerberos para se conectar à fonte de dados HDFS. Para detalhes de configuração, verifique a seção Propriedades do serviço vinculado HDFS.

Opção 2: habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Requisitos

• O computador de runtime de integração auto-hospedada deve ingressar em um domínio do Windows.
• Você precisa de permissão para atualizar as configurações do controlador de domínio.

Como configurar

No servidor do KDC:

1. Edite a configuração do KDC no arquivo krb5.conf para permitir que o KDC confie no domínio do Windows referindo-se ao modelo de configuração a seguir. Por padrão, a configuração está localizada em /etc/krb5.conf.

   [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
   
   [realms]
    REALM.COM = {
     kdc = node.REALM.COM
     admin_server = node.REALM.COM
    }
   AD.COM = {
    kdc = windc.ad.com
    admin_server = windc.ad.com
   }
   
   [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
   
   [capaths]
    AD.COM = {
     REALM.COM = .
    }
   

   Depois de configurar o arquivo, reinicie o serviço KDC.

2. Prepare uma entidade de segurança chamada krbtgt/REALM.COM@AD.COM no servidor KDC com o seguinte comando:

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM
   

3. No arquivo de configuração de serviço do HDFS hadoop.security.auth_to_local, adicione RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//.

No controlador de domínio:

1. Execute o seguinte comando Ksetup para adicionar uma entrada de realm:

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Estabeleça a confiança do domínio do Windows para o realm do Kerberos. [password] é a senha da entidade de segurança krbtgt/REALM.COM@AD.COM.

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]
   

3. Selecione o algoritmo de criptografia que é usado no Kerberos.

   a. Selecione Gerenciador do Servidor>Gerenciamento de Política de Grupo>Domínio>Objetos de Política de Grupo>Política de Domínio Ativa ou Padrãoe depois selecione Editar.

   b. No painel Editor de Gerenciamento de Política de Grupo, selecione Configuração do Computador>Políticas>Configuração do Windows>Configurações de Segurança>Políticas Locais>Opções de Segurança e depois configure Segurança de rede: configurar tipos de criptografia permitidos para Kerberos.

   c. Selecione o algoritmo de criptografia que deseja usar ao se conectar ao servidor KDC. Você pode selecionar todas as opções.

   

   d. Use o comando Ksetup para especificar o algoritmo de criptografia a ser usado no realm especificado.

   C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96
   

4. Crie o mapeamento entre a conta de domínio e a entidade de segurança do Kerberos para usar a entidade de segurança do Kerberos no domínio do Windows.

   a. Selecione Ferramentas administrativas>Computadores e Usuários do Active Directory.

   b. Configure os recursos avançados selecionando Exibição>Recursos Avançados.

   c. No painel Recursos Avançados, clique com o botão direito do mouse na conta para a qual você deseja criar mapeamentos e, no painel Mapeamentos de Nome, selecione a guia Nomes Kerberos.

   d. Adicione uma entidade de segurança do realm.

   

No computador de runtime de integração auto-hospedada:

• Execute o comando Ksetup a seguir para adicionar uma entrada de realm.

  C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
  C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
  

Em seu data factory ou workspace do Synapse:

• Configure o conector HDFS usando a autenticação do Windows com a conta de domínio ou a entidade de segurança Kerberos para se conectar à fonte de dados HDFS. Para obter os detalhes de configuração, confira a seção Propriedades do serviço vinculado do HDFS.

Pesquisar propriedades de atividade

Para obter informações sobre as propriedades da atividade de pesquisa, confira Atividade de pesquisa.

Excluir propriedades da atividade

Para obter informações sobre as propriedades da atividade de exclusão, confira Atividade de exclusão.

Modelos herdados

Modelo de conjunto de dados herdado

Exemplo:

{
    "name": "HDFSDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem de atividade Copy herdado

Exemplo: Fonte HDFS na atividade Copy usando DistCp

"source": {
    "type": "HdfsSource",
    "distcpSettings": {
        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
        "tempScriptPath": "/usr/hadoop/tempscript",
        "distcpOptions": "-m 100"
    }
}

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como origens e coletores pela atividade Copy, confira a tabela Armazenamentos de dados com suporte.