Azure Data Lake Storage Gen2

Resumo

Pré-requisitos

• Uma assinatura do Azure. Acesse Obter uma avaliação gratuita do Azure.

• Uma conta de armazenamento que tenha um namespace hierárquico. Siga as instruções em Criar uma conta de armazenamento para criar uma. Este artigo pressupõe que você tenha criado uma conta de armazenamento chamada myadlsg2.

• Verifique se você recebeu uma das seguintes funções na conta de armazenamento: Leitor de Dados de Blob, Colaborador de Dados de Blob ou Proprietário de Dados de Blob.

• Um arquivo de dados de exemplo chamado Drivers.txt localizado em sua conta de armazenamento. Você pode baixar este exemplo do Repositório Git do Azure Data Lake e carregar esse arquivo em sua conta de armazenamento.

Funcionalidades com suporte

• Importação
• Exibição do Sistema de Arquivos
• Exibição de Pasta do CDM

Conectar-se ao Azure Data Lake Storage Gen2 por meio do Power Query Desktop

1. Selecione Azure Data Lake Storage Gen2 na experiência para obter dados. A experiência para obter dados no Power Query Desktop varia entre aplicativos. Para saber mais informações sobre a experiência para obter dados no Power Query Desktop para seu aplicativo, acesse Onde obter dados.

2. Na caixa de diálogo Azure Data Lake Storage Gen2, forneça a URL da sua conta, contêiner ou subpasta do Azure Data Lake Storage Gen2 usando o formato do ponto de extremidade de contêiner. As URLs para o Data Lake Storage Gen2 têm o seguinte padrão:

   https://<accountname>.dfs.core.windows.net/<container>/<subfolder>

   Você também pode selecionar se deseja usar a exibição do sistema de arquivos ou o modo de exibição de pasta do Common Data Model.

   Selecione OK para continuar.

   

3. Se essa for a primeira vez que você está usando esse endereço de URL, será solicitado que você selecione o método de autenticação.

   Se você selecionar o método de Conta organizacional, selecione Entrar para entrar em sua conta de armazenamento. Você será redirecionado à página de entrada da sua organização. Siga os prompts para entrar na conta. Depois de entrar com êxito, selecione Conectar.

   Se você selecionar o método de Chave de conta, insira a chave da conta e selecione Conectar.

   

4. A caixa de diálogo Navegador mostra todos os arquivos na URL fornecida. Verifique as informações e selecione Transformar dados para transformar os dados no Power Query ou Carregar para carregar os dados.

   

Conectar-se ao Azure Data Lake Storage Gen2 por meio do Power Query Online

1. Selecione a opção Azure Data Lake Storage Gen2 na experiência para obter dados. Cada aplicativo acessa de uma forma diferente a experiência para obter dados do Power Query Online. Para saber mais informações sobre como acessar a experiência para obter dados do Power Query Online pelo seu aplicativo, acesse Onde obter dados.

   

2. Em Conectar-se à fonte de dados, insira a URL para a sua conta do Azure Data Lake Storage Gen2. Consulte Limitações para determinar a URL a ser usada.

   

3. Selecione se deseja usar a exibição do sistema de arquivos ou o modo de exibição de pasta do Common Data Model.

4. Se necessário, selecione o gateway de dados local em Gateway de dados.

5. Selecione Entrar para entrar na conta do Azure Data Lake Storage Gen2. Você será redirecionado à página de entrada da sua organização. Siga os prompts para entrar na conta.

6. Depois de entrar, selecione Avançar.

7. A página Escolher dados mostra todos os arquivos na URL fornecida. Verifique as informações e selecione Transformar Dados para transformar os dados no Power Query.

   

Limitações

Subpasta ou arquivo sem suporte no Power Query Online

Atualmente, no Power Query Online, o conector do Azure Data Lake Storage Gen2 dá suporte apenas a caminhos com contêineres e não a subpastas ou arquivos. Por exemplo, https://<accountname>.dfs.core.windows.net/<container> funcionará, enquanto https://<accountname>.dfs.core.windows.net/<container>/<filename> ou https://<accountname>.dfs.core.windows.net/<container>/<subfolder> falhará.

Atualizar autenticação

A Microsoft não dá suporte à atualização de fluxo de dados ou modelo semântico usando a autenticação OAuth2 quando a conta do ADLS (Azure Data Lake Storage Gen2) está em um locatário diferente. Essa limitação só se aplica ao ADLS quando o método de autenticação é o OAuth2, ou seja, quando você tenta se conectar a um ADLS entre locatários usando uma conta do Microsoft Entra ID. Nesse caso, recomendamos que você use um método de autenticação diferente do OAuth2/Microsoft Entra ID, como o método de autenticação por chave.

Requisitos de rede e firewall

Ao criar um fluxo de dados usando um gateway, talvez seja necessário alterar algumas das configurações de proxy ou portas do firewall para se conectar com êxito ao data lake do Azure. Se um fluxo de dados falhar com uma atualização associada ao gateway, poderá ser devido a um problema de firewall ou proxy no gateway para os pontos de extremidade de armazenamento do Azure.

Se você estiver usando um proxy com seu gateway, talvez seja necessário configurar o arquivo Microsoft.Mashup.Container.NetFX45.exe.config no gateway de dados local. Para mais informações: Definir as configurações de proxy do gateway de dados local.

Para habilitar a conectividade da rede com o data lake do Azure, talvez seja necessário habilitar endereços IP específicos da lista no computador do gateway. Por exemplo, se sua rede tiver alguma regra de firewall em vigor que possa bloquear essas tentativas, você precisará desbloquear as conexões de rede de saída para o data lake do Azure. Para habilitar a lista dos endereços de saída necessários, use a marca de serviço AzureDataLake. Para mais informações: Marcas de serviço de rede virtual

Os fluxos de dados também dão suporte à opção "Traga seu próprio" data lake, o que significa que você pode criar o seu data lake, gerenciar suas permissões e conectá-lo explicitamente ao fluxo de dados. Nesse caso, ao se conectar ao ambiente de desenvolvimento ou de produção usando uma Conta organizacional, você deverá habilitar uma das seguintes funções para a conta de armazenamento: Leitor de Dados de Blob, Colaborador de Dados de Blob ou Proprietário de Dados de Blob.

O Power Query Online e o armazenamento do Azure estão na mesma região

Não há suporte para acesso direto a uma conta de armazenamento do Azure com o firewall habilitado e na mesma região que o Power Query Online. Essa limitação ocorre porque os serviços do Power Query, quando implantados na mesma região da conta de armazenamento do Azure, usam endereços IP privados do Azure para comunicação. Para obter mais detalhes, confira a documentação do Azure sobre segurança da rede de armazenamento.

Para contornar essa limitação e habilitar o acesso ao armazenamento do Azure no Power Query Online na mesma região, use um dos seguintes métodos:

• Utilize um Gateway de dados local, que serve como uma ponte entre o Power Query Online e o armazenamento do Azure.
• Use um Gateway de dados de rede virtual (VNet).

Confira também

• Analisar dados no Azure Data Lake Storage Gen2 usando o Power BI
• Introdução ao Azure Data Lake Storage Gen2