Obter dados do OneLake
Neste artigo, você aprenderá a obter dados do OneLake em uma tabela nova ou existente.
Pré-requisitos
- Um workspace com uma capacidade habilitada pelo Microsoft Fabric
- Um Lakehouse
- Um banco de dados KQL com permissões de edição
Copiar o caminho da pasta do Lakehouse
No seu workspace, selecione o ambiente Lakehouse que contém a fonte de dados que você deseja usar.
Coloque o cursor sobre o arquivo desejado e selecione o menu Mais (...) e selecione Propriedades.
Importante
- Não há suporte para os caminhos da pasta.
- Não há suporte para os (*) caracteres coringa.
Em URL, selecione o ícone Copiar para área de transferência e salve-o em algum lugar para recuperar em uma etapa posterior.
Retorne ao workspace e selecione um banco de dados KQL.
Fonte
Na faixa de opções inferior do banco de dados KQL, selecione Obter Dados.
Na janela Obter dados, a guia Origem será selecionada.
Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do OneLake.
Configurar
Selecione uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione +Nova tabela e insira um nome de tabela.
Nota
Os nomes de tabela podem ter até 1.024 caracteres, incluindo espaços, alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.
No arquivo do OneLake, cole o caminho da pasta do Lakehouse que você copiou em Copiar caminho do arquivo do Lakehouse.
Nota
Você pode adicionar até 10 itens de até 1 GB de tamanho não compactado cada.
Selecione Avançar.
Inspecionar
A guia Inspecionar será aberta com uma visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Opcionalmente:
- Selecione visualizador de comandos para exibir e copiar os comandos automáticos gerados de suas entradas.
- Use a lista suspensa Arquivo de definição de esquema para alterar o arquivo do qual o esquema foi inferido.
- Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Para obter mais informações, consulte Formatos de dados compatíveis com inteligência em tempo real.
- Editar colunas.
- Explore Opções avançadas com base no tipo de dados.
Editar colunas
Nota
- Para formatos de tabela (CSV, TSV,VP), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá acabar com colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- A tabela é do tipo novo ou existente
- O tipo de mapeamento é novo ou existente
| Tipo de tabela | Tipo de mapeamento | Ajustes disponíveis |
|---|---|---|
| Nova tabela | Novo mapeamento | Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna |
| Tabela existente | Novo mapeamento | Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar) |
| Tabela existente | Mapeamento existente | none |
Transformações de mapeamento
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.
As transformações de mapeamento podem ser executadas em uma coluna de cadeia de caracteres de tipo ou de datetime, com o tipo de dados int ou long selecionado em origem. As transformações de mapeamento com suporte são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabular (CSV, TSV, PSV):
Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Avançado>Manter esquema de tabela. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.
Para usar a primeira linha como nomes de coluna, selecione Avançado>A primeira linha é o cabeçalho da coluna.
JSON:
Para determinar a divisão de coluna dos dados JSON, selecione Avançado>Níveis aninhados, de 1 a 100.
Se você selecionar Avançado>Ignorar linhas JSON com erros, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção não selecionada, os dados serão ingeridos no formato multijson.
Resumo
Na janela de preparação de dados, todas as três etapas são marcadas com um sinal verde quando a ingestão de dados é concluída. Você pode selecionar um cartão para consultar, remover os dados ingeridos ou ver um painel do resumo da ingestão.
