Ingerir dados em um databricks lakehouse

  • Artigo

O Azure Databricks oferece várias maneiras de ingerir dados de várias fontes em um lakehouse com suporte do Delta Lake. Este artigo lista as fontes de dados e fornece links para as etapas de ingestão de dados de cada tipo de fonte.

Armazenamento de objetos de nuvem

Para saber mais sobre como configurar a assimilação incremental do armazenamento de objetos na nuvem, consulte Ingerir dados do armazenamento de objetos na nuvem.

LakeFlow Connect

O LakeFlow Connect do Databricks oferece conectores nativos para ingestão de aplicativos empresariais e bancos de dados. O pipeline de ingestão resultante é regido pelo Catálogo do Unity e é alimentado por computação sem servidor e por Tabelas Dinâmicas Delta.

O LakeFlow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, mais dimensionável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.

Fontes de streaming

O Azure Databricks pode se integrar aos serviços de mensagens de fluxo para ingestão de dados quase em tempo real em um lakehouse. Consulte Streaming e ingestão incremental.

Arquivos de dados locais

Você pode carregar arquivos de dados locais com segurança ou baixar arquivos de uma URL pública. Consulte Carregar arquivos no Azure Databricks.

Migrar dados para o Delta Lake

Para saber como migrar dados existentes para o Delta Lake, consulte Migrar dados para o Delta Lake.