Configurar fontes de dados de streaming
O Azure Databricks pode integrar-se com serviços de mensagens de fluxo para ingestão de dados quase em tempo real no lago Databricks. O Azure Databricks também pode sincronizar dados enriquecidos e transformados no lakehouse com outros sistemas de streaming.
O Streaming Estruturado fornece acesso nativo de streaming a formatos de arquivo suportados pelo Apache Spark, mas o Databricks recomenda o Auto Loader para a maioria das operações de Streaming Estruturado que leem dados do armazenamento de objetos em nuvem. Consulte O que é Auto Loader?.
A ingestão de mensagens de streaming para o Delta Lake permite que você retenha mensagens indefinidamente, permitindo que você reproduza fluxos de dados sem medo de perder dados devido aos limites de retenção.
Para saber mais sobre configurações específicas para streaming de filas de mensagens, consulte: