Прием данных в databricks lakehouse

  • Статья

Azure Databricks предлагает различные способы приема данных из различных источников в озеро, поддерживаемое Delta Lake. В этой статье перечислены источники данных и приведены ссылки на действия по приему данных из каждого типа источника.

Хранилище облачных объектов

Сведения о настройке добавочного приема из облачного хранилища объектов см. в статье "Прием данных из облачного хранилища объектов".

LakeFlow Connect

Databricks LakeFlow Connect предлагает собственные соединители для приема из корпоративных приложений и баз данных. Результирующий конвейер приема управляется каталогом Unity и управляется бессерверными вычислительными ресурсами и разностными динамическими таблицами.

LakeFlow Connect использует эффективные добавочные операции чтения и записи для ускорения приема данных, более масштабируемого и более экономичного, а данные остаются свежими для нижнего потребления.

Источники потоковой передачи

Azure Databricks может интегрироваться со службами потоковой передачи сообщений для приема данных почти в реальном времени в lakehouse. См . инструкции по потоковой передаче и добавочному приему.

Локальные файлы данных

Вы можете безопасно отправить локальные файлы данных или скачать файлы из общедоступного URL-адреса. См. статью "Отправка файлов в Azure Databricks".

Перенос данных в Delta Lake

Сведения о переносе существующих данных в Delta Lake см. в статье "Миграция данных в Delta Lake".