Федеративные запросы (Федерация Lakehouse)

  • Статья

Область применения:флажок Databricks SQL флажок Databricks Runtime 13.3 LTS и более поздней флажок версии каталога Unity

Федерация запросов позволяет Azure Databricks выполнять запросы к данным, обслуживаемыми другими хранилищами метаданных Azure Databricks, а также многими сторонними системами управления базами данных (СУБД), такими как PostgreSQL, mySQL и Snowflake.

Чтобы запросить данные из другой системы, необходимо:

  1. Создайте внешнее подключение. Это регистрирует конкретный федеративный сервер в каталоге Unity и устанавливает средства для взаимодействия с ним, например URL-адрес, порт и используемые учетные данные.
  2. Регистрация внешних каталогов с федеративного сервера с помощью каталога Unity
  3. Предоставьте пользователям доступ к иностранным каталогам. Это можно сделать на уровне каталога, схемы или таблицы, так как это можно сделать с обычными защищаемыми объектами.

Теперь вы можете выдавать запросы между различными местными и внешними отношениями.

Внешнее подключение

Внешнее подключение — это защищаемый объект каталога Unity, который идентифицирует внешний сервер. В рамках CREATE CONNECTION укажите URL-адрес, на котором можно получить доступ к серверу.

Кроме того, необходимо указать такие параметры, как имя пользователя и пароль или другая принятая проверка подлинности, которую Azure Databricks будет использовать для обмена данными.

Внешний каталог

Учитывая внешнее подключение, которое поддерживает трехуровневые пространства имен (catalog/database.schema.table) можно зарегистрировать все каталоги в каталоге Unity с помощью команды CREATE FOREIGN CATALOG . Azure Databricks сохраняет определение схем каталога и их отношения в синхронизации с внешним источником.

Примеры

-- Create a postgresql connection
> CREATE CONNECTION postgresql_connection
    TYPE POSTGRESQL
    OPTIONS (
       host 'qf-postgresql-demo.xxxxxx.us-west-2.rds.amazonaws.com',
       port '5432',
       user 'postgresql_user',
       password 'password123');

-- Alternatively create a postgresql connection with secret scope
> CREATE CONNECTION postgresql_connection
    TYPE POSTGRESQL
    OPTIONS (
       host 'qf-postgresql-demo.xxxxxx.us-west-2.rds.amazonaws.com',
       port '5432',
       user secret('secrets.r.us', 'postgresUser'),
       password secret('secrets.r.us', 'postgresPassword'));

-- Expose the "postgresdb" database with schemas and tables postgresql_user can access.
> CREATE FOREIGN CATALOG postgresql_catalog
    USING CONNECTION postgresql_connection
    OPTIONS (database 'postgresdb');

-- Execute a query across tables in the above catalog, schema, and table.
> SELECT * FROM postgresql_catalog.a_schema.table1
  UNION ALL
  SELECT * FROM default.postgresql_schema.table2
  UNION ALL
  SELECT * FROM default.postgresql.mytable
  UNION ALL
  SELECT local_table;
  ...