Рекомендации по сети для федерации Lakehouse

  • Статья

В этой статье приведены рекомендации по настройке жизнеспособного сетевого пути между кластерами Azure Databricks или хранилищами SQL и внешней системой баз данных, к которым вы подключаетесь с помощью Федерации Lakehouse.

Учитывайте следующие важные сведения:

  • Весь сетевой трафик находится непосредственно между кластерами Azure Databricks (или хранилищами SQL) и внешней системой баз данных. Ни каталог Unity, ни плоскость управления Azure Databricks не находятся в сетевом пути.
  • Вычисления Azure Databricks (то есть кластеры и хранилища SQL) всегда развертываются в облаке, но внешняя система баз данных может быть локальной или размещенной на любом поставщике облачных служб, если между вычислительными ресурсами Azure Databricks и внешней базой данных существует жизнеспособный сетевой путь.
  • Если у вас есть ограничения на входящий или исходящий сетевой трафик для вычислений Azure Databricks или внешней системы базы данных, ознакомьтесь со следующими разделами, чтобы помочь вам создать жизнеспособный сетевой путь.

Дополнительные сведения о сети в рабочих областях Azure Databricks см. в статье "Сеть".

Система базы данных и Azure Databricks вычисляют как доступные из Интернета

Подключение должно работать без какой-либо конфигурации.

Система базы данных имеет ограничения доступа к сети

Если у внешней системы базы данных есть ограничения на входящий или исходящий доступ к сети, а кластер Azure Databricks или хранилище SQL доступны из Интернета, настройте одно из следующих сетевых решений для подключения из классических вычислительных ресурсов:

  • Стабильный исходящий IP-адрес в вычислительных ресурсах Azure Databricks.

    На классической вычислительной плоскости настройте стабильный IP-адрес с подсистемой балансировки нагрузки, шлюзом NAT, интернет-шлюзом или эквивалентом и подключите его к подсети, в которой развернуты вычислительные ресурсы Azure Databricks. Это позволяет вычислительному ресурсу совместно использовать стабильный общедоступный IP-адрес, который можно разрешить на стороне внешней базы данных.

  • Приватный канал (только если внешняя база данных находится в том же облаке, что и вычислительные ресурсы Azure Databricks)

    На классической вычислительной плоскости настройте Приватный канал подключение между сетью, в которой развернута база данных, и сеть, в которой развернуты вычислительные ресурсы Azure Databricks.

Из бессерверной вычислительной плоскости поддерживается Приватный канал Azure соединителя SQL Server. См . шаг 3. Создание правил частной конечной точки.

Вычислительные ресурсы Azure Databricks имеют ограничения доступа к сети

Если внешняя система баз данных доступна из Интернета, а вычислительные ресурсы Azure Databricks имеют ограничения на входящий или исходящий доступ к сети (это возможно только в том случае, если вы находитесь в управляемой клиентом сети), выполните одну из следующих конфигураций:

  • Разрешить имя узла внешней базы данных в правилах брандмауэра подсети, в которой развернуты вычислительные ресурсы Azure Databricks.

    Если вы решили разрешить список IP-адресов внешней базы данных, а не имени узла, убедитесь, что у внешней базы данных есть стабильный IP-адрес.

  • Приватный канал (только если внешняя база данных находится в том же облаке, что и вычислительная среда Azure Databricks)

    Настройте Приватный канал подключение между сетью, в которой развернута база данных, и сеть, в которой развернуты вычислительные ресурсы Azure Databricks.

Вычислительные ресурсы Azure Databricks имеют пользовательский DNS-сервер

Если внешняя система базы данных доступна из Интернета, а вычислительные ресурсы Azure Databricks имеют пользовательский DNS-сервер (который возможен только в том случае, если вы находитесь в управляемой клиентом сети), добавьте имя узла системы базы данных на пользовательский DNS-сервер, чтобы его можно было разрешить.