CREATE EXTERNAL DATA SOURCE (Transact-SQL)

[アーティクル]
08/28/2024

SQL Server、Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics、Analytics Platform System (PDW)、または Azure SQL Edge を使用してクエリを実行するための外部データソースを作成します。

この記事では、選択した SQL 製品について、構文、引数、注釈、アクセス許可、例を紹介します。

製品を選択する

次の行で、興味のある製品の名前を選択すると、その製品の情報のみが表示されます。

* SQL Server *

SQL Database

SQL マネージド
インスタンス

Azure Synapse
分析

Analytics Platform
System (PDW)

概要: SQL Server 2016

適用対象: SQL Server 2016 (13.x) 以降のバージョン

PolyBase クエリ用の外部データソースを作成します。外部データソースを使用して接続を確立し、次の主なユースケースをサポートします。

PolyBase を使用したデータ仮想化とデータ読み込み
BULK INSERT または OPENROWSET を使用した一括読み込み操作

注意

この構文は、SQL Server のバージョンによって異なります。バージョンセレクターのドロップダウンを使用して適切なバージョンを選択します。
SQL Server 2019 (15.x) の機能を表示するには、「CREATE EXTERNAL DATA SOURCE」を参照してください。 SQL Server 2022 (16.x) の機能を表示するには、CREATE EXTERNAL DATA SOURCE に関するページを参照してください。

SQL Server 2016 の構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] TYPE = { HADOOP } ]
    [ [ , ] RESOURCE_MANAGER_LOCATION = '<resource_manager>[:<port>]' )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。この名前は、SQL Server のデータベース内で一意になる必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス	製品/サービスでサポートされている場所	認証
Cloudera CDH または Hortonworks HDP	`hdfs`	`<Namenode>[:port]`	SQL Server 2016 (13.x) から SQL Server 2019 (15.x)	匿名認証または基本認証
Azure Storage アカウント (V2)	`wasb[s]`	`<container>@<storage_account>.blob.core.windows.net`	SQL Server 2016 (13.x) 以降階層型名前空間はサポートされていません	Azure ストレージアカウントキー

場所のパス:

<Namenode> = Hadoop クラスター内の Namenode のマシン名、ネームサービス URI、または IP アドレス。 PolyBase では Hadoop クラスターで使用されているすべての DNS 名が解決される必要があります。
port = 外部データソースがリッスンしているポート。 Hadoop では、fs.defaultFS 構成パラメーターを使用してポートを見つけることができます。既定値は 8020 です。
<container> = データを保持するストレージアカウントのコンテナー。ルートコンテナーは読み取り専用で、このコンテナーにデータを書き込むことはできません。
<storage_account> = Azure リソースのストレージアカウント名。
<server_name> = ホスト名。
<instance_name> = SQL Server の名前付きインスタンスの名前。ターゲットインスタンスで実行中の SQL Server Browser サービスがある場合に使用されます。

場所を設定する場合の追加の注意事項とガイダンス:

SQL Server データベースエンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。
一貫性のあるクエリセマンティクスを確保するため、Hadoop をクエリする際は、すべてのテーブルに同じ外部データソースを使用します。
wasbs は省略可能ですが、SQL Server 2016 (13.x) では、セキュリティで保護された TLS/SSL 接続を使ってデータが送信されるため、Azure ストレージアカウントにアクセスする場合に推奨されます。
Hadoop Namenode のフェールオーバー時に、PolyBase クエリを確実に成功させるため、Hadoop クラスターの Namenode に仮想 IP アドレスを使用することを検討してください。使用しない場合は、ALTER EXTERNAL DATA SOURCE コマンドを実行して新しい場所を示します。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。

データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

TYPE = [ HADOOP ]

構成されている外部データソースの種類を指定します。 SQL Server 2016 では、このパラメーターは常に必須であり、HADOOP としてのみ指定する必要があります。 Cloudera CDH、Hortonworks HDP、または Azure Storage アカウントへの接続をサポートします。このパラメーターの動作は、新しいバージョンの SQL Server では異なります。

TYPE = HADOOPを使用して Azure Storage アカウントからデータを読み込む例については、「wasb:// インターフェイスを使用して Azure Storage 内のデータにアクセスするための外部データソースの作成」を参照してください

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

Cloudera CDH、Hortonworks HDP、または Azure ストレージアカウントのみに接続するときは、このオプションの値を構成します。サポートされている Hadoop バージョンの完全な一覧については、「PolyBase 接続構成 (Transact-SQL)」を参照してください。

RESOURCE_MANAGER_LOCATION が定義されている場合、クエリオプティマイザーでは、パフォーマンスを向上させるためにコストに基づいて決定が下されます。 MapReduce ジョブを使用して、Hadoop に計算をプッシュダウンできます。 RESOURCE_MANAGER_LOCATION を指定すると、Hadoop と SQL Server の間で転送されるデータ量が大幅に減少し、それによってクエリのパフォーマンスが向上する可能性があります。

Resource Manager を指定しない場合、Hadoop への計算のプッシュが、PolyBase クエリに対して無効になります。「プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する」では、具体的な例と追加のガイダンスを提供しています。

RESOURCE_MANAGER_LOCATION 値は、外部データソースを作成するときに検証されません。正しくない値を入力すると、指定された値で解決できないため、プッシュダウンが試行されるたびに実行時にクエリエラーが発生する可能性があります。

PolyBase が Hadoop 外部データソースと正しく連携するためには、次の Hadoop クラスターコンポーネントのポートが開いている必要があります。

HDFS ポート
- Namenode
- Datanode
Resource Manager
- ジョブの送信
- ジョブ履歴

ポートが指定されていない場合、'hadoop connectivity' 構成の現在の設定を使用して、既定値が選択されます。

Hadoop Connectivity	Resource Manager の既定のポート
1	50300
2	50300
3	8021
4	8032
5	8050
6	8032
7	8050
8	8032

次の表に、これらのコンポーネントの既定のポートを示します。 Hadoop バージョンの依存関係が存在するほか、カスタム構成で既定のポート割り当てが使用されていない可能性があります。

Hadoop クラスターコンポーネント	[既定のポート]
NameNode	8020
DataNode (データ転送、非特権 IPC ポート)	50010
DataNode (データ転送、特権 IPC ポート)	1019
Resource Manager ジョブの送信 (Hortonworks 1.3)	50300
Resource Manager ジョブの送信 (Cloudera 4.3)	8021
Resource Manager ジョブの送信 (Windows では Hortonworks 2.0、Linux では Cloudera 5.x)	8032
Resource Manager ジョブの送信 (Linux では Hortonworks 2.x、3.0、Windows では Hortonworks 2.1-3)	8050
Resource Manager ジョブ履歴	10020

アクセス許可

SQL Server 内のデータベースに対する CONTROL アクセス許可が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

セキュリティ

PolyBase では、ほとんどの外部データソースにプロキシベースの認証をサポートします。データベーススコープ資格情報を作成して、プロキシアカウントを作成します。

例

重要

PolyBase をインストールして有効にする方法については、「Windows への PolyBase のインストール」を参照してください

A. Hadoop を参照する外部データソースを作成する

Hortonworks HDP または Cloudera CDH Hadoop クラスターを参照する外部データソースを作成するには、Hadoop Namenode のマシン名または IP アドレスとポートを指定します。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    TYPE = HADOOP
);

B. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

RESOURCE_MANAGER_LOCATION オプションを指定して、PolyBase クエリの Hadoop への計算のプッシュダウンを有効にします。有効にすると、PolyBase によって、クエリの計算を Hadoop にプッシュするかどうかがコストに基づいて決定されます。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8020',
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

Hadoop クラスターが Kerberos でセキュリティ保護されていることを確認するには、Hadoop core-site.xml で hadoop.security.authentication プロパティの値を確認します。 Kerberos でセキュリティ保護された Hadoop クラスターを参照するには、ご自分の Kerberos ユーザー名とパスワードを含むデータベーススコープの資格情報を指定する必要があります。データベースマスターキーは、データベーススコープの資格情報シークレットの暗号化に使用されます。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Kerberos user name and password.
CREATE DATABASE SCOPED CREDENTIAL HadoopUser1
    WITH IDENTITY = '<hadoop_user_name>',
    SECRET = '<hadoop_password>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    CREDENTIAL = HadoopUser1,
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

D. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

この例では、Azure V2 Storage アカウントへの認証用にデータベーススコープ資格情報を作成する方法を示します。データベースの資格情報シークレットで、Azure Storage アカウントキーを指定します。 Azure Storage への認証時に使用されないため、データベーススコープ資格情報 ID には任意の文字列を指定できます。 WASB[s] コネクタ経由で Azure Storage に接続する場合は、Shared Access Signature (SAS) ではなく、ストレージアカウントキーを使って認証を行う必要があることに注意してください。

SQL Server 2016 (13.x) では、TYPE は、Azure Storage にアクセスする場合でも HADOOP に設定する必要があります。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
    WITH IDENTITY = '<my_account>',
    SECRET = '<azure_storage_account_key>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'wasbs://daily@logs.blob.core.windows.net/',
    CREDENTIAL = AzureStorageCredential,
    TYPE = HADOOP
);

次のステップ

概要: SQL Server 2017

適用対象: SQL Server 2017 (14.x) のみ

PolyBase クエリ用の外部データソースを作成します。外部データソースを使用して接続を確立し、次の主なユースケースをサポートします。

PolyBase を使用したデータ仮想化とデータ読み込み
BULK INSERT または OPENROWSET を使用した一括読み込み操作

注意

この構文は、SQL Server on Linux のバージョンによって異なります。バージョンセレクターのドロップダウンを使用して適切なバージョンを選択します。
SQL Server 2019 (15.x) の機能を表示するには、「CREATE EXTERNAL DATA SOURCE」を参照してください。 SQL Server 2022 (16.x) の機能を表示するには、CREATE EXTERNAL DATA SOURCE に関するページを参照してください。

注意

SQL Server 2017 の構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] TYPE = { HADOOP | BLOB_STORAGE } ]
    [ [ , ] RESOURCE_MANAGER_LOCATION = '<resource_manager>[:<port>]' )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。この名前は、SQL Server のデータベース内で一意になる必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス	製品/サービスでサポートされている場所	認証
Cloudera CDH または Hortonworks HDP	`hdfs`	`<Namenode>[:port]`	SQL Server 2016 (13.x) から SQL Server 2019 (15.x) のみ	匿名認証または基本認証
Azure Storage アカウント (V2)	`wasb[s]`	`<container>@<storage_account>.blob.core.windows.net`	SQL Server 2016 (13.x) 以降階層型名前空間はサポートされていません	Azure ストレージアカウントキー
一括操作	`https`	`<storage_account>.blob.core.windows.net/<container>`	SQL Server 2017 (14.x) 以降	Shared Access Signature (SAS)

場所のパス:

<Namenode> = Hadoop クラスター内の Namenode のマシン名、ネームサービス URI、または IP アドレス。 PolyBase では Hadoop クラスターで使用されているすべての DNS 名が解決される必要があります。
port = 外部データソースがリッスンしているポート。 Hadoop では、fs.defaultFS 構成パラメーターを使用してポートを見つけることができます。既定値は 8020 です。
<container> = データを保持するストレージアカウントのコンテナー。ルートコンテナーは読み取り専用で、このコンテナーにデータを書き込むことはできません。
<storage_account> = Azure リソースのストレージアカウント名。
<server_name> = ホスト名。
<instance_name> = SQL Server の名前付きインスタンスの名前。ターゲットインスタンスで実行中の SQL Server Browser サービスがある場合に使用されます。

場所を設定する場合の追加の注意事項とガイダンス:

SQL Server データベースエンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。
一貫性のあるクエリセマンティクスを確保するため、Hadoop をクエリする際は、すべてのテーブルに同じ外部データソースを使用します。
Driver={<Name of Driver>} 経由で接続する際に ODBC を指定します。
wasbs は省略可能ですが、SQL Server 2017 (14.x) では、セキュリティで保護された TLS/SSL 接続を使ってデータが送信されるため、Azure ストレージアカウントにアクセスする場合に推奨されます。
Hadoop Namenode のフェールオーバー時に、PolyBase クエリを確実に成功させるため、Hadoop クラスターの Namenode に仮想 IP アドレスを使用することを検討してください。使用しない場合は、ALTER EXTERNAL DATA SOURCE コマンドを実行して新しい場所を示します。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

資格情報の作成時の追加の注意事項とガイダンス:

CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。
TYPE = BLOB_STORAGE の場合、SHARED ACCESS SIGNATURE を ID として使用して資格情報を作成する必要があります。
TYPE = BLOB_STORAGE は一括操作でのみ許可されます。TYPE = BLOB_STORAGE を使って外部データソースに対して外部テーブルを作成することはできません。
WASB[s] コネクタ経由で Azure Storage に接続する場合は、Shared Access Signature (SAS) ではなく、ストレージアカウントキーを使って認証を行う必要があることに注意してください。
TYPE = HADOOP の場合、ストレージアカウントキーを SECRET として使って資格情報を作成する必要があります。

Shared Access Signature を作成する方法は複数あります。

SAS トークンを作成するには、Azure portal -><ご利用のストレージアカウント> -> [Shared Access Signature] -> [アクセス許可の構成] -> [SAS と接続文字列を生成する] の順に移動します。詳細については、Shared Access Signature の作成に関するページを参照してください。
Azure Storage Explorer を使用して SAS を作成および構成できます。
PowerShell、Azure CLI、.NET、REST API を使用すれば、SAS をプログラムで作成できます。詳細については、「Shared Access Signatures (SAS) を使用して Azure Storage リソースへの制限付きアクセスを許可する」を参照してください。
SAS トークンは、次のように構成する必要があります。
- SAS トークンが生成されると、トークンの先頭に疑問符 ("?") が含まれます。 SECRET として構成されている場合、先頭の ? を除外します。
- 有効な有効期限を使用する (すべての日付が UTC 時間)。
- 読み込む必要のあるファイル (たとえば srt=o&sp=r) に対して少なくとも読み取りアクセス許可を付与します。さまざまなユースケースに合わせて複数の Shared Access Signature を作成できます。アクセス許可は次のように付与する必要があります。
アクション権限

データをファイルから読み取る Read

複数のファイルとサブフォルダーからデータを読み取る Read と List

SHARED ACCESS SIGNATURE と TYPE = BLOB_STORAGE で、CREDENTIAL を使用する例については、一括操作を実行し、Azure Storage から SQL Database にデータを取得するための外部データソースの作成に関するセクションを参照してください

データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

TYPE = [ HADOOP | BLOB_STORAGE ]

構成されている外部データソースの種類を指定します。このパラメーターは、常に必要なわけではなく、Cloudera CDH、Hortonworks HDP、Azure ストレージアカウント、または Azure Data Lake Storage Gen2 に接続するときにだけ指定する必要があります。

外部データソースが Cloudera CDH、Hortonworks HDP、Azure ストレージアカウント、または Azure Data Lake Storage Gen2 のときは、HADOOP を使用します。
BULK INSERT または OPENROWSET を使用して、Azure ストレージアカウントから一括操作を実行する場合は、BLOB_STORAGE を使用します。 SQL Server 2017 (14.x) で導入されました。 Azure Storage に対して CREATE EXTERNAL TABLE を実行したいときは、HADOOP を使います。

注意

TYPE は、Azure Storage にアクセスする場合でも HADOOP に設定する必要があります。

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

PolyBase が Hadoop 外部データソースと正しく連携するためには、次の Hadoop クラスターコンポーネントのポートが開いている必要があります。

HDFS ポート
- Namenode
- Datanode
Resource Manager
- ジョブの送信
- ジョブ履歴

ポートが指定されていない場合、'hadoop connectivity' 構成の現在の設定を使用して、既定値が選択されます。

Hadoop Connectivity	Resource Manager の既定のポート
1	50300
2	50300
3	8021
4	8032
5	8050
6	8032
7	8050
8	8032

次の表に、これらのコンポーネントの既定のポートを示します。 Hadoop バージョンの依存関係と、既定のポート割り当てを使用しないカスタム構成の可能性があることに注意してください。

Hadoop クラスターコンポーネント	[既定のポート]
NameNode	8020
DataNode (データ転送、非特権 IPC ポート)	50010
DataNode (データ転送、特権 IPC ポート)	1019
Resource Manager ジョブの送信 (Hortonworks 1.3)	50300
Resource Manager ジョブの送信 (Cloudera 4.3)	8021
Resource Manager ジョブの送信 (Windows では Hortonworks 2.0、Linux では Cloudera 5.x)	8032
Resource Manager ジョブの送信 (Linux では Hortonworks 2.x、3.0、Windows では Hortonworks 2.1-3)	8050
Resource Manager ジョブ履歴	10020

アクセス許可

SQL Server 内のデータベースに対する CONTROL アクセス許可が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

セキュリティ

HADOOP 型の SAS トークンはサポートされていません。それは、ストレージアカウントのアクセスキーが代わりに使用される、type = BLOB_STORAGE でのみサポートされます。 HADOOP 型と SAS 資格情報で外部データソースを作成しようとすると、次のエラーで失敗します。

Msg 105019, Level 16, State 1 - EXTERNAL TABLE access failed due to internal error: 'Java exception raised on call to HdfsBridge_Connect. Java exception message: Parameters provided to connect to the Azure storage account are not valid.: Error [Parameters provided to connect to the Azure storage account are not valid.] occurred while accessing external file.'

例

重要

PolyBase をインストールして有効にする方法については、「Windows への PolyBase のインストール」を参照してください

A. Hadoop を参照する外部データソースを作成する

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    TYPE = HADOOP
);

B. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8020',
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Kerberos user name and password.
CREATE DATABASE SCOPED CREDENTIAL HadoopUser1
    WITH IDENTITY = '<hadoop_user_name>',
    SECRET = '<hadoop_password>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    CREDENTIAL = HadoopUser1,
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

D. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

この例では、外部データソースは、logs という名前の Azure V2 Storage アカウントです。ストレージコンテナーは daily という名前です。 Azure Storage の外部データソースはデータ転送専用です。述語のプッシュダウンはサポートされません。 wasb:// インターフェイスを使用してデータにアクセスする場合、階層型名前空間はサポートされません。 WASB[s] コネクタ経由で Azure Storage に接続する場合は、Shared Access Signature (SAS) ではなく、ストレージアカウントキーを使って認証を行う必要があることに注意してください。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
    WITH IDENTITY = '<my_account>',
    SECRET = '<azure_storage_account_key>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'wasbs://daily@logs.blob.core.windows.net/',
    CREDENTIAL = AzureStorageCredential,
    TYPE = HADOOP
);

例: 一括操作

重要

一括操作用の外部データソースの構成時に、LOCATION URL の末尾に、 / 、ファイル名、Shared Access Signature パラメーターを追加しないでください。

E. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

適用対象: SQL Server 2017 (14.x) 以降。

BULK INSERT または OPENROWSET を使用する一括操作に対し、次のデータソースを使用します。資格情報は、SHARED ACCESS SIGNATURE を ID として設定する必要があり、SAS トークンの先頭に ? があってはなりません。また、読み込む必要のあるファイル (たとえば srt=o&sp=r) に対して少なくとも読み取りアクセス許可が必要で、有効期限が有効である必要があります (すべての日付は UTC 時間です)。 Shared Access Signature に関する詳細については、「Shared Access Signature (SAS) を使用」を参照してください。

CREATE DATABASE SCOPED CREDENTIAL AccessAzureInvoices
    WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
    -- Remove ? from the beginning of the SAS token
    SECRET = '<azure_storage_account_key>';

CREATE EXTERNAL DATA SOURCE MyAzureInvoices
WITH (
    LOCATION = 'https://newinvoices.blob.core.windows.net/week3',
    CREDENTIAL = AccessAzureInvoices,
    TYPE = BLOB_STORAGE
);

この使用例については、BULK INSERT の例を参照してください。

次のステップ

概要: SQL Server 2019

適用対象: SQL Server 2019 (15.x) 以降

PolyBase クエリ用の外部データソースを作成します。外部データソースを使用して接続を確立し、次の主なユースケースをサポートします。

PolyBase を使用したデータ仮想化とデータ読み込み
BULK INSERT または OPENROWSET を使用した一括読み込み操作

注意

この構文は、SQL Server のバージョンによって異なります。バージョンセレクターのドロップダウンを使用して適切なバージョンを選択します。
SQL Server 2022 (16.x) の機能を表示するには、CREATE EXTERNAL DATA SOURCE に関するページを参照してください。

注意

SQL Server 2019 の構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CONNECTION_OPTIONS = '<key_value_pairs>'[,...]]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] PUSHDOWN = { ON | OFF } ]
    [ [ , ] TYPE = { HADOOP | BLOB_STORAGE } ]
    [ [ , ] RESOURCE_MANAGER_LOCATION = '<resource_manager>[:<port>]' )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。この名前は、SQL Server のデータベース内で一意になる必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス	製品/サービスでサポートされている場所	認証
Cloudera CDH または Hortonworks HDP	`hdfs`	`<Namenode>[:port]`	SQL Server 2016 (13.x) から SQL Server 2019 (15.x)	匿名認証または基本認証
Azure Storage アカウント (V2)	`wasb[s]`	`<container>@<storage_account>.blob.core.windows.net`	SQL Server 2016 (13.x) 以降階層型名前空間はサポートされていません	Azure ストレージアカウントキー
SQL Server	`sqlserver`	`<server_name>[\<instance_name>][:port]`	SQL Server 2019 (15.x) 以降	SQL 認証のみ
Oracle	`oracle`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降	基本認証のみ
Teradata	`teradata`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降	基本認証のみ
MongoDB または MongoDB 用 Cosmos DB API	`mongodb`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降	基本認証のみ
汎用 ODBC	`odbc`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降 - Windows のみ	基本認証のみ
一括操作	`https`	`<storage_account>.blob.core.windows.net/<container>`	SQL Server 2017 (14.x) 以降	Shared Access Signature (SAS)
Azure Data Lake Storage Gen2	`abfs[s]`	`abfss://<container>@<storage _account>.dfs.core.windows.net`	SQL Server 2019 (15.x) CU11+ 以降。	Storage Access Key (ストレージアクセスキー)
SQL Server ビッグデータクラスターのデータプール	`sqldatapool`	`sqldatapool://controller-svc/default`	SQL Server 2019 のビッグデータクラスターでのみサポート	基本認証のみ
SQL Server ビッグデータクラスターの記憶域プール	`sqlhdfs`	`sqlhdfs://controller-svc/default`	SQL Server 2019 のビッグデータクラスターでのみサポート	基本認証のみ

場所のパス:

<Namenode> = Hadoop クラスター内の Namenode のマシン名、ネームサービス URI、または IP アドレス。 PolyBase では Hadoop クラスターで使用されているすべての DNS 名が解決される必要があります。
port = 外部データソースがリッスンしているポート。 Hadoop では、fs.defaultFS 構成パラメーターを使用してポートを見つけることができます。既定値は 8020 です。
<container> = データを保持するストレージアカウントのコンテナー。ルートコンテナーは読み取り専用で、このコンテナーにデータを書き込むことはできません。
<storage_account> = Azure リソースのストレージアカウント名。
<server_name> = ホスト名。
<instance_name> = SQL Server の名前付きインスタンスの名前。ターゲットインスタンスで実行中の SQL Server Browser サービスがある場合に使用されます。

場所を設定する場合の追加の注意事項とガイダンス:

SQL Server データベースエンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。
一貫性のあるクエリセマンティクスを確保するため、Hadoop をクエリする際は、すべてのテーブルに同じ外部データソースを使用します。
sqlserver コネクタを使用すれば、SQL Server 2019 (15.x) を別の SQL Server、または Azure SQL Database に接続できます。
Driver={<Name of Driver>} 経由で接続する際に ODBC を指定します。
wasbs または abfss の使用は省略可能ですが、SQL Server 2019 (15.x) では、セキュリティで保護された TLS/SSL 接続を使ってデータが送信されるため、Azure ストレージアカウントにアクセスする場合に推奨されます。
SQL Server 2019 (15.x) CU11 以降では、Azure ストレージアカウントにアクセスするときに abfs または abfss API がサポートされます。詳細については、Azure Blob File System ドライバー (ABFS) に関する記事を参照してください。
abfs[s] を使用する Azure ストレージアカウント (V2) の階層型名前空間オプションは、SQL Server 2019 (15.x) CU11 以降の Azure Data Lake Storage Gen2 でサポートされています。それ以外の場合、階層型名前空間オプションはサポートされておらず、このオプションは無効のままにする必要があります。
Hadoop Namenode のフェールオーバー時に、PolyBase クエリを確実に成功させるため、Hadoop クラスターの Namenode に仮想 IP アドレスを使用することを検討してください。使用しない場合は、ALTER EXTERNAL DATA SOURCE コマンドを実行して新しい場所を示します。
sqlhdfs および sqldatapool の型は、ビッグデータクラスターのマスターインスタンスと記憶域プールの間の接続においてサポートされています。 Cloudera CDH または Hortonworks HDP の場合は、hdfs を使用します。 sqlhdfs を使用して SQL Server ビッグデータクラスター記憶域プールに対してクエリを実行する方法の詳細については、SQL Server 2019 ビッグデータクラスター内の HDFS にクエリを実行するに関するページを参照してください。
SQL Server における HDFS Cloudera (CDP) と Hortonworks (HDP) の外部データソースのサポートは廃止され、SQL Server 2022 (16.x) には含まれません。詳細については、「Microsoft SQL Server プラットフォームのビッグデータオプション」を参照してください。

CONNECTION_OPTIONS = key_value_pair

SQL Server 2019 (15.x) 以降に対して指定します。 ODBC 経由での外部データソースへの接続時に、追加のオプションを指定します。複数の接続オプションを使用するには、セミコロンで区切ります。

汎用の ODBC 接続だけでなく、SQL Server、Oracle、Teradata、MongoDB、Cosmos DB、MongoDB 用 Azure Cosmos DB API の組み込み ODBC コネクタにも適用されます。

key_value_pair は、キーワードであり、特定の接続オプションの値です。使用できるキーワードと値は、外部データソースの種類によって異なります。最低でもドライバーの名前が必要ですが、設定に便利で、トラブルシューティングに役立てることができる APP='<your_application_name>' や ApplicationIntent= ReadOnly|ReadWrite などの他のオプションがあります。

使えるキーと値のペアは、外部データソースベンダー用のプロバイダーに固有です。各プロバイダーの詳細については、「CREATE EXTERNAL DATA SOURCE (Transact-SQL) の CONNECTION_OPTIONS」をご覧ください。

SQL Server 2019 (15.x) の累積的な更新プログラム 19 以降では、Oracle TNS ファイルをサポートするために追加のキーワードが導入されました。

キーワード TNSNamesFile を使用すると、Oracle サーバー上にある tnsnames.ora ファイルへのファイルパスを指定できます。
キーワード ServerName を使用すると、ホスト名とポートを置き換えるために使用される tnsnames.ora 内で使用されるエイリアスを指定できます。

PUSHDOWN = ON | OFF

SQL Server 2019 (15.x) にのみ指定します。外部データソースに計算をプッシュダウンできるかどうかを示します。既定でオンです。

PUSHDOWN は、外部データソースレベルで SQL Server、Oracle、Teradata、MongoDB、MongoDB 用 Azure Cosmos DB API、または ODBC に接続するときにサポートされます。

クエリレベルでプッシュダウンを有効にするか、無効にするかは、ヒントによって実現します。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

資格情報の作成時の追加の注意事項とガイダンス:

CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。
TYPE = BLOB_STORAGE の場合、SHARED ACCESS SIGNATURE を ID として使用して資格情報を作成する必要があります。
- TYPE = BLOB_STORAGE は一括操作でのみ許可されます。TYPE = BLOB_STORAGE を使って外部データソースに対して外部テーブルを作成することはできません。

Shared Access Signature を作成する方法は複数あります。

SAS トークンを作成するには、Azure portal -><ご利用のストレージアカウント> -> [Shared Access Signature] -> [アクセス許可の構成] -> [SAS と接続文字列を生成する] の順に移動します。詳細については、Shared Access Signature の作成に関するページを参照してください。
Azure Storage Explorer を使用して SAS を作成および構成できます。
PowerShell、Azure CLI、.NET、REST API を使用すれば、SAS をプログラムで作成できます。詳細については、「Shared Access Signatures (SAS) を使用して Azure Storage リソースへの制限付きアクセスを許可する」を参照してください。
SAS トークンは、次のように構成する必要があります。
- SAS トークンが生成されると、トークンの先頭に疑問符 ("?") が含まれます。 SECRET として構成されている場合、先頭の ? を除外します。
- 有効な有効期限を使用する (すべての日付が UTC 時間)。
- 読み込む必要のあるファイル (たとえば srt=o&sp=r) に対して少なくとも読み取りアクセス許可を付与します。さまざまなユースケースに合わせて複数の Shared Access Signature を作成できます。アクセス許可は次のように付与する必要があります。
アクション権限

データをファイルから読み取る Read

複数のファイルとサブフォルダーからデータを読み取る Read と List

データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

TYPE = [ HADOOP | BLOB_STORAGE ]

SQL Server 2019 (15.x) においては、Cloudera CDH、Hortonworks HDP、Azure ストレージアカウントに接続する場合を除き、TYPE を指定しないでください。
外部データソースが Cloudera CDH、Hortonworks HDP、Azure ストレージアカウント、または Azure Data Lake Storage Gen2 のときは、HADOOP を使用します。
SQL Server 2017 (14.x) で BULK INSERT または OPENROWSET を使用して、Azure ストレージアカウントから一括操作を実行する場合は、BLOB_STORAGE を使用します。 Azure Storage に対して CREATE EXTERNAL TABLE を実行したいときは、HADOOP を使います。
SQL Server における HDFS Cloudera (CDP) と Hortonworks (HDP) の外部データソースのサポートは廃止され、SQL Server 2022 (16.x) には含まれません。詳細については、「Microsoft SQL Server プラットフォームのビッグデータオプション」を参照してください。

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

SQL Server 2019 (15.x) においては、Cloudera CDH、Hortonworks HDP、Azure ストレージアカウントに接続する場合を除き、RESOURCE_MANAGER_LOCATION を指定しないでください。

PolyBase が Hadoop 外部データソースと正しく連携するためには、次の Hadoop クラスターコンポーネントのポートが開いている必要があります。

HDFS ポート
- Namenode
- Datanode
Resource Manager
- ジョブの送信
- ジョブ履歴

ポートが指定されていない場合、'hadoop connectivity' 構成の現在の設定を使用して、既定値が選択されます。

Hadoop Connectivity	Resource Manager の既定のポート
1	50300
2	50300
3	8021
4	8032
5	8050
6	8032
7	8050
8	8032

Hadoop クラスターコンポーネント	[既定のポート]
NameNode	8020
DataNode (データ転送、非特権 IPC ポート)	50010
DataNode (データ転送、特権 IPC ポート)	1019
Resource Manager ジョブの送信 (Hortonworks 1.3)	50300
Resource Manager ジョブの送信 (Cloudera 4.3)	8021
Resource Manager ジョブの送信 (Windows では Hortonworks 2.0、Linux では Cloudera 5.x)	8032
Resource Manager ジョブの送信 (Linux では Hortonworks 2.x、3.0、Windows では Hortonworks 2.1-3)	8050
Resource Manager ジョブ履歴	10020

アクセス許可

SQL Server 内のデータベースに対する CONTROL アクセス許可が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

セキュリティ

SQL Server 2019 ビッグデータクラスターでストレージまたはデータプールに接続すると、ユーザーの資格情報が、バックエンドシステムに渡されます。データプール自体にログインを作成し、パススルー認証を有効にします。

例

重要

PolyBase をインストールして有効にする方法については、「Windows への PolyBase のインストール」を参照してください

A. SQL Server 2019 で Oracle を参照する外部データソースを作成する

Oracle を参照する外部データソースを作成するには、データベーススコープ資格情報があることを確認します。オプションで、このデータソースに対して計算のプッシュダウンを有効または無効にすることもできます。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL OracleProxyAccount
    WITH IDENTITY = 'oracle_username',
    SECRET = 'oracle_password';

CREATE EXTERNAL DATA SOURCE MyOracleServer
WITH (
    LOCATION = 'oracle://145.145.145.145:1521',
    CREDENTIAL = OracleProxyAccount,
    PUSHDOWN = ON
);

必要に応じて、Oracle に対する外部データソースはプロキシ認証を使用して、きめ細かいアクセス制御を提供できます。プロキシユーザーは、権限が借用されているユーザーと比較してアクセスが制限されるように構成することができます。

CREATE DATABASE SCOPED CREDENTIAL [OracleProxyCredential]
    WITH IDENTITY = 'oracle_username',
    SECRET = 'oracle_password';

CREATE EXTERNAL DATA SOURCE [OracleSalesSrvr]
WITH (
    LOCATION = 'oracle://145.145.145.145:1521',
    CONNECTION_OPTIONS = 'ImpersonateUser=%CURRENT_USER',
    CREDENTIAL = [OracleProxyCredential]
);

または、TNS 認証を使用することもできます。

SQL Server 2019 (15.x) の累積的な更新プログラム 19 以降では、Oracle との接続時の TNS ファイルの使用を CREATE EXTERNAL DATA SOURCE がサポートすることになりました。 CONNECTION_OPTIONS パラメーターが展開されるともに、このパラメーターによって、TNSNamesFile と ServerName を変数として使用して tnsnames.ora ファイルを参照することでサーバーとの接続が確立されるようになりました。

次の例では、TNSNamesFile によって指定された tnsnames.ora ファイルの場所と ServerName によって指定されたホストとネットワークポートの検索が、実行中に SQL Server によって行われます。

CREATE EXTERNAL DATA SOURCE [external_data_source_name]
WITH (
    LOCATION = N'oracle://XE',
    CREDENTIAL = [OracleCredentialTest],
    CONNECTION_OPTIONS = N'TNSNamesFile=C:\Temp\tnsnames.ora;ServerName=XE'
);

MongoDB などの他のデータソースの追加の例については、「MongoDB 上の外部データにアクセスするための PolyBase の構成」を参照してください。

B. Hadoop を参照する外部データソースを作成する

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    TYPE = HADOOP
);

C. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8020',
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

D. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Kerberos user name and password.
CREATE DATABASE SCOPED CREDENTIAL HadoopUser1
    WITH IDENTITY = '<hadoop_user_name>',
    SECRET = '<hadoop_password>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    CREDENTIAL = HadoopUser1,
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

E. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
    WITH IDENTITY = '<my_account>',
    SECRET = '<azure_storage_account_key>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'wasbs://daily@logs.blob.core.windows.net/',
    CREDENTIAL = AzureStorageCredential,
    TYPE = HADOOP
);

F. PolyBase 接続を使用して SQL Server 名前付きインスタンスを参照する外部データソースを作成する

適用対象: SQL Server 2019 (15.x) 以降

SQL Server の名前付きインスタンスを参照する外部データソースを作成するには、CONNECTION_OPTIONS を使用してインスタンス名を指定します。

次の例では、WINSQL2019 がホスト名で、SQL2019 がインスタンス名になります。 'Server=%s\SQL2019' はキーと値のペアです。

CREATE EXTERNAL DATA SOURCE SQLServerInstance2
WITH (
    LOCATION = 'sqlserver://WINSQL2019',
    CONNECTION_OPTIONS = 'Server=%s\SQL2019',
    CREDENTIAL = SQLServerCredentials
);

また、ポートを使用して SQL Server の既定のインスタンスに接続することもできます。

CREATE EXTERNAL DATA SOURCE SQLServerInstance2
WITH (
    LOCATION = 'sqlserver://WINSQL2019:58137',
    CREDENTIAL = SQLServerCredentials
);

G. Always On 可用性グループの読み取り可能なセカンダリレプリカを参照する外部データソース作成する

適用対象: SQL Server 2019 (15.x) 以降

SQL Server の読み取り可能なセカンダリレプリカを参照する外部データソース作成するには、CONNECTION_OPTIONS を使用して ApplicationIntent=ReadOnly を指定します。さらに、可用性データベースをCONNECTION_OPTIONSでDatabase={dbname}として設定するか、可用性データベースをデータベーススコープ資格情報に使用されるログインの既定のデータベースとして設定する必要があります。これは、可用性グループのすべての可用性レプリカで行う必要があります。

まず、データベーススコープの資格情報を作成して、SQL 認証ログインのための資格情報を保存します。 PolyBase 用の SQL ODBC コネクタでサポートされるのは基本認証のみです。データベーススコープ資格情報を作成する前に、データベースに資格情報を保護するためのマスターキーが必要です。詳細については、「CREATE MASTER KEY」を参照してください。次の例では、データベーススコープの資格情報を作成し、自分のログインとパスワードを指定します。

CREATE DATABASE SCOPED CREDENTIAL SQLServerCredentials
    WITH IDENTITY = 'username',
    SECRET = 'password';

次に、新しい外部データソースを作成します。

CONNECTION_OPTIONSにDatabase=dbnameを含める場合も、可用性データベースをデータベーススコープ資格情報のログインの既定のデータベースとして設定する場合でも、LOCATION パラメーター内の CREATE EXTERNAL TABLE ステートメントで 3 部構成の名前を使用してデータベース名を指定する必要があります。例については、CREATE EXTERNAL TABLE を参照してください。

次の例では、WINSQL2019AGL は可用性グループリスナー名を、dbname は CREATE EXTERNAL TABLE ステートメントのターゲットとなるデータベースの名前を示しています。

CREATE EXTERNAL DATA SOURCE SQLServerInstance2
WITH (
    LOCATION = 'sqlserver://WINSQL2019AGL',
    CONNECTION_OPTIONS = 'ApplicationIntent=ReadOnly; Database=dbname',
    CREDENTIAL = SQLServerCredentials
);

ApplicationIntent を指定して、システムビュー sys.servers で外部テーブルを作成することにより、可用性グループのリダイレクト動作を実演できます。次のサンプルスクリプトでは、2 つの外部データソースが作成され、それぞれに対して 1 つの外部テーブルが作成されます。ビューを使用して、どのサーバーが接続に応答しているかをテストします。読み取り専用ルーティング機能を使用しても同様の結果を得ることができます。詳細については、「Always On 可用性グループの読み取り専用ルーティングの構成」を参照してください。

CREATE EXTERNAL DATA SOURCE [DataSource_SQLInstanceListener_ReadOnlyIntent]
WITH (
    LOCATION = 'sqlserver://WINSQL2019AGL',
    CONNECTION_OPTIONS = 'ApplicationIntent=ReadOnly; Database=dbname',
    CREDENTIAL = [SQLServerCredentials]
);
GO

CREATE EXTERNAL DATA SOURCE [DataSource_SQLInstanceListener_ReadWriteIntent]
WITH (
    LOCATION = 'sqlserver://WINSQL2019AGL',
    CONNECTION_OPTIONS = 'ApplicationIntent=ReadWrite',
    CREDENTIAL = [SQLServerCredentials]
);
GO

可用性グループのデータベース内で、sys.servers とローカルインスタンスの名前を返すビューを作成します。これは、どのレプリカがクエリに応答しているかを特定するのに役立ちます。詳細については、sys.servers を参照してください。

CREATE VIEW vw_sys_servers
AS
SELECT [name]
FROM sys.servers
WHERE server_id = 0;
GO

次に、ソースインスタンスに外部テーブルを作成します。

CREATE EXTERNAL TABLE vw_sys_servers_ro (name SYSNAME NOT NULL)
WITH (
    DATA_SOURCE = [DataSource_SQLInstanceListener_ReadOnlyIntent],
    LOCATION = N'dbname.dbo.vw_sys_servers'
);
GO

CREATE EXTERNAL TABLE vw_sys_servers_rw (name SYSNAME NOT NULL)
WITH (
    DATA_SOURCE = [DataSource_SQLInstanceListener_ReadWriteIntent],
    LOCATION = N'dbname.dbo.vw_sys_servers'
);
GO

SELECT [name]
FROM dbo.vw_sys_servers_ro;--should return secondary replica instance

SELECT [name]
FROM dbo.vw_sys_servers_rw;--should return primary replica instance
GO

例: 一括操作

重要

一括操作用の外部データソースの構成時に、LOCATION URL の末尾に、 / 、ファイル名、Shared Access Signature パラメーターを追加しないでください。

H. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

適用対象: SQL Server 2017 (14.x) と SQL Server 2019 (15.x)

CREATE DATABASE SCOPED CREDENTIAL AccessAzureInvoices
    WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
    -- Remove ? from the beginning of the SAS token
    SECRET = '<azure_shared_access_signature>';

CREATE EXTERNAL DATA SOURCE MyAzureInvoices
WITH (
    LOCATION = 'https://newinvoices.blob.core.windows.net/week3',
    CREDENTIAL = AccessAzureInvoices,
    TYPE = BLOB_STORAGE
);

この使用例については、BULK INSERT の例を参照してください。

I. abfs:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

適用対象: SQL Server 2019 (15.x) CU11 以降

この例では、外部データソースは、Azure Blob File System ドライバー (ABFS) を使用する Azure Data Lake Storage Gen2 アカウント logs です。ストレージコンテナーは daily という名前です。 Azure Data Lake Storage Gen2 外部データソースはデータ転送専用であり、述語のプッシュダウンはサポートされません。

この例では、Azure Data Lake Storage Gen2 アカウントへの認証用にデータベーススコープ資格情報を作成する方法を示します。データベースの資格情報シークレットで、Azure Storage アカウントキーを指定します。 Azure Storage への認証時に使用されないため、データベーススコープ資格情報 ID には任意の文字列を指定できます。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
    WITH IDENTITY = '<my_account>',
    SECRET = '<azure_storage_account_key>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'abfss://daily@logs.dfs.core.windows.net/',
    CREDENTIAL = AzureStorageCredential,
    TYPE = HADOOP
);

J. 汎用 ODBC to PostgreSQL を使用して外部データソースを作成する

前の例と同様に、まずデータベースマスターキーとデータベーススコープ資格情報を作成します。データベーススコープ資格情報は、外部データソース用に使用されます。この例では、PostgreSQL 用の汎用 ODBC データプロバイダーがサーバーにインストールされていることも前提としています。

この例では、汎用 ODBC データプロバイダーを使用して、同じネットワーク内の PostgreSQL データベースサーバーに接続します。ここで、PostgreSQL サーバーの完全修飾ドメイン名は POSTGRES1 であり、TCP 5432 の既定のポートが使用されます。

CREATE EXTERNAL DATA SOURCE POSTGRES1
WITH (
    LOCATION = 'odbc://POSTGRES1.domain:5432',
    CONNECTION_OPTIONS = 'Driver={PostgreSQL Unicode(x64)};',
    CREDENTIAL = postgres_credential
);

次のステップ

概要: SQL Server 2022

適用対象: SQL Server 2022 (16.x) 以降

PolyBase クエリ用の外部データソースを作成します。外部データソースを使用して接続を確立し、次の主なユースケースをサポートします。

PolyBase を使用したデータ仮想化とデータ読み込み
BULK INSERT または OPENROWSET を使用した一括読み込み操作

注意

この構文は、SQL Server のバージョンによって異なります。バージョンセレクターのドロップダウンを使用して適切なバージョンを選択します。このコンテンツは、SQL Server 2022 (16.x) 以降に適用されます。

SQL Server 2022 以降の構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CONNECTION_OPTIONS = '<key_value_pairs>'[,...]]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] PUSHDOWN = { ON | OFF } ]
  )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。この名前は、SQL Server のデータベース内で一意になる必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス	製品/サービスでサポートされている場所	認証
Azure Storage アカウント (V2)	`abs`	`abs://<container_name>@<storage_account_name>.blob.core.windows.net/` または `abs://<storage_account_name>.blob.core.windows.net/<container_name>`	SQL Server 2022 (16.x) 以降階層型名前空間がサポートされています。	Shared Access Signature (SAS)
Azure Data Lake Storage Gen2	`adls`	`adls://<container_name>@<storage_account_name>.dfs.core.windows.net/` または `adls://<storage_account_name>.dfs.core.windows.net/<container_name>`	SQL Server 2022 (16.x) 以降	Shared Access Signature (SAS)
SQL Server	`sqlserver`	`<server_name>[\<instance_name>][:port]`	SQL Server 2019 (15.x) 以降	SQL 認証のみ
Oracle	`oracle`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降	基本認証のみ
Teradata	`teradata`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降	基本認証のみ
MongoDB または MongoDB 用 Cosmos DB API	`mongodb`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降	基本認証のみ
汎用 ODBC	`odbc`	`<server_name>[:port]`	SQL Server 2019 (15.x) 以降 - Windows のみ	基本認証のみ
一括操作	`https`	`<storage_account>.blob.core.windows.net/<container>`	SQL Server 2017 (14.x) 以降	Shared Access Signature (SAS)
S3 互換オブジェクトストレージ	`s3`	- S3 互換: `s3://<server_name>:<port>/` - AWS S3: `s3://<bucket_name>.S3.amazonaws.com[:port]/<folder>` or `s3://s3.amazonaws.com[:port]/<bucket_name>/<folder>`	SQL Server 2022 (16.x) 以降	Basic またはパススルー (STS) *

* データベーススコープの資格情報である必要があります IDENTITY は IDENTITY = 'S3 Access Key' にハードコーディングされ、SECRET 引数は = '<AccessKeyID>:<SecretKeyID>' 形式であるか、パススルー (STS) 承認を使用します。詳しくは、「S3 互換オブジェクトストレージの外部データにアクセスするように PolyBase を構成する」をご覧ください。

場所のパス:

port = 外部データソースがリッスンしているポート。多くの場合、ネットワーク構成に応じて省略可能です。
<container_name> = データを保持するストレージアカウントのコンテナー。ルートコンテナーは読み取り専用で、このコンテナーにデータを書き込むことはできません。
<storage_account> = Azure リソースのストレージアカウント名。
<server_name> = ホスト名。
<instance_name> = SQL Server の名前付きインスタンスの名前。ターゲットインスタンスで実行中の SQL Server Browser サービスがある場合に使用されます。
<ip_address>:<port> = S3 互換オブジェクトストレージの場合のみ (SQL Server 2022 (16.x) 以降)、S3 互換ストレージへの接続に使用されるエンドポイントとポート。
<bucket_name> = ストレージプラットフォームに固有の S3 互換オブジェクトストレージ (SQL Server 2022 (16.x) 以降) の場合のみ。
<region> = ストレージプラットフォームに固有の S3 互換オブジェクトストレージ (SQL Server 2022 (16.x) 以降) の場合のみ。
<folder> = ストレージ URL 内のストレージパスの一部。

場所を設定する場合の追加の注意事項とガイダンス:

SQL Server データベースエンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。
sqlserver コネクタを使用すれば、SQL Server 2019 (15.x) を別の SQL Server または Azure SQL Database に接続できます。
Driver={<Name of Driver>} 経由で接続する際に ODBC を指定します。
プレフィックス adls を使用する Azure ストレージアカウント (V2) の階層型名前空間オプションは、SQL Server 2022 (16.x) の Azure Data Lake Storage Gen2 でサポートされています。

SQL Server における HDFS Cloudera (CDP) と Hortonworks (HDP) の外部データソースのサポートは廃止され、SQL Server 2022 (16.x) には含まれません。 SQL Server 2022 (16.x) では TYPE 引数を使う必要はありません。
SQL Server 2022 (16.x) 以降の S3 互換オブジェクトストレージと PolyBase の詳細については、「S3 互換オブジェクトストレージ内の外部データにアクセスするように PolyBase を構成する」を参照してください。 S3 互換オブジェクトストレージ内の Parquet ファイルのクエリの例については、「PolyBase を使用して S3 互換オブジェクトストレージ内の Parquet ファイルを仮想化する」を参照してください。
以前のバージョンとは異なり、SQL Server 2022 (16.x) では、Azure ストレージアカウント (v2) に使用されるプレフィックスが wasb[s] から abs に変更されます。
以前のバージョンとは異なり、SQL Server 2022 (16.x) では、Azure Data Lake Storage Gen2 に使用されるプレフィックスが abfs[s] から adls に変更されます。
PolyBase を使って Azure Storage の CSV ファイルを仮想化する例については、「PolyBase を使って CSV ファイルを仮想化する」を参照してください。
PolyBase を使って ADLS Gen2 のデルタテーブルを仮想化する例については、「PolyBase を使ってデルタファイルを仮想化する」を参照してください。
SQL Server 2022 (16.x) では、Azure Storage Account v2 (abs) と Azure Data Lake Gen2 (adls) の両方に対して 2 つの URL 形式が完全にサポートされています。
- LOCATION パスには、形式 <container>@<storage_account_name>.. (推奨) または <storage_account_name>../<container> を使用できます。例:
  - Azure Storage Account v2: abs://<container>@<storage_account_name>.blob.core.windows.net (推奨) または abs://<storage_account_name>.blob.core.windows.net/<container>。
  - Azure Data Lake Gen2 では adls://<container>@<storage_account_name>.blob.core.windows.net (推奨) または adls://<storage_account_name>.dfs.core.windows.net/<container> をサポートしています。

CONNECTION_OPTIONS = key_value_pair

汎用の ODBC 接続だけでなく、SQL Server、Oracle、Teradata、MongoDB、Cosmos DB、MongoDB 用 Azure Cosmos DB API の組み込み ODBC コネクタにも適用されます。

使えるキーと値のペアは、ドライバーに固有です。各プロバイダーの詳細については、「CREATE EXTERNAL DATA SOURCE (Transact-SQL) の CONNECTION_OPTIONS」をご覧ください。

以降、SQL Server 2022 (16.x) の累積的な更新プログラム 2 への適用: 、Oracle TNS ファイルをサポートするための追加のキーワードが導入されました。

キーワード TNSNamesFile を使用すると、Oracle サーバー上にある tnsnames.ora ファイルへのファイルパスを指定できます。
キーワード ServerName を使用すると、ホスト名とポートを置き換えるために使用される tnsnames.ora 内で使用されるエイリアスを指定できます。

PUSHDOWN = ON | OFF

適用対象: SQL Server 2019 (15.x) 以降 外部データソースに計算をプッシュダウンできるかどうかを示します。既定でオンです。

PUSHDOWN は、外部データソースレベルで SQL Server、Oracle、Teradata、MongoDB、MongoDB 用 Azure Cosmos DB API、または ODBC に接続するときにサポートされます。

クエリレベルでプッシュダウンを有効にするか、無効にするかは、ヒントによって実現します。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

資格情報の作成時の追加の注意事項とガイダンス:

CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。
Azure Storage アカウント (V2) または Azure Data Lake Storage Gen2 にアクセスする場合、IDENTITY は SHARED ACCESS SIGNATURE である必要があります。
- 例については、一括操作を実行し、Azure Storage から SQL Database にデータを取得するための外部データソースの作成に関するセクションを参照してください。

Shared Access Signature を作成する方法は複数あります。

SAS トークンを作成するには、Azure portal -><ご利用のストレージアカウント> -> [Shared Access Signature] -> [アクセス許可の構成] -> [SAS と接続文字列を生成する] の順に移動します。詳細については、Shared Access Signature の作成に関するページを参照してください。
Azure Storage Explorer を使用して SAS を作成および構成できます。
PowerShell、Azure CLI、.NET、REST API を使用すれば、SAS をプログラムで作成できます。詳細については、「Shared Access Signatures (SAS) を使用して Azure Storage リソースへの制限付きアクセスを許可する」を参照してください。

SAS トークンは、次のように構成する必要があります。

SAS トークンが生成されると、トークンの先頭に疑問符 ("?") が含まれます。 SECRET として構成されている場合、先頭の ? を除外します。
有効な有効期限を使用する (すべての日付が UTC 時間)。
読み込む必要のあるファイル (たとえば srt=o&sp=r) に対して少なくとも読み取りアクセス許可を付与します。さまざまなユースケースに合わせて複数の Shared Access Signature を作成できます。アクセス許可は次のように付与する必要があります。

アクション	権限
データをファイルから読み取る	Read
複数のファイルとサブフォルダーからデータを読み取る	Read と List
Create External Table as Select (CETAS) を使う	読み取り、作成、一覧表示、書き込み

Azure Blob Storage と Azure Data Lake Gen 2 の場合:
- 許可されるサービス: SAS トークンを生成するには、Blob を選択する必要があります
- 許可されるリソースの種類: SAS トークンを生成するには、Container と Object を選択する必要があります

CREDENTIAL を S3 互換オブジェクトストレージと PolyBase と共に使用する例については、「S3 互換オブジェクトストレージの外部データにアクセスするように PolyBase を構成する」を参照してください。

データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

アクセス許可

SQL Server 内のデータベースに対する CONTROL アクセス許可が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

セキュリティ

SQL Server 2022 へのアップグレード

SQL Server 2022 (16.x) 以降、Hadoop 外部データソースはサポートされなくなります。以前に TYPE = HADOOP で作成された外部データソースと、この外部データソースを使用する外部テーブルを、手動で作成し直す必要があります。

また、ユーザーは、Azure Storage に接続するときに新しいコネクタを使用するように外部データソースを構成する必要があります。

外部データソース	ソース	終了
Azure Blob Storage	wasb[s]	abs
ADLS Gen2	abfs[s]	adls

例

重要

PolyBase をインストールして有効にする方法については、「Windows への PolyBase のインストール」を参照してください

A. SQL Server で Oracle を参照する外部データソースを作成する

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL OracleProxyAccount
    WITH IDENTITY = 'oracle_username',
    SECRET = 'oracle_password';

CREATE EXTERNAL DATA SOURCE MyOracleServer
WITH (
    LOCATION = 'oracle://145.145.145.145:1521',
    CREDENTIAL = OracleProxyAccount,
    PUSHDOWN = ON
);

CREATE DATABASE SCOPED CREDENTIAL [OracleProxyCredential]
    WITH IDENTITY = 'oracle_username',
    SECRET = 'oracle_password';

CREATE EXTERNAL DATA SOURCE [OracleSalesSrvr]
WITH (
    LOCATION = 'oracle://145.145.145.145:1521',
    CONNECTION_OPTIONS = 'ImpersonateUser=%CURRENT_USER',
    CREDENTIAL = [OracleProxyCredential]
);

または、TNS を使用して認証することもできます。

Applies to: SQL Server 2022 (16.x) 累積的な更新プログラム 2 以降、CREATE EXTERNAL DATA SOURCEは Oracle に接続するときに TNS ファイルの使用をサポートするようになりました。 CONNECTION_OPTIONS パラメーターが展開されるともに、このパラメーターによって、TNSNamesFile と ServerName を変数として使用して tnsnames.ora ファイルを参照することでサーバーとの接続が確立されるようになりました。

CREATE EXTERNAL DATA SOURCE [external_data_source_name]
WITH (
    LOCATION = N'oracle://XE',
    CREDENTIAL = [OracleCredentialTest],
    CONNECTION_OPTIONS = N'TNSNamesFile=C:\Temp\tnsnames.ora;ServerName=XE'
);

B. PolyBase 接続を使用して SQL Server 名前付きインスタンスを参照する外部データソースを作成する

適用対象: SQL Server 2019 (15.x) 以降

SQL Server の名前付きインスタンスを参照する外部データソースを作成するには、CONNECTION_OPTIONS を使用してインスタンス名を指定します。

CREATE DATABASE SCOPED CREDENTIAL SQLServerCredentials
    WITH IDENTITY = 'username',
    SECRET = 'password';

次の例では、WINSQL2019 がホスト名で、SQL2019 がインスタンス名になります。 'Server=%s\SQL2019' はキーと値のペアです。

CREATE EXTERNAL DATA SOURCE SQLServerInstance2
WITH (
    LOCATION = 'sqlserver://WINSQL2019',
    CONNECTION_OPTIONS = 'Server=%s\SQL2019',
    CREDENTIAL = SQLServerCredentials
);

また、ポートを使用して SQL Server の既定のインスタンスに接続することもできます。

CREATE EXTERNAL DATA SOURCE SQLServerInstance2
WITH (
    LOCATION = 'sqlserver://WINSQL2019:58137',
    CREDENTIAL = SQLServerCredentials
);

C. Always On 可用性グループの読み取り可能なセカンダリレプリカを参照する外部データソース作成する

適用対象: SQL Server 2019 (15.x) 以降

CREATE DATABASE SCOPED CREDENTIAL SQLServerCredentials
    WITH IDENTITY = 'username',
    SECRET = 'password';

次に、新しい外部データソースを作成します。

CREATE EXTERNAL DATA SOURCE SQLServerInstance2
WITH (
    LOCATION = 'sqlserver://WINSQL2019AGL',
    CONNECTION_OPTIONS = 'ApplicationIntent=ReadOnly; Database=dbname',
    CREDENTIAL = SQLServerCredentials
);

CREATE EXTERNAL DATA SOURCE [DataSource_SQLInstanceListener_ReadOnlyIntent]
WITH (
    LOCATION = 'sqlserver://WINSQL2019AGL',
    CONNECTION_OPTIONS = 'ApplicationIntent=ReadOnly; Database=dbname',
    CREDENTIAL = [SQLServerCredentials]
);
GO

CREATE EXTERNAL DATA SOURCE [DataSource_SQLInstanceListener_ReadWriteIntent]
WITH (
    LOCATION = 'sqlserver://WINSQL2019AGL',
    CONNECTION_OPTIONS = 'ApplicationIntent=ReadWrite',
    CREDENTIAL = [SQLServerCredentials]
);
GO

CREATE VIEW vw_sys_servers
AS
SELECT [name]
FROM sys.servers
WHERE server_id = 0;
GO

次に、ソースインスタンスに外部テーブルを作成します。

CREATE EXTERNAL TABLE vw_sys_servers_ro (name SYSNAME NOT NULL)
WITH (
    DATA_SOURCE = [DataSource_SQLInstanceListener_ReadOnlyIntent],
    LOCATION = N'dbname.dbo.vw_sys_servers'
);
GO

CREATE EXTERNAL TABLE vw_sys_servers_rw (name SYSNAME NOT NULL)
WITH (
    DATA_SOURCE = [DataSource_SQLInstanceListener_ReadWriteIntent],
    LOCATION = N'dbname.dbo.vw_sys_servers'
);
GO

SELECT [name]
FROM dbo.vw_sys_servers_ro;--should return secondary replica instance

SELECT [name]
FROM dbo.vw_sys_servers_rw;--should return primary replica instance
GO

D. PolyBase を使用して S3 互換オブジェクトストレージ内の Parquet ファイルに対してクエリを実行する外部データソースを作成する

適用対象: SQL Server 2022 (16.x) 以降

次のサンプルスクリプトでは、SQL Server のソースユーザーデータベースに外部データソース s3_ds を作成します。外部データソースは、s3_dc データベーススコープの資格情報を参照します。

CREATE DATABASE SCOPED CREDENTIAL s3_dc
    WITH IDENTITY = 'S3 Access Key', -- for S3-compatible object storage the identity must always be S3 Access Key
    SECRET = '<access_key_id>:<secret_key_id>' -- provided by the S3-compatible object storage
GO

CREATE EXTERNAL DATA SOURCE s3_ds
WITH (
    LOCATION = 's3://<ip_address>:<port>/',
    CREDENTIAL = s3_dc
);
GO

sys.external_data_sources を使用して新しい外部データソースを確認します。

SELECT * FROM sys.external_data_sources;

次の例では、T-SQL を使用して、OPENROWSET クエリを介して S3 互換オブジェクトストレージに格納されている Parquet ファイルに対してクエリを実行する方法を示します。詳細については、PolyBase を使用した S3 互換オブジェクトストレージ内の Parquet ファイルの仮想化に関するページを参照してください。

SELECT *
FROM OPENROWSET (
    BULK '/<bucket>/<parquet_folder>',
    FORMAT = 'PARQUET',
    DATA_SOURCE = 's3_ds'
) AS [cc];

E. 汎用 ODBC to PostgreSQL を使用して外部データソースを作成する

CREATE EXTERNAL DATA SOURCE POSTGRES1
WITH (
    LOCATION = 'odbc://POSTGRES1.domain:5432',
    CONNECTION_OPTIONS = 'Driver={PostgreSQL Unicode(x64)};',
    CREDENTIAL = postgres_credential
);

Azure Storage

Shared Access Signature を作成する

Azure Blob Storage と Azure Data Lake Gen2 の両方でサポートされる認証方法は Shared Access Signature (SAS) です。 Shared Access Signature トークンを生成する簡単な方法の 1 つは、次の手順を実行することです。詳細については、資格情報に関するページを参照してください。

Azure portal で目的のストレージアカウントに移動します。
[データストレージ] メニューから目的のコンテナーに移動します。
[共有アクセストークン] を選びます。
次の表を参照して、目的のアクションに応じて適切なアクセス許可を選びます。

アクション	権限
データをファイルから読み取る	Read
複数のファイルとサブフォルダーからデータを読み取る	Read と List
Create External Table as Select (CETAS) を使う	Read、Create、Write

トークンの有効期限を選びます。
SAS トークンと URL を生成します。
SAS トークンをコピーします。

F. abs:// インターフェイスを使用して Azure Blob Storage のデータにアクセスするための外部データソースを作成する

適用対象: SQL Server 2022 (16.x) 以降

SQL Server 2022 (16.x) 以降では、Azure ストレージアカウント v2 に新しいプレフィックス abs を使用します。 abs プレフィックスは SHARED ACCESS SIGNATURE を使った認証をサポートしています。 abs プレフィックスは、以前のバージョンで使われていた wasb を置き換えます。 HADOOP はサポートされなくなりました。TYPE = BLOB_STORAGE を使う必要はありません。

Azure ストレージアカウントキーは不要になり、次の例に示すように、代わりに SAS Token を使用します。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredentialv2
    WITH IDENTITY = 'SHARED ACCESS SIGNATURE', -- to use SAS the identity must be fixed as-is
    SECRET = '<Blob_SAS_Token>';
GO

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'abs://<container>@<storage_account_name>.blob.core.windows.net/',
    CREDENTIAL = AzureStorageCredentialv2,
);

Azure Blob Storage に格納された CSV ファイルにアクセスする方法の詳細な例については、「PolyBase を使用して CSV ファイルを仮想化する」を参照してください。

G. Azure Data Lake Gen2 のデータにアクセスする外部データソースを作成する

適用対象: SQL Server 2022 (16.x) 以降のバージョン

SQL Server 2022 (16.x) 以降では、Azure Data Lake Gen2 に新しいプレフィックス adls を使用し、以前のバージョンで使用されていた abfs を置き換えます。 adls プレフィックスは、次の例に示すように、認証方法として SAS トークンもサポートしています。

--Create a database scoped credential using SAS Token
CREATE DATABASE SCOPED CREDENTIAL datalakegen2
    WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
    SECRET = '<DataLakeGen2_SAS_Token>';
GO

CREATE EXTERNAL DATA SOURCE data_lake_gen2_dfs
WITH (
    LOCATION = 'adls://<container>@<storage_account>.dfs.core.windows.net',
    CREDENTIAL = datalakegen2
);

Azure Data Lake Gen2 に格納された差分ファイルにアクセスする方法の詳細な例については、「PolyBase を使用してデルタテーブルを仮想化する」を参照してください。

例 :一括操作

重要

一括操作用の外部データソースの構成時に、LOCATION URL の末尾に、 / 、ファイル名、Shared Access Signature パラメーターを追加しないでください。

H. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

適用対象: SQL Server 2022 (16.x) 以降。

CREATE DATABASE SCOPED CREDENTIAL AccessAzureInvoices
WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
    -- Remove ? from the beginning of the SAS token
    SECRET = '<azure_shared_access_signature>';

CREATE EXTERNAL DATA SOURCE MyAzureInvoices
WITH (
    LOCATION = 'abs://<container>@<storage_account_name>.blob.core.windows.net/',
    CREDENTIAL = AccessAzureInvoices,
);

次のステップ

SQL Server

* SQL Database *

SQL マネージド
インスタンス

Azure Synapse
分析

Analytics Platform
System (PDW)

概要:Azure SQL データベース

適用対象: Azure SQL Database

エラスティッククエリ用の外部データソースを作成します。外部データソースを使用して接続を確立し、次の主なユースケースをサポートします。

BULK INSERT または OPENROWSET を使用した一括読み込み操作
エラスティッククエリで SQL Database を使用してリモートの SQL Database または Azure Synapse インスタンスをクエリする
エラスティッククエリを使用してシャード化された SQL Database のクエリを実行する

構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] TYPE = { BLOB_STORAGE | RDBMS | SHARD_MAP_MANAGER } ]
    [ [ , ] DATABASE_NAME = '<database_name>' ]
    [ [ , ] SHARD_MAP_NAME = '<shard_map_manager>' ] )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。この名前は、SQL Database のデータベース内で一意になる必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス	可用性
一括操作	`https`	`<storage_account>.blob.core.windows.net/<container>`
エラスティッククエリ (シャード)	必要なし	`<shard_map_server_name>.database.windows.net`
エラスティッククエリ (リモート)	必要なし	`<remote_server_name>.database.windows.net`
EdgeHub	`edgehub`	`edgehub://`	Azure SQL Edge で "のみ" 使用できます。 EdgeHub は Azure SQL Edge のインスタンスに対して常にローカルです。そのため、パスまたはポート値を指定する必要はありません。
Kafka	`kafka`	`kafka://<kafka_bootstrap_server_name_ip>:<port_number>`	Azure SQL Edge で "のみ" 使用できます。

場所のパス:

<shard_map_server_name> = シャードマップマネージャーをホストしている Azure での論理サーバー名。 DATABASE_NAME 引数は、シャードマップをホストするために使用するデータベースを指定し、SHARD_MAP_NAME はシャードマップ自体に使用します。
<remote_server_name> = エラスティッククエリのターゲット論理サーバー名。データベース名は、DATABASE_NAME 引数を使用して指定します。

場所を設定する場合の追加の注意事項とガイダンス:

データベースエンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

資格情報の作成時の追加の注意事項とガイダンス:

Azure Storage から Azure SQL Database にデータを読み込むには、Shared Access Signature (SAS トークン) を使用します。
CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。
TYPE = BLOB_STORAGE の場合、SHARED ACCESS SIGNATURE を ID として使用して資格情報を作成する必要があります。
WASB[s] コネクタ経由で Azure Storage に接続する場合は、Shared Access Signature (SAS) ではなく、ストレージアカウントキーを使って認証を行う必要があります。
TYPE = HADOOP の場合、ストレージアカウントキーを SECRET として使って資格情報を作成する必要があります。
TYPE = BLOB_STORAGE は一括操作でのみ許可されます。TYPE = BLOB_STORAGE を使って外部データソースに対して外部テーブルを作成することはできません。

Shared Access Signature を作成する方法は複数あります。

SAS トークンを作成するには、Azure portal -><ご利用のストレージアカウント> -> [Shared Access Signature] -> [アクセス許可の構成] -> [SAS と接続文字列を生成する] の順に移動します。詳細については、Shared Access Signature の作成に関するページを参照してください。
Azure Storage Explorer を使用して SAS を作成および構成できます。
PowerShell、Azure CLI、.NET、REST API を使用すれば、SAS をプログラムで作成できます。詳細については、「Shared Access Signatures (SAS) を使用して Azure Storage リソースへの制限付きアクセスを許可する」を参照してください。

SAS トークンは、次のように構成する必要があります。

SAS トークンが生成されると、トークンの先頭に疑問符 ("?") が含まれます。 SECRET として構成されている場合、先頭の ? を除外します。
有効な有効期限を使用する (すべての日付が UTC 時間)。
読み込む必要のあるファイル (たとえば srt=o&sp=r) に対して少なくとも読み取りアクセス許可を付与します。さまざまなユースケースに合わせて複数の Shared Access Signature を作成できます。アクセス許可は次のように付与する必要があります。

アクション	権限
データをファイルから読み取る	Read
複数のファイルとサブフォルダーからデータを読み取る	Read と List
Create External Table as Select (CETAS) を使う	Read、Create、Write

データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

TYPE = [ BLOB_STORAGE | RDBMS | SHARD_MAP_MANAGER]

構成されている外部データソースの種類を指定します。このパラメーターは常に必要ではありません。

SQL Database からのエラスティッククエリを使用したクロスデータベースクエリには、RDBMS を使用します。
シャード化された SQL Database への接続時に外部データソースを作成する場合は、SHARD_MAP_MANAGER を使用します。
BULK INSERT または OPENROWSET を使用して一括操作を実行する場合は、BLOB_STORAGE を使用します。

重要

他の外部データソースを使用する場合は、TYPE を設定しないでください。

DATABASE_NAME = database_name

この引数は、TYPE が RDBMS または SHARD_MAP_MANAGER に設定されている場合に構成します。

TYPE	DATABASE_NAME の値
RDBMS	`LOCATION` を使用して指定されたサーバー上のリモートデータベースの名前
SHARD_MAP_MANAGER	シャードマップマネージャーとして動作しているデータベースの名前

TYPE = RDBMS の外部データソースを作成する方法を示す例については、「RDBMS 外部データソースを作成する」を参照してください

SHARD_MAP_NAME = shard_map_name

TYPE 引数がシャードマップの名前を設定するためだけに SHARD_MAP_MANAGER に設定されている場合に使用します。

TYPE = SHARD_MAP_MANAGER の外部データソースを作成する方法を示す例については、「Shard Map Manager の外部データソースを作成する」を参照してください

アクセス許可

Azure SQL Database 内のデータベースに対する CONTROL アクセス許可が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

例

A. Shard Map Manager の外部データソースを作成する

SHARD_MAP_MANAGER を参照する外部データソースを作成するには、SQL Database または仮想マシン上の SQL Server データベースで Shard Map Manager をホストする SQL Database サーバー名を指定します。

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

CREATE DATABASE SCOPED CREDENTIAL ElasticDBQueryCred
    WITH IDENTITY = '<username>',
    SECRET = '<password>';

CREATE EXTERNAL DATA SOURCE MyElasticDBQueryDataSrc
WITH (
    TYPE = SHARD_MAP_MANAGER,
    LOCATION = '<server_name>.database.windows.net',
    DATABASE_NAME = 'ElasticScaleStarterKit_ShardMapManagerDb',
    CREDENTIAL = ElasticDBQueryCred,
    SHARD_MAP_NAME = 'CustomerIDShardMap'
);

チュートリアルについては、シャーディングのエラスティッククエリの概要 (行方向のパーティション分割) のトピックを参照してください。

B. RDBMS の外部データソースを作成する

RDBMS を参照する外部データソースを作成するには、SQL Database でリモートデータベースの SQL Database サーバー名を指定します。

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

CREATE DATABASE SCOPED CREDENTIAL SQL_Credential
    WITH IDENTITY = '<username>',
    SECRET = '<password>';

CREATE EXTERNAL DATA SOURCE MyElasticDBQueryDataSrc
WITH (
    TYPE = RDBMS,
    LOCATION = '<server_name>.database.windows.net',
    DATABASE_NAME = 'Customers',
    CREDENTIAL = SQL_Credential
);

RDBMS のチュートリアルについては、クロスデータベースクエリの概要 (列方向のパーティション分割) のトピックを参照してください。

例: 一括操作

重要

一括操作用の外部データソースの構成時に、LOCATION URL の末尾に、 / 、ファイル名、Shared Access Signature パラメーターを追加しないでください。

C. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

CREATE DATABASE SCOPED CREDENTIAL AccessAzureInvoices
    WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
    -- Remove ? from the beginning of the SAS token
    SECRET = '******srt=sco&sp=rwac&se=2017-02-01T00:55:34Z&st=2016-12-29T16:55:34Z***************';

CREATE EXTERNAL DATA SOURCE MyAzureInvoices
WITH (
    LOCATION = 'https://newinvoices.blob.core.windows.net/week3',
    CREDENTIAL = AccessAzureInvoices,
    TYPE = BLOB_STORAGE
);

この使用例については、「BULK INSERT」をご覧ください。

例: Azure SQL Edge

重要

Azure SQL Edge の外部データの構成の詳細については、「Azure SQL Edge でのデータストリーミング」を参照してください。

A. Kafka を参照する外部データソースを作成する

適用対象: Azure SQL Edge "のみ"

この例では、外部データソースは、IP アドレス xxx.xxx.xxx.xxx を持つ Kafka サーバーであり、ポート 1900 でリッスンします。 Kafka 外部データソースはデータストリーミング専用であり、述語のプッシュダウンはサポートされていません。

-- Create an External Data Source for Kafka
CREATE EXTERNAL DATA SOURCE MyKafkaServer
    WITH (LOCATION = 'kafka://xxx.xxx.xxx.xxx:1900');

B. EdgeHub を参照する外部データソースを作成する

適用対象: Azure SQL Edge "のみ"

この例では、外部データソースは、Azure SQL Edge と同じエッジデバイスで実行されている EdgeHub になります。 EdgeHub 外部データソースはデータストリーミング専用であり、述語のプッシュダウンはサポートされていません。

-- Create an External Data Source for Kafka
CREATE EXTERNAL DATA SOURCE MyEdgeHub
    WITH (LOCATION = 'edgehub://');

次のステップ

SQL Server

SQL Database

SQL マネージド
インスタンス

* Azure Synapse
Analytics *

Analytics Platform
System (PDW)

概要:Azure Synapse Analytics

適用対象: Azure Synapse Analytics

データ仮想化用の外部データソースを作成します。外部データソースは、接続を確立し、データ仮想化と外部データソースからのデータ読み込みの主要なユースケースをサポートするために使用されます。詳しくは、「Synapse SQL で外部テーブルを使用する」を参照してください。

重要

Azure SQL Database とエラスティッククエリを使用して Azure Synapse Analytics リソースに対してクエリを実行するために外部データソースを作成するには、「SQL Database」を参照してください。

構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

専用 SQL プール
サーバーレス SQL プール

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
( [ LOCATION = '<prefix>://<path>[:<port>]' ]
  [ [ , ] CREDENTIAL = <credential_name> ]
  [ [ , ] TYPE = HADOOP ]
)
[ ; ]

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
(   LOCATION = '<prefix>://<path>'
)
[;]

引数

data_source_name

データソースのユーザー定義の名前を指定します。この名前は、Azure Synapse Analytics の Azure SQL Database 内で一意になる必要があります。

LOCATION = `'<prefix>://<path>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス
Data Lake Storage* Gen1	`adl`	`<storage_account>.azuredatalake.net`
Data Lake Storage Gen2	`abfs[s]`	`<container>@<storage_account>.dfs.core.windows.net`
Azure Blob Storage	`wasbs`	`<container>@<storage_account>.blob.core.windows.net`
Azure Blob Storage	`https`	`<storage_account>.blob.core.windows.net/<container>/subfolders`
Data Lake Storage Gen1	`http[s]`	`<storage_account>.azuredatalakestore.net/webhdfs/v1`
Data Lake Storage Gen2	`http[s]`	`<storage_account>.dfs.core.windows.net/<container>/subfolders`
Data Lake Storage Gen2	`wasb[s]`	`<container>@<storage_account>.blob.core.windows.net`

* Microsoft Azure Data Lake Storage Gen1 ではサポートが制限されています。すべての新しい開発には Gen2 をお勧めします。

外部データソース	コネクタの場所のプレフィックス	専用 SQL プール: PolyBase	専用 SQL プール: ネイティブ*	サーバーレス SQL プール
Data Lake Storage** Gen1	`adl`	いいえ	番号	はい
Data Lake Storage Gen2	`abfs[s]`	はい	イエス	はい
Azure Blob Storage	`wasbs`	はい	あり***	はい
Azure Blob Storage	`https`	いいえ	イエス	はい
Data Lake Storage Gen1	`http[s]`	いいえ	番号	はい
Data Lake Storage Gen2	`http[s]`	はい	イエス	はい
Data Lake Storage Gen2	`wasb[s]`	はい	イエス	はい

* Azure Synapse Analytics のサーバーレスおよび専用 SQL プールでは、データ仮想化に異なるコードベースを使用します。サーバーレス SQL プールでは、ネイティブデータ仮想化テクノロジがサポートされています。専用 SQL プールでは、ネイティブと PolyBase の両方のデータ仮想化がサポートされています。 PolyBase データ仮想化は、EXTERNAL DATA SOURCE が TYPE=HADOOP で作成されるときに使用されます。

** Microsoft Azure Data Lake Storage Gen1 ではサポートが制限されています。すべての新しい開発には Gen2 をお勧めします。

*** より安全な wasbs コネクタが wasb よりも推奨されます。専用 SQL プールのネイティブデータ仮想化 (TYPE が HADOOP と等しくない場合) でのみ、wasb がサポートされます。

場所のパス:

<container> = データを保持するストレージアカウントのコンテナー。ルートコンテナーは読み取り専用で、このコンテナーにデータを書き込むことはできません。
<storage_account> = Azure リソースのストレージアカウント名。

場所を設定する場合の追加の注意事項とガイダンス:

既定のオプションでは、Azure Data Lake Storage Gen2 のプロビジョニング時にenable secure SSL connections を使用します。この設定を有効にした場合は、セキュリティで保護された TLS/SSL 接続を選択したときに abfss を使用する必要があります。 abfss は、セキュリティで保護されていない TLS 接続にも使用できる点に注意してください。詳細については、Azure Blob File System ドライバー (ABFS) に関する記事を参照してください。
Azure Synapse では、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。
一貫性のあるクエリセマンティクスを確保するため、Hadoop をクエリする際は、すべてのテーブルに同じ外部データソースを使用します。
https: プレフィックスを使用すると、パスでサブフォルダーを使用できます。 https は、すべてのデータアクセス方法で使用できるわけではありません。
wasbs は、セキュリティで保護された TLS 接続を使用してデータが送信されるため、推奨されます。
階層型名前空間は、レガシ wasb:// インターフェイスを使ってデータにアクセスする場合、Azure V2 ストレージアカウントではサポートされませんが、wasbs:// を使う場合は階層型名前空間がサポートされます。

CREDENTIAL = credential_name

省略可能。外部データソースに対して認証するためのデータベーススコープ資格情報を指定します。資格情報のない外部データソースは、パブリックストレージアカウントにアクセスしたり、呼び出し元の Microsoft Entra ID を使用して Azure Storage 上のファイルにアクセスしたりできます。

資格情報の作成時の追加の注意事項とガイダンス:

Azure Storage または Azure Data Lake Store (ADLS) Gen2 から Azure Synapse Analytics にデータを読み込むには、Azure Storage キーを使用します。
CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。

データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

サーバーレス SQL プールでは、データベーススコープの資格情報で、ワークスペースのマネージド ID、サービスプリンシパル名、または Shared Access Signature (SAS) トークンを指定できます。 Microsoft Entra パススルーとも呼ばれるユーザー ID を介したアクセスは、パブリックに使用可能なストレージへの匿名アクセスと同様に、データベーススコープの資格情報でも可能です。詳しくは、「サポートされているストレージ承認の種類」を参照してください。
専用 SQL プールでは、データベーススコープの資格情報で、Shared Access Signature (SAS) トークン、ストレージアクセスキー、サービスプリンシパル、ワークスペースマネージド ID、または Microsoft Entra パススルーを指定できます。

TYPE = HADOOP

省略可能、推奨されません。

TYPE は専用 SQL プールでのみ指定できます。指定する場合、HADOOP が許可される唯一の値です。 TYPE=HADOOP がある外部データソースは、専用 SQL プールでのみ利用できます。

従来の実装には HADOOP を使います。それ以外の場合は、新しいネイティブデータアクセスを使うことをお勧めします。新しいネイティブデータアクセスを使う場合は、TYPE 引数を指定しないでください。

TYPE = HADOOP を使用して、Azure Storage からデータを読み込む例については、「サービスプリンシパルを使用して Azure Data Lake Store Gen 1 または 2 を参照する外部データソースを作成する」を参照してください。

Azure Synapse Analytics のサーバーレスおよび専用 SQL プールでは、データ仮想化に異なるコードベースを使用します。サーバーレス SQL プールでは、ネイティブデータ仮想化テクノロジがサポートされています。専用 SQL プールでは、ネイティブと PolyBase の両方のデータ仮想化がサポートされています。 PolyBase データ仮想化は、EXTERNAL DATA SOURCE が TYPE=HADOOP で作成されるときに使用されます。

アクセス許可

データベースに対する CONTROL 権限が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

セキュリティ

ほとんどの外部データソースではプロキシベースの認証がサポートされており、データベーススコープ資格情報を使ってプロキシアカウントを作成します。

Shared Access Signature (SAS) キーは、Azure Data Lake Store Gen 2 ストレージアカウントへの認証用にサポートされています。 Shared Access Signature を使用して認証を行うお客様は、IDENTITY = "Shared Access Signature" のデータベーススコープ資格情報を作成し、SAS トークンをシークレットとして入力する必要があります。

IDENTITY = "Shared Access Signature" のデータベーススコープ資格情報を作成し、ストレージキーの値をシークレットとして使用すると、次のエラーメッセージが表示されます。

'HdfsBridge::isDirExist - Unexpected error encountered checking whether directory exists or not: AbfsRestOperationException: Operation failed: "Server failed to authenticate the request. Please refer to the information in the www-authenticate header.", 401, HEAD, [Storage path URL]'

例

A. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

この例では、外部データソースは、logs という名前の Azure ストレージアカウント V2 です。ストレージコンテナーは daily という名前です。 Azure Storage の外部データソースはデータ転送専用です。述語のプッシュダウンはサポートされません。 wasb:// インターフェイスを使用してデータにアクセスする場合、階層型名前空間はサポートされません。 WASB[s] コネクタ経由で Azure Storage に接続する場合は、Shared Access Signature (SAS) ではなく、ストレージアカウントキーを使って認証を行う必要があることに注意してください。

この例では、従来の HADOOP の Java ベースのアクセス方法を使用します。次の例は、Azure Storage への認証用にデータベーススコープ資格情報を作成する方法を示しています。データベースの資格情報シークレットで、Azure Storage アカウントキーを指定します。 Azure ストレージへの認証時に使用されないため、データベーススコープ資格情報 ID には任意の文字列を指定できます。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
    WITH IDENTITY = '<my_account>',
    SECRET = '<azure_storage_account_key>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'wasbs://daily@logs.blob.core.windows.net/',
    CREDENTIAL = AzureStorageCredential,
    TYPE = HADOOP
);

B. サービスプリンシパルを使用して、Azure Data Lake Store Gen 1 または 2 を参照する外部データソースを作成する

Azure Data Lake Store の接続は、ADLS URI と Microsoft Entra アプリケーションのサービスプリンシパルに基づいて行うことができます。このアプリケーションを作成するためのドキュメントは、Microsoft Entra ID を使用した Data Lake Store 認証で確認できます。

-- If you do not have a Master Key on your DW you will need to create one.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- These values come from your Microsoft Entra application used to authenticate to ADLS
CREATE DATABASE SCOPED CREDENTIAL ADLS_credential
WITH
    -- IDENTITY = '<clientID>@<OAuth2.0TokenEndPoint>' ,
    IDENTITY = '536540b4-4239-45fe-b9a3-629f97591c0c@https://login.microsoftonline.com/42f988bf-85f1-41af-91ab-2d2cd011da47/oauth2/token',
    -- SECRET = '<KEY>'
    SECRET = 'BjdIlmtKp4Fpyh9hIvr8HJlUida/seM5kQ3EpLAmeDI=';

-- For Gen 1 - Create an external data source
-- TYPE: HADOOP - PolyBase uses Hadoop APIs to access data in Azure Data Lake Storage.
-- LOCATION: Provide Data Lake Storage Gen 1 account name and URI
-- CREDENTIAL: Provide the credential created in the previous step
CREATE EXTERNAL DATA SOURCE AzureDataLakeStore
WITH (
    LOCATION = 'adl://newyorktaxidataset.azuredatalakestore.net',
    CREDENTIAL = ADLS_credential,
    TYPE = HADOOP
);

-- For Gen2 - Create an external data source
-- TYPE: HADOOP - PolyBase uses Hadoop APIs to access data in Azure Data Lake Storage.
-- LOCATION: Provide Data Lake Storage Gen2 account name and URI
-- CREDENTIAL: Provide the credential created in the previous step
CREATE EXTERNAL DATA SOURCE AzureDataLakeStore
WITH (
    -- Note the abfss endpoint when your account has secure transfer enabled
    LOCATION = 'abfss://data@newyorktaxidataset.dfs.core.windows.net',
    CREDENTIAL = ADLS_credential,
    TYPE = HADOOP
);

C: ストレージアカウントキーを使用して、Azure Data Lake Store Gen2 を参照する外部データソースを作成する

-- If you do not have a Master Key on your DW you will need to create one.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

CREATE DATABASE SCOPED CREDENTIAL ADLS_credential
WITH
    -- IDENTITY = '<storage_account_name>' ,
    IDENTITY = 'newyorktaxidata',
    -- SECRET = '<storage_account_key>'
    SECRET = 'yz5N4+bxSb89McdiysJAzo+9hgEHcJRJuXbF/uC3mhbezES/oe00vXnZEl14U0lN3vxrFKsphKov16C0w6aiTQ==';

-- Note this example uses a Gen2 secured endpoint (abfss)
CREATE EXTERNAL DATA SOURCE < data_source_name >
WITH (
    LOCATION = 'abfss://2013@newyorktaxidataset.dfs.core.windows.net',
    CREDENTIAL = ADLS_credential,
    TYPE = HADOOP
);

D. abfs:// を使って Azure Data Lake Store Gen2 に対する外部データソースを作成する

マネージド ID メカニズムで Azure Data Lake Store Gen2 アカウントに接続するとき、SECRET を指定する必要はありません。

-- If you do not have a Master Key on your DW you will need to create one
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

--Create database scoped credential with **IDENTITY = 'Managed Service Identity'**
CREATE DATABASE SCOPED CREDENTIAL msi_cred
WITH IDENTITY = 'Managed Service Identity';

--Create external data source with abfss:// scheme for connecting to your Azure Data Lake Store Gen2 account
CREATE EXTERNAL DATA SOURCE ext_datasource_with_abfss
WITH (
    TYPE = HADOOP,
    LOCATION = 'abfss://myfile@mystorageaccount.dfs.core.windows.net',
    CREDENTIAL = msi_cred
);

次のステップ

* Analytics
Platform System (PDW) *

概要:分析プラットフォームシステム

適用対象: Analytics Platform System (PDW)

PolyBase クエリ用の外部データソースを作成します。外部データソースを使用して接続を確立し、次のユースケースをサポートします。PolyBase を使用したデータ仮想化とデータ読み込み。

構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] TYPE = HADOOP ]
    [ [ , ] RESOURCE_MANAGER_LOCATION = '<resource_manager>[:<port>]' )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。名前は、Analytics Platform System (PDW) のサーバー内で一意である必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	コネクタの場所のプレフィックス	ロケーションパス
Cloudera CDH または Hortonworks HDP	`hdfs`	`<Namenode>[:port]`
Azure Storage アカウント	`wasb[s]`	`<container>@<storage_account>.blob.core.windows.net`

場所のパス:

<Namenode> = Hadoop クラスター内の Namenode のマシン名、ネームサービス URI、または IP アドレス。 PolyBase では Hadoop クラスターで使用されているすべての DNS 名が解決される必要があります。
port = 外部データソースがリッスンしているポート。 Hadoop では、fs.defaultFS 構成パラメーターを使用してポートを見つけることができます。既定値は 8020 です。
<container> = データを保持するストレージアカウントのコンテナー。ルートコンテナーは読み取り専用で、このコンテナーにデータを書き込むことはできません。
<storage_account> = Azure リソースのストレージアカウント名。

場所を設定する場合の追加の注意事項とガイダンス:

PDW エンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。
一貫性のあるクエリセマンティクスを確保するため、Hadoop をクエリする際は、すべてのテーブルに同じ外部データソースを使用します。
wasbs は、セキュリティで保護された TLS 接続を使用してデータが送信されるため、推奨されます。
階層型名前空間は、wasb:// 経由で Azure Storage アカウントと一緒に使用する場合はサポートされません。
Hadoop Namenode のフェールオーバー時に、PolyBase クエリを確実に成功させるため、Hadoop クラスターの Namenode に仮想 IP アドレスを使用することを検討してください。使用しない場合は、ALTER EXTERNAL DATA SOURCE コマンドを実行して新しい場所を示します。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

資格情報の作成時の追加の注意事項とガイダンス:

Azure Storage から Azure Synapse または PDW にデータを読み込むには、Azure Storage キーを使用します。
CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。

TYPE = [ HADOOP ]

構成されている外部データソースの種類を指定します。このパラメーターは常に必要ではありません。

外部データソースが Cloudera CDH、Hortonworks HDP、Azure Storage の場合は、HADOOP を使用します。

TYPE = HADOOP を使用して、Azure Storage からデータを読み込む例については、「Hadoop を参照する外部データソースを作成する」を参照してください。

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

RESOURCE_MANAGER_LOCATION が定義されている場合、クエリオプティマイザーでは、パフォーマンスを向上させるためにコストに基づいて決定が下されます。 MapReduce ジョブを使用して、Hadoop に計算をプッシュダウンできます。 RESOURCE_MANAGER_LOCATION を指定すると、Hadoop と SQL の間で転送されるデータ量が大幅に減少し、それによってクエリのパフォーマンスが向上する可能性があります。

PolyBase が Hadoop 外部データソースと正しく連携するためには、次の Hadoop クラスターコンポーネントのポートが開いている必要があります。

HDFS ポート
- Namenode
- Datanode
Resource Manager
- ジョブの送信
- ジョブ履歴

ポートが指定されていない場合、'hadoop connectivity' 構成の現在の設定を使用して、既定値が選択されます。

Hadoop Connectivity	Resource Manager の既定のポート
1	50300
2	50300
3	8021
4	8032
5	8050
6	8032
7	8050

Hadoop クラスターコンポーネント	[既定のポート]
NameNode	8020
DataNode (データ転送、非特権 IPC ポート)	50010
DataNode (データ転送、特権 IPC ポート)	1019
Resource Manager ジョブの送信 (Hortonworks 1.3)	50300
Resource Manager ジョブの送信 (Cloudera 4.3)	8021
Resource Manager ジョブの送信 (Windows では Hortonworks 2.0、Linux では Cloudera 5.x)	8032
Resource Manager ジョブの送信 (Linux では Hortonworks 2.x、3.0、Windows では Hortonworks 2.1-3)	8050
Resource Manager ジョブ履歴	10020

アクセス許可

Analytics Platform System (PDW) のデータベースに対する CONTROL アクセス許可が必要です。

注意

PDW の以前のリリースでは、外部データソースの作成には、ALTER ANY EXTERNAL DATA SOURCE アクセス許可が必要でした。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

セキュリティ

例

A. Hadoop を参照する外部データソースを作成する

Hortonworks HDP または Cloudera CDH を参照する外部データソースを作成するには、Hadoop Namenode のマシン名または IP アドレスとポートを指定します。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    TYPE = HADOOP
);

B. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8020',
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Kerberos user name and password.
CREATE DATABASE SCOPED CREDENTIAL HadoopUser1
    WITH IDENTITY = '<hadoop_user_name>',
    SECRET = '<hadoop_password>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
    LOCATION = 'hdfs://10.10.10.10:8050',
    CREDENTIAL = HadoopUser1,
    TYPE = HADOOP,
    RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);

D. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

この例では、Azure ストレージへの認証用にデータベーススコープ資格情報を作成する方法を示します。データベースの資格情報シークレットで、Azure ストレージアカウントキーを指定します。 Azure ストレージへの認証時に使用されないため、データベーススコープ資格情報 ID には任意の文字列を指定できます。

-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';

-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
    WITH IDENTITY = '<my_account>',
        SECRET = '<azure_storage_account_key>';

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
    LOCATION = 'wasbs://daily@logs.blob.core.windows.net/',
    CREDENTIAL = AzureStorageCredential,
    TYPE = HADOOP
);

次のステップ

SQL Server

SQL Database

* SQL Managed Instance *

Azure Synapse
分析

Analytics Platform
System (PDW)

概要:Azure SQL Managed Instance

適用対象: Azure SQL Managed Instance

Azure SQL Managed Instance で外部データソースを作成します。詳細については、「Azure SQL Managed Instance によるデータ仮想化」を参照してください。

Azure SQL Managed Instance のデータ仮想化では、OPENROWSET T-SQL 構文または CREATE EXTERNAL TABLE T-SQL 構文を使用して、さまざまなファイル形式の外部データにアクセスできます。

構文

構文表記規則の詳細については、「Transact-SQL 構文表記規則」を参照してください。

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CREDENTIAL = <credential_name> ]
  )
[ ; ]

引数

data_source_name

データソースのユーザー定義の名前を指定します。名前は、データベース内で一意である必要があります。

LOCATION = `'<prefix>://<path[:port]>'`

接続プロトコルと外部データソースへのパスを指定します。

外部データソース	場所プレフィックス	ロケーションパス
Azure Blob Storage	`abs`	`abs://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>`
Azure Data Lake Service Gen2	`adls`	`adls://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>`

データベースエンジンでは、オブジェクトの作成時に、外部データソースの存在が検証されません。検証するには、外部データソースを使用して外部テーブルを作成します。

一括操作用の外部データソースの構成時に、LOCATION URL の末尾に、 / 、ファイル名、Shared Access Signature パラメーターを追加しないでください。

CREDENTIAL = credential_name

外部データソースへの認証の資格情報のデータベーススコープを指定します。

資格情報の作成時の追加の注意事項とガイダンス:

Azure Storage から Azure SQL Managed Instance にデータを読み込むには、Shared Access Signature (SAS トークン) を使用します。
CREDENTIAL は、データがセキュリティ保護されている場合にのみ必須です。匿名アクセスを許可するデータセットには、CREDENTIAL は必要ありません。
資格情報が必要な場合は、Managed Identity または SHARED ACCESS SIGNATURE を IDENTITY として使用して目的の資格情報を作成する必要があります。データベーススコープ資格情報を作成するには、「CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL)」を参照してください。

データベーススコープ資格情報にマネージドサービス ID を使用するには:

WITH IDENTITY = 'Managed Identity' を指定します
- Azure SQL Managed Instance のシステム割り当てマネージドサービス ID を使用します。これは、この目的で使用する場合、有効にする必要があります。
必要な Azure Blob Storage コンテナーに対する Azure SQL Managed Instance のシステム割り当てマネージドサービス ID に閲覧者 Azure RBAC ロールを付与します。たとえば、Azure portal を使用する場合は、「Azure portal を使用して Azure ロールを割り当てる」を参照してください。

データベーススコープ資格情報の Shared Access Signature (SAS) を作成するには:

WITH IDENTITY = 'SHARED ACCESS SIGNATURE', SECRET = ... を指定します
Shared Access Signature を作成する方法は複数あります。
- SAS トークンを取得するには、Azure portal -><ご利用のストレージアカウント> -> [Shared Access Signature] -> [アクセス許可の構成] -> [SAS と接続文字列を生成する] の順に移動します。詳細については、Shared Access Signature の作成に関するページを参照してください。
- Azure Storage Explorer を使用して SAS を作成および構成できます。
- PowerShell、Azure CLI、.NET、REST API を使用すれば、SAS をプログラムで作成できます。詳細については、「Shared Access Signatures (SAS) を使用して Azure Storage リソースへの制限付きアクセスを許可する」を参照してください。

SAS トークンは、次のように構成する必要があります。

SAS トークンが生成されると、トークンの先頭に疑問符 ("?") が含まれます。 SECRET として構成されている場合、先頭の ? を除外します。
有効な有効期限を使用する (すべての日付が UTC 時間)。
読み込む必要のあるファイル (たとえば srt=o&sp=r) に対して少なくとも読み取りアクセス許可を付与します。さまざまなユースケースに合わせて複数の Shared Access Signature を作成できます。アクセス許可は次のように付与する必要があります。

アクション	権限
データをファイルから読み取る	Read
複数のファイルとサブフォルダーからデータを読み取る	Read と List
Create External Table as Select (CETAS) を使う	Read、Create、Write

アクセス許可

Azure SQL Managed Instance 内のデータベースに対する CONTROL アクセス許可が必要です。

ロック

EXTERNAL DATA SOURCE オブジェクトを共有ロックします。

例

詳細については、「Azure SQL Managed Instance によるデータ仮想化」を参照してください。

A. OPENROWSET または外部テーブルを使用して Azure SQL Managed Instance から外部データに対してクエリを実行する

その他の例については、外部データソースの作成に関するページまたは「Azure SQL Managed Instance によるデータ仮想化」を参照してください。

データベースマスターキーが存在しない場合は作成します。

-- Optional: Create MASTER KEY if it doesn't exist in the database:
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<Strong Password>'
GO

SAS トークンを使用して、データベーススコープ資格情報を作成します。マネージド ID も使用できます。
```
CREATE DATABASE SCOPED CREDENTIAL MyCredential
WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
SECRET = '<KEY>' ; --Removing leading '?'
GO
```

資格情報を使用して外部データソースを作成します。

--Create external data source pointing to the file path, and referencing database-scoped credential:
CREATE EXTERNAL DATA SOURCE MyPrivateExternalDataSource
WITH (
    LOCATION = 'abs://public@pandemicdatalake.blob.core.windows.net/curated/covid-19/bing_covid-19_data/latest',
    CREDENTIAL = [MyCredential]
);

OPENROWSET T-SQL 構文を使用して外部データソース内の parquet データファイルに対してクエリを実行します。スキーマの推論に依存することで、スキーマを知らなくてもデータをすばやく探索できます。
```
--Query data with OPENROWSET, relying on schema inference.
SELECT TOP 10 *
FROM OPENROWSET (
    BULK 'bing_covid-19_data.parquet',
    DATA_SOURCE = 'MyExternalDataSource',
    FORMAT = 'parquet'
) AS filerows;
```

または、クエリの実行コストが発生する可能性があるスキーマ推論に頼るのではなく、OPENROWSET と WITH 句を使用してデータに対してクエリを実行します。 CSV では、スキーマ推論はサポートされていません。

--Or, query data using the WITH clause on a CSV, where schema inference is not supported
SELECT TOP 10 id,
    updated,
    confirmed,
    confirmed_change
FROM OPENROWSET (
    BULK 'bing_covid-19_data.csv', DATA_SOURCE = 'MyExternalDataSource',
    FORMAT = 'CSV',
    FIRSTROW = 2
) WITH (
    id INT,
    updated DATE,
    confirmed INT,
    confirmed_change INT
) AS filerows;

または、EXTERNAL FILE FORMAT と EXTERNAL TABLE を作成し、ローカルテーブルとしてデータに対してクエリを実行します。

-- Or, create an EXTERNAL FILE FORMAT and an EXTERNAL TABLE
--Create external file format
CREATE EXTERNAL FILE FORMAT DemoFileFormat
    WITH (FORMAT_TYPE = PARQUET)
GO

--Create external table:
CREATE EXTERNAL TABLE tbl_TaxiRides (
    vendorID VARCHAR(100) COLLATE Latin1_General_BIN2,
    tpepPickupDateTime DATETIME2,
    tpepDropoffDateTime DATETIME2,
    passengerCount INT,
    tripDistance FLOAT,
    puLocationId VARCHAR(8000),
    doLocationId VARCHAR(8000),
    startLon FLOAT,
    startLat FLOAT,
    endLon FLOAT,
    endLat FLOAT,
    rateCodeId SMALLINT,
    storeAndFwdFlag VARCHAR(8000),
    paymentType VARCHAR(8000),
    fareAmount FLOAT,
    extra FLOAT,
    mtaTax FLOAT,
    improvementSurcharge VARCHAR(8000),
    tipAmount FLOAT,
    tollsAmount FLOAT,
    totalAmount FLOAT
)
WITH (
    LOCATION = 'yellow/puYear=*/puMonth=*/*.parquet',
    DATA_SOURCE = NYCTaxiExternalDataSource,
    FILE_FORMAT = MyFileFormat\.\./\.\./\.\./azure-sql/
);
GO

--Then, query the data via an external table with T-SQL:
SELECT TOP 10 *
FROM tbl_TaxiRides;
GO

次の方法で共有

CREATE EXTERNAL DATA SOURCE (Transact-SQL)

製品を選択する

概要: SQL Server 2016

SQL Server 2016 の構文

引数

data_source_name

LOCATION = '<prefix>://<path[:port]>'

CREDENTIAL = credential_name

TYPE = [ HADOOP ]

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

アクセス許可

ロック

セキュリティ

例

A. Hadoop を参照する外部データ ソースを作成する

B. プッシュダウンが有効になっている Hadoop を参照する外部データ ソースを作成する

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データ ソースを作成する

D. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

次のステップ

概要: SQL Server 2017

SQL Server 2017 の構文

引数

data_source_name

LOCATION = '<prefix>://<path[:port]>'

CREDENTIAL = credential_name

TYPE = [ HADOOP | BLOB_STORAGE ]

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

アクセス許可

ロック

セキュリティ

例

A. Hadoop を参照する外部データ ソースを作成する

B. プッシュダウンが有効になっている Hadoop を参照する外部データ ソースを作成する

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データ ソースを作成する

D. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

例: 一括操作

E. Azure Storage からデータを取得する一括操作用の外部データ ソースを作成する

次のステップ

概要: SQL Server 2019

SQL Server 2019 の構文

引数

data_source_name

LOCATION = '<prefix>://<path[:port]>'

CONNECTION_OPTIONS = key_value_pair

PUSHDOWN = ON | OFF

CREDENTIAL = credential_name

TYPE = [ HADOOP | BLOB_STORAGE ]

RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:port]'

アクセス許可

ロック

セキュリティ

例

A. SQL Server 2019 で Oracle を参照する外部データ ソースを作成する

B. Hadoop を参照する外部データ ソースを作成する

C. プッシュダウンが有効になっている Hadoop を参照する外部データ ソースを作成する

D. Kerberos でセキュリティ保護された Hadoop を参照する外部データ ソースを作成する

E. wasb:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

F. PolyBase 接続を使用して SQL Server 名前付きインスタンスを参照する外部データソースを作成する

G. Always On 可用性グループの読み取り可能なセカンダリ レプリカを参照する外部データ ソース作成する

例: 一括操作

H. Azure Storage からデータを取得する一括操作用の外部データ ソースを作成する

I. abfs:// インターフェイスを使用して Azure Storage のデータにアクセスするための外部データソースを作成する

J. 汎用 ODBC to PostgreSQL を使用して外部データ ソースを作成する

次のステップ

概要: SQL Server 2022

SQL Server 2022 以降の構文

引数

data_source_name

LOCATION = '<prefix>://<path[:port]>'

CONNECTION_OPTIONS = key_value_pair

PUSHDOWN = ON | OFF

CREDENTIAL = credential_name

アクセス許可

ロック

セキュリティ

SQL Server 2022 へのアップグレード

例

A. SQL Server で Oracle を参照する外部データ ソースを作成する

B. PolyBase 接続を使用して SQL Server 名前付きインスタンスを参照する外部データソースを作成する

LOCATION = `'<prefix>://<path[:port]>'`

A. Hadoop を参照する外部データソースを作成する

B. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

LOCATION = `'<prefix>://<path[:port]>'`

A. Hadoop を参照する外部データソースを作成する

B. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

E. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

LOCATION = `'<prefix>://<path[:port]>'`

A. SQL Server 2019 で Oracle を参照する外部データソースを作成する

B. Hadoop を参照する外部データソースを作成する

C. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

D. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

G. Always On 可用性グループの読み取り可能なセカンダリレプリカを参照する外部データソース作成する

H. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

J. 汎用 ODBC to PostgreSQL を使用して外部データソースを作成する

LOCATION = `'<prefix>://<path[:port]>'`

A. SQL Server で Oracle を参照する外部データソースを作成する

C. Always On 可用性グループの読み取り可能なセカンダリレプリカを参照する外部データソース作成する

D. PolyBase を使用して S3 互換オブジェクトストレージ内の Parquet ファイルに対してクエリを実行する外部データソースを作成する

E. 汎用 ODBC to PostgreSQL を使用して外部データソースを作成する

F. abs:// インターフェイスを使用して Azure Blob Storage のデータにアクセスするための外部データソースを作成する

G. Azure Data Lake Gen2 のデータにアクセスする外部データソースを作成する

H. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

LOCATION = `'<prefix>://<path[:port]>'`

A. Shard Map Manager の外部データソースを作成する

B. RDBMS の外部データソースを作成する

C. Azure Storage からデータを取得する一括操作用の外部データソースを作成する

A. Kafka を参照する外部データソースを作成する

B. EdgeHub を参照する外部データソースを作成する

LOCATION = `'<prefix>://<path>'`

B. サービスプリンシパルを使用して、Azure Data Lake Store Gen 1 または 2 を参照する外部データソースを作成する

C: ストレージアカウントキーを使用して、Azure Data Lake Store Gen2 を参照する外部データソースを作成する

D. abfs:// を使って Azure Data Lake Store Gen2 に対する外部データソースを作成する

概要:分析プラットフォームシステム

LOCATION = `'<prefix>://<path[:port]>'`

A. Hadoop を参照する外部データソースを作成する

B. プッシュダウンが有効になっている Hadoop を参照する外部データソースを作成する

C. Kerberos でセキュリティ保護された Hadoop を参照する外部データソースを作成する

LOCATION = `'<prefix>://<path[:port]>'`