Configurare PolyBase per l'accesso a dati esterni in Archiviazione BLOB di Azure

SQL Server 2022

In SQL Server 2022 (16.x) configurare le proprie origini dati esterne per l'uso di nuovi connettori durante la connessione ad Archiviazione di Azure. La tabella seguente offre un riepilogo della modifica:

1. Eseguire sp_configure con 'hadoop connectivity' impostato su un provider di Archiviazione BLOB di Azure. Per trovare il valore per i provider, vedere Configurazione della connettività di PolyBase. Per impostazione predefinita, l'opzione hadoop connectivity è impostata su 7.

   -- Values map to various external data sources.  
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage  
   sp_configure @configname = 'hadoop connectivity', @configvalue = 7;
   GO
   
   RECONFIGURE
   GO
   

2. Riavviare SQL Server tramite services.msc. Il riavvio di SQL Server comporta il riavvio di questi servizi:

   • Servizio spostamento dati di PolyBase per SQL Server
   • Motore di ricerca PolyBase di SQL Server

   

1. Riavviare SQL Server tramite services.msc. Il riavvio di SQL Server comporta il riavvio di questi servizi:

   • Servizio spostamento dati di PolyBase per SQL Server
   • Motore di ricerca PolyBase di SQL Server

   

1. Creare una chiave master nel database. La chiave master è necessaria per crittografare il segreto delle credenziali.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Creare credenziali con ambito database per Archiviazione BLOB di Azure. IDENTITY può essere qualsiasi elemento non usato.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).  
   -- SECRET: your Azure storage account key.  
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user', Secret = '<azure_storage_account_key>';
   

3. Creare un'origine dati esterna con CREATE EXTERNAL DATA SOURCE. Si noti che quando ci si connette ad Archiviazione di Azure tramite il connettore wasb[s], l'autenticazione deve essere eseguita con una chiave dell'account di archiviazione e non con una firma di accesso condiviso.

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         TYPE = HADOOP,
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Creare un formato di file esterno con CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Creare una tabella esterna che punta ai dati archiviati in Archiviazione di Azure con CREARE TABELLA ESTERNA. In questo esempio, i dati esterni contengono i dati del sensore di auto; LOCATION non può essere /, ma /Demo/, poiché in questo esempio non è necessario che esistesse in precedenza.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Creare statistiche per una tabella esterna.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)  
   

1. Creare una chiave master nel database. La chiave master è necessaria per crittografare il segreto delle credenziali.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Creare credenziali con ambito database per Archiviazione BLOB di Azure tramite una firma di accesso condiviso (SAS). IDENTITY può essere qualsiasi elemento non usato.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH
   IDENTITY = 'SHARED ACCESS SIGNATURE',
   -- Remove ? from the beginning of the SAS token
   SECRET = '<azure_shared_access_signature>' ;
   

3. Creare un'origine dati esterna con CREATE EXTERNAL DATA SOURCE. Si noti che quando ci si connette ad Archiviazione di Azure tramite il connettore WASB[s], l'autenticazione deve essere eseguita con una chiave dell'account di archiviazione e non con una firma di accesso condiviso.

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Creare un formato di file esterno con CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Creare una tabella esterna che punta ai dati archiviati in Archiviazione di Azure con CREARE TABELLA ESTERNA. In questo esempio, i dati esterni contengono i dati del sensore di auto; LOCATION non può essere /, ma /Demo/, poiché in questo esempio non è necessario che esistesse in precedenza.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Creare statistiche per una tabella esterna.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)