Configuración de PolyBase para acceder a datos externos en Azure Blob Storage

SQL Server 2022

En SQL Server 2022 (16.x), configure los orígenes de datos externos para usar nuevos conectores al conectarse a Azure Storage. En la tabla siguiente se resume el cambio:

1. Ejecute sp_configure con "hadoop connectivity" establecido en un proveedor de Azure Blob Storage. Para buscar el valor de los proveedores, consulte Configuración de la conectividad de PolyBase. De forma predeterminada, la conectividad de Hadoop se establece en 7.

   -- Values map to various external data sources.  
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage  
   sp_configure @configname = 'hadoop connectivity', @configvalue = 7;
   GO
   
   RECONFIGURE
   GO
   

2. Reinicie SQL Server con services.msc. Al reiniciar SQL Server, se reinician estos servicios:

   • Servicio de movimiento de datos de SQL Server PolyBase
   • Motor de SQL Server PolyBase

   

1. Reinicie SQL Server con services.msc. Al reiniciar SQL Server, se reinician estos servicios:

   • Servicio de movimiento de datos de SQL Server PolyBase
   • Motor de SQL Server PolyBase

   

1. Cree una clave maestra en la base de datos. Se necesita la clave maestra para cifrar el secreto de credencial.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Cree una credencial de ámbito de base de datos para Azure Blob Storage; IDENTITY puede ser cualquier cosa, ya que no se usa.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).  
   -- SECRET: your Azure storage account key.  
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user', Secret = '<azure_storage_account_key>';
   

3. Cree un origen de datos externo con CREATE EXTERNAL DATA SOURCE. Tenga en cuenta que al conectarse a la instancia de Azure Storage mediante el conector wasb[s], la autenticación debe realizarse con una clave de cuenta de almacenamiento, no con una firma de acceso compartido (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         TYPE = HADOOP,
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Cree un formato de archivo externo con CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Cree una tabla externa que señale a los datos almacenados en Azure Storage con CREATE EXTERNAL TABLE. En este ejemplo, los datos externos contienen datos del sensor del automóvil; LOCATION no puede ser /, sino /Demo/, ya que en este ejemplo no tiene que estar creado de antes.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Cree estadísticas en una tabla externa.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)  
   

1. Cree una clave maestra en la base de datos. Se necesita la clave maestra para cifrar el secreto de credencial.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Cree una credencial de ámbito de base de datos para Azure Blob Storage mediante una firma de acceso compartido (SAS); IDENTITY puede ser cualquier cosa, ya que no se usa.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH
   IDENTITY = 'SHARED ACCESS SIGNATURE',
   -- Remove ? from the beginning of the SAS token
   SECRET = '<azure_shared_access_signature>' ;
   

3. Cree un origen de datos externo con CREATE EXTERNAL DATA SOURCE. Tenga en cuenta que al conectarse a la instancia de Azure Storage mediante el conector WASB, la autenticación debe realizarse con una firma de acceso compartido (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Cree un formato de archivo externo con CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Cree una tabla externa que señale a los datos almacenados en Azure Storage con CREATE EXTERNAL TABLE. En este ejemplo, los datos externos contienen datos del sensor del automóvil; LOCATION no puede ser /, sino /Demo/, ya que en este ejemplo no tiene que estar creado de antes.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Cree estadísticas en una tabla externa.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)