Configurar o PolyBase para acessar dados externos no Armazenamento de Blobs do Azure

SQL Server 2022

No SQL Server 2022 (16.x), configure suas fontes de dados externas para usar os conectores novos ao se conectar ao Azure Storage. A tabela a seguir resume a alteração:

1. Execute sp_configure com "conectividade do hadoop" definido como um provedor do Armazenamento de Blobs do Azure. Para encontrar o valor dos provedores, consulte Configuração de conectividade do PolyBase. Por padrão, a conectividade de Hadoop é definida como 7.

   -- Values map to various external data sources.  
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage  
   sp_configure @configname = 'hadoop connectivity', @configvalue = 7;
   GO
   
   RECONFIGURE
   GO
   

2. Reinicie o SQL Server usando services.msc. A reinicialização do o SQL Server reiniciará estes serviços:

   • Serviço de movimentação de dados de PolyBase do SQL Server
   • Mecanismo PolyBase do SQL Server

   

1. Reinicie o SQL Server usando services.msc. A reinicialização do o SQL Server reiniciará estes serviços:

   • Serviço de movimentação de dados de PolyBase do SQL Server
   • Mecanismo PolyBase do SQL Server

   

1. Crie uma chave mestra no banco de dados. A chave mestra é necessária para criptografar o segredo da credencial.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Crie uma credencial com escopo de banco de dados para o Armazenamento de Blobs do Azure. A IDENTITY pode ser qualquer coisa, pois não foi usada.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).  
   -- SECRET: your Azure storage account key.  
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user', Secret = '<azure_storage_account_key>';
   

3. Crie uma fonte de dados externa, usando CREATE EXTERNAL DATA SOURCE. Observe que, ao se conectar ao Azure Storage por meio do conector wasb[s], a autenticação deve ser feita com uma chave de conta de armazenamento, não com uma assinatura de acesso compartilhado (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         TYPE = HADOOP,
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Crie um formato de arquivo externo com CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Crie uma tabela externa que aponta para dados armazenados no armazenamento do Azure com CREATE EXTERNAL TABLE. Neste exemplo, os dados externos contêm dados de sensor de carros; LOCATION não pode ser /, mas /Demo/, como neste exemplo, não precisa existir anteriormente.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Crie estatísticas em uma tabela externa.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)  
   

1. Crie uma chave mestra no banco de dados. A chave mestra é necessária para criptografar o segredo da credencial.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Crie uma credencial com escopo de banco de dados para o Armazenamento de Blobs do Azure usando uma assinatura de acesso compartilhado (SAS). A IDENTITY pode ser qualquer coisa, pois não é usada.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH
   IDENTITY = 'SHARED ACCESS SIGNATURE',
   -- Remove ? from the beginning of the SAS token
   SECRET = '<azure_shared_access_signature>' ;
   

3. Crie uma fonte de dados externa, usando CREATE EXTERNAL DATA SOURCE. Observe que, ao se conectar ao Azure Storage por meio do conector WASB[s], a autenticação deve ser feita com uma assinatura de acesso compartilhado (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Crie um formato de arquivo externo com CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Crie uma tabela externa que aponta para dados armazenados no armazenamento do Azure com CREATE EXTERNAL TABLE. Neste exemplo, os dados externos contêm dados de sensor de carros; LOCATION não pode ser /, mas /Demo/, como neste exemplo, não precisa existir anteriormente.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Crie estatísticas em uma tabela externa.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)