Pool SQL sem servidor no Azure Synapse Analytics
Cada espaço de trabalho do Azure Synapse Analytics vem com pontos de extremidade de pool SQL sem servidor que você pode usar para consultar dados no Azure Data Lake (Parquet, Delta Lake, formatos de texto delimitados), Azure Cosmos DB ou Dataverse.
O conjunto de SQL sem servidor é um serviço de consultas nos dados no seu data lake. Permite-lhe aceder aos seus dados através das seguintes funcionalidades:
- Uma sintaxe T-SQL familiar para consultar dados em vigor sem a necessidade de copiar ou carregar dados para um arquivo especializado. Para saber mais, veja a secção Suporte de T-SQL .
- Conectividade integrada através da interface T-SQL que oferece uma ampla gama de business intelligence e ferramentas de consulta ad-hoc, incluindo os drivers mais populares. Para saber mais, veja a secção Ferramentas de cliente. Pode saber mais no Vídeo de Introdução aos Conjuntos de SQL sem Servidor do Synapse.
O pool SQL sem servidor é um sistema de processamento de dados distribuído, construído para dados em grande escala e funções computacionais. O pool SQL sem servidor permite que você analise seu Big Data em segundos ou minutos, dependendo da carga de trabalho. Graças à tolerância a falhas de execução de consultas integrada, o sistema oferece alta confiabilidade e taxas de sucesso, mesmo para consultas de longa execução envolvendo grandes conjuntos de dados.
O pool SQL sem servidor é sem servidor, portanto, não há infraestrutura para configurar ou clusters para manter. É fornecido um ponto final predefinido para este serviço em cada área de trabalho do Azure Synapse, para que possa começar a consultar dados assim que a área de trabalho for criada.
Não há cobrança pelos recursos reservados, você está sendo cobrado apenas pelos dados processados pelas consultas que você executa, portanto, este modelo é um verdadeiro modelo de pagamento por uso.
Se você usar o Apache Spark for Azure Synapse em seu pipeline de dados, para preparação, limpeza ou enriquecimento de dados, poderá consultar tabelas externas do Spark criadas no processo, diretamente do pool SQL sem servidor. Use o Private Link para trazer seu ponto de extremidade do pool SQL sem servidor para a VNet do espaço de trabalho gerenciado.
Benefícios do pool SQL sem servidor
Se você precisar explorar dados no data lake, obter insights deles ou otimizar seu pipeline de transformação de dados existente, poderá se beneficiar do uso do pool SQL sem servidor. É adequado para os seguintes cenários:
- Descoberta e exploração básicas - Raciocine rapidamente sobre os dados em vários formatos (Parquet, CSV, JSON) em seu data lake, para que você possa planejar como extrair insights deles.
- Data warehouse lógico – Forneça uma abstração relacional sobre dados brutos ou díspares sem realocar e transformar dados, permitindo uma visão sempre atualizada de seus dados. Saiba mais sobre como criar um armazém de dados lógico.
- Transformação de dados - Maneira simples, escalável e eficiente de transformar dados no lago usando T-SQL, para que possam ser alimentados para BI e outras ferramentas ou carregados em um armazenamento de dados relacional (bancos de dados Synapse SQL, Banco de Dados SQL do Azure, etc.).
Diferentes funções profissionais podem se beneficiar do pool SQL sem servidor:
- Os engenheiros de dados podem explorar o lago, transformar e preparar dados usando esse serviço e simplificar seus pipelines de transformação de dados. Para obter mais informações, consulte este tutorial.
- Os cientistas de dados podem raciocinar rapidamente sobre o conteúdo e a estrutura dos dados no lago, graças a recursos como OPENROWSET e inferência automática de esquema.
- Os Analistas de Dados podem explorar dados e tabelas externas do Spark criadas por Cientistas de Dados ou Engenheiros de Dados usando a linguagem T-SQL familiar ou suas ferramentas favoritas, que podem se conectar ao pool SQL sem servidor.
- Os profissionais de BI podem criar rapidamente relatórios do Power BI sobre os dados nas tabelas lake e Spark.
Como começar a usar o pool SQL sem servidor
O ponto de extremidade do pool SQL sem servidor é fornecido em cada espaço de trabalho do Azure Synapse. Você pode criar um espaço de trabalho e começar a consultar dados instantaneamente usando ferramentas com as quais está familiarizado.
Certifique-se de que está a aplicar as melhores práticas para obter o melhor desempenho.
Ferramentas do cliente
O pool SQL sem servidor permite que as ferramentas de consulta ad-hoc SQL existentes e de business intelligence aproveitem o data lake. Como ele fornece sintaxe T-SQL familiar, qualquer ferramenta capaz de estabelecer conexão TDS com ofertas SQL pode se conectar e consultar Synapse SQL. Você pode se conectar ao Azure Data Studio e executar consultas ad-hoc ou conectar-se ao Power BI para obter informações em questão de minutos.
Suporte de T-SQL
O pool SQL sem servidor oferece área de superfície de consulta T-SQL, que é ligeiramente aprimorada/estendida em alguns aspetos para acomodar experiências em torno da consulta de dados semiestruturados e não estruturados. Além disso, alguns aspetos da linguagem T-SQL não são suportados devido ao design do pool SQL sem servidor, como exemplo, a funcionalidade DML não é suportada no momento.
- A carga de trabalho pode ser organizada usando conceitos familiares:
- Bancos de dados - o ponto de extremidade do pool SQL sem servidor pode ter vários bancos de dados.
- Esquemas - Dentro de um banco de dados, pode haver um ou vários grupos de propriedade de objetos chamados esquemas.
- Exibições, procedimentos armazenados, funções de valor de tabela embutida
- Recursos externos – fontes de dados, formatos de arquivo e tabelas
A segurança pode ser imposta usando:
- Inícios de sessão e utilizadores
- Credenciais para controlar o acesso a contas de armazenamento
- Conceder, negar e revogar permissões por nível de objeto
- Integração com o Microsoft Entra
T-SQL suportado:
- A área de superfície SELECT completa é suportada, incluindo a maioria das funções SQL
- CETAS - CRIAR TABELA EXTERNA COMO SELECIONAR
- Declarações DDL relacionadas apenas a visualizações e segurança
O pool SQL sem servidor não tem armazenamento local, apenas objetos de metadados são armazenados em bancos de dados. Portanto, o T-SQL relacionado aos seguintes conceitos não é suportado:
- Tabelas
- Acionadores
- Vistas materializadas
- Declarações DDL que não estejam relacionadas a visualizações e segurança
- Declarações DML
Nota
As consultas de pool SQL sem servidor têm um tempo limite. Para obter mais informações sobre o tempo limite de consulta que pode afetar sua carga de trabalho, consulte Restrições de sistema do pool SQL sem servidor. No momento, não é possível alterar o tempo limite.
Extensões
Para permitir uma experiência suave para consultas in-loco de dados que residem em arquivos no data lake, o pool SQL sem servidor estende a função OPENROWSET existente adicionando os seguintes recursos:
Consultar vários arquivos ou pastas
Consultar formato de ficheiro PARQUET
Repositório analítico do Azure Cosmos DB
Ler um subconjunto de colunas escolhido
Trabalhar com tipos complexos e estruturas de dados aninhadas ou repetidas
Segurança
O pool SQL sem servidor oferece mecanismos para proteger o acesso aos seus dados.
Integração com o Microsoft Entra e autenticação multifator
O pool SQL sem servidor permite gerenciar centralmente identidades de usuários de banco de dados e outros serviços da Microsoft com a integração do Microsoft Entra. Esta capacidade simplifica a gestão de permissões e melhora a segurança. O Microsoft Entra ID suporta autenticação multifator (MFA) para aumentar a segurança de dados e aplicativos e, ao mesmo tempo, oferecer suporte a um processo de logon único.
Autenticação
A autenticação de pool SQL sem servidor refere-se a como os usuários provam sua identidade ao se conectar ao ponto de extremidade. Há suporte para dois tipos de autenticação:
Autenticação do SQL
Este método de autenticação utiliza um nome de utilizador e uma palavra-passe.
Autenticação do Microsoft Entra:
Esse método de autenticação usa identidades gerenciadas pelo Microsoft Entra ID. Para usuários do Microsoft Entra, a autenticação multifator pode ser habilitada. Utilize a autenticação do Active Directory (segurança integrada) sempre que possível.
Autorização
A autorização refere-se ao que um usuário pode fazer em um banco de dados de pool SQL sem servidor e é controlada pelas associações de função de banco de dados e permissões de nível de objeto da sua conta de usuário.
Se a Autenticação SQL for usada, o usuário SQL existirá somente no pool SQL sem servidor e as permissões terão como escopo os objetos no pool SQL sem servidor. O acesso a objetos protegíveis em outros serviços (como o Armazenamento do Azure) não pode ser concedido diretamente ao usuário SQL, pois ele só existe no escopo do pool SQL sem servidor. O usuário SQL precisa usar um dos tipos de autorização com suporte para acessar os arquivos.
Se a autenticação do Microsoft Entra for usada, um usuário poderá entrar no pool SQL sem servidor e em outros serviços, como o Armazenamento do Azure, e conceder permissões ao usuário do Microsoft Entra.
Acesso a contas de armazenamento
Um usuário conectado ao serviço de pool SQL sem servidor deve ser autorizado a acessar e consultar os arquivos no Armazenamento do Azure. O pool SQL sem servidor oferece suporte aos seguintes tipos de autorização:
A assinatura de acesso compartilhado (SAS) fornece acesso delegado a recursos na conta de armazenamento. Com uma SAS, você pode conceder aos clientes acesso a recursos na conta de armazenamento, sem compartilhar chaves de conta. Uma SAS oferece controle granular sobre o tipo de acesso que você concede aos clientes que têm a SAS: intervalo de validade, permissões concedidas, intervalo de endereços IP aceitável, protocolo aceitável (https/http).
A Identidade do Usuário (também conhecida como "passagem") é um tipo de autorização em que a identidade do usuário do Microsoft Entra que fez login no pool SQL sem servidor é usada para autorizar o acesso aos dados. Antes de acessar os dados, o administrador do Armazenamento do Azure deve conceder permissões ao usuário do Microsoft Entra para acessar os dados. Esse tipo de autorização usa o usuário do Microsoft Entra que fez login no pool SQL sem servidor, portanto, não é suportado para tipos de usuário SQL.
Identidade do espaço de trabalho é um tipo de autorização em que a identidade do espaço de trabalho Synapse é usada para autorizar o acesso aos dados. Antes de acessar os dados, o administrador do Armazenamento do Azure deve conceder permissões à identidade do espaço de trabalho para acessar os dados.
Acesso ao Azure Cosmos DB
Você precisa criar credenciais no nível do servidor ou no escopo do banco de dados com a chave somente leitura da conta do Azure Cosmos DB para acessar o repositório analítico do Azure Cosmos DB.
Próximos passos
Informações adicionais sobre conexão de ponto de extremidade e arquivos de consulta podem ser encontradas nos seguintes artigos: