Notes de publication pour un pool SQL dédié (anciennement SQL DW) dans Azure Synapse Analytics
Cet article résume les nouvelles fonctionnalités et améliorations des versions récentes de pool SQL dédié (anciennement SQL DW) dans Azure Synapse Analytics. Il répertorie également les mises à jour de contenu importantes qui ne sont pas directement associées à la version, mais qui ont été publiées en même temps. Pour connaître les améliorations apportées aux autres services Azure, consultez Mises à jour des services.
Vérifier la version de votre pool SQL dédié (anciennement SQL DW)
Au fur et à mesure que de nouvelles fonctionnalités sont déployées dans toutes les régions, vérifiez la version déployée dans votre instance et les dernières notes de publication pour connaître la disponibilité des fonctionnalités. Pour vérifier la version, connectez-vous à votre pool SQL dédié (anciennement SQL DW) par le biais de SQL Server Management Studio (SSMS) et exécutez SELECT @@VERSION; pour retourner la version actuelle. Utilisez cette version pour confirmer quelle mise en production a été appliquée à votre pool SQL dédié (anciennement SQL DW). La date dans la sortie identifie le mois de la mise en production appliquée à votre pool SQL dédié (anciennement SQL DW). Cela s’applique uniquement aux améliorations au niveau du service.
Pour améliorer les outils, assurez-vous d’avoir installé la version spécifiée dans la note de publication.
Notes
Le nom du produit retourné par SELECT @@VERSION passera de Microsoft Azure SQL Data Warehouse à Microsoft Azure Synapse Analytics. Nous vous enverrons une notification avant la modification. Ce changement s’applique aux clients qui analysent le nom du produit à partir du résultat de SELECT @@VERSION dans le code de leur application. Pour éviter les modifications du code d’application dues à la repersonnalisation du produit, utilisez ces commandes pour demander à SERVERPROPERTY le nom et la version du produit de base de données : Pour retourner le numéro de version XX.X.XXXXX.X (sans nom de produit), exécutez cette commande :
SELECT SERVERPROPERTY('ProductVersion')
--To return engine edition, use this command that returns 6 for Azure Synapse Analytics:
SELECT SERVERPROPERTY('EngineEdition')
Décembre 2020
| Améliorations du service | Détails |
|---|---|
| Procédure stockée sp_rename pour les colonnes (préversion) | Le renommage d’une colonne sans CTAS est désormais plus simple. Azure Synapse SQL a ajouté la prise en charge de la procédure stockée système sp_rename (préversion) pour renommer une colonne de non-distribution dans une table utilisateur. Cette fonctionnalité est actuellement disponible en préversion et sera prise en charge dans les outils en disponibilité générale. Pour plus d’informations, consultez sp_rename. |
| Paramètre supplémentaire pour T-SQL PREDICT | Dans cette nouvelle version, un paramètre supplémentaire requis nommé « RUNTIME » a été ajouté pour l’instruction T-SQL PREDICT existante. Pour mettre à jour vos scripts existants, consultez les exemples fournis dans T-SQL PREDICT. |
Octobre 2020
| Améliorations du service | Détails |
|---|---|
| Fonctions table inlined de T-SQL (préversion) | Avec cette version, vous pouvez désormais créer des fonctions table inlined avec Transact-SQL et interroger leurs résultats comme vous le feriez pour une table. Cette fonctionnalité est actuellement disponible en préversion et sera prise en charge dans les outils en disponibilité générale. Pour plus d’informations, consultez CREATE FUNCTION (Azure Synapse Analytics). |
| Commande MERGE (préversion) | Vous pouvez maintenant exécuter des opérations d’insertion, de mise à jour ou de suppression sur une table cible à partir des résultats d’une jointure avec une table source. Par exemple, vous pouvez synchroniser deux tables en insérant, mettant à jour ou supprimant des lignes dans une seule table selon les différences trouvées dans l'autre table. Pour plus d’informations, consultez MERGE. |
Août 2020
| Améliorations du service | Détails |
|---|---|
| Gestion des charges de travail – Utilisation du portail | Les utilisateurs peuvent configurer et gérer leurs paramètres de gestion des charges de travail par le biais du portail Azure. La possibilité de configurer des groupes de charges de travail et des classifieurs de charges de travail avec une importance est possible. |
| Vue améliorée du catalogue des mappages de table | La nouvelle vue de catalogue sys.pdw_permanent_table_mappings mappe des object_ids de tables utilisateur permanentes à leurs noms de tables physiques. |
Juillet 2020
| Améliorations du service | Détails |
|---|---|
| Chiffrement au niveau des colonnes (Préversion publique) | Protégez les informations sensibles dans votre instance Azure Synapse Analytics en appliquant un chiffrement symétrique à une colonne de données avec Transact-SQL. Le chiffrement au niveau des colonnes offre des fonctions intégrées que vous pouvez utiliser pour chiffrer les données à l’aide de clés symétriques qui sont en outre protégées par un certificat, un mot de passe, une clé symétrique ou une clé asymétrique. Pour plus d’informations, consultez Chiffrer une colonne de données. Cette fonctionnalité est désormais en disponibilité générale. |
| Prise en charge du niveau de compatibilité (GA) | Avec cette version, les utilisateurs peuvent désormais définir le niveau de compatibilité d'une base de données pour obtenir le langage Transact-SQL et les comportements de traitement des requêtes d'une version spécifique du moteur Synapse SQL. Pour plus d’informations, consultez sys.database_scoped_configurations et Modifier la configuration délimitée à la base de données. |
| Sécurité au niveau des lignes | Cette version comprend une amélioration des opérations de mise à jour et de suppression sur les lignes sur lesquelles SNL est appliquée. Dans cette version, les opérations de mise à jour et de suppression avec des fonctions intrinsèques telles que « is_rolemember » réussissent si l’intrinsèque ne fait référence à aucune colonne de la table cible DML. Avant cette amélioration, ces opérations échouaient en raison d’une limitation des opérations DML sous-jacentes. |
| DBCC SHRINKDATABASE (GA) | Vous pouvez maintenant réduire la taille des fichiers de données et journaux dans la base de données spécifiée. Pour plus d’informations, consultez la documentation. |
Mai 2020
| Améliorations du service | Détails |
|---|---|
| Isolation des charges de travail (GA) | L’isolation des charges de travail est maintenant en disponibilité générale. Par le biais des groupes de charges de travail, vous pouvez réserver et contenir des ressources. La possibilité de configurer des délais d’expiration de requête pour annuler les pertes de contrôle de requêtes est également possible. |
| Expérience de portail de gestion des charges de travail (préversion) | Les utilisateurs peuvent configurer et gérer leurs paramètres de gestion des charges de travail par le biais du portail Azure. La possibilité de configurer des groupes de charges de travail et des classifieurs de charges de travail avec une importance est possible. |
| Modifier un groupe de charges de travail | Il est maintenant possible d’utiliser la commande ALTER WORKLOAD GROUP. Utilisez cette commande pour changer la configuration d’un groupe de charges de travail existant. |
| Détection de schéma automatique pour les fichiers Parquet avec la commande COPY (préversion) | La commande COPY prend désormais en charge la détection de schéma automatique lors du chargement de fichiers Parquet. La commande détecte automatiquement le schéma de fichier Parquet et crée la table avant le chargement. Pour activer cette fonctionnalité, contactez la liste de distribution e-mail suivante : sqldwcopypreview@service.microsoft.com. |
| Charger des types de données Parquet complexes avec la commande COPY (préversion) | La commande COPY prend désormais en charge le chargement de types Parquet complexes. Vous pouvez charger des types complexes tels que Maps et Lists dans des colonnes de chaîne. Pour activer cette fonctionnalité, contactez la liste de distribution e-mail suivante : sqldwcopypreview@service.microsoft.com. |
| Détection de compression automatique des fichiers Parquet avec la commande COPY | La commande COPY prend désormais en charge la détection automatique de la méthode de compression des fichiers Parquet. Pour activer cette fonctionnalité, contactez la liste de distribution e-mail suivante : sqldwcopypreview@service.microsoft.com. |
| Autres recommandations de chargement | Des recommandations de chargement sont désormais disponibles pour Synapse SQL. Recevez des notifications proactives quand vous devez fractionner vos fichiers pour obtenir un débit maximal, colocaliser votre compte de stockage avec votre pool SQL dédié (anciennement SQL DW) ou augmenter la taille du lot lors du recours à des utilitaires de chargement comme l’API SQLBulkCopy ou BCP. |
| Colonne de distribution T-SQL Updatable (GA) | Les utilisateurs peuvent désormais mettre à jour les données stockées dans la colonne de distribution. Pour plus d’informations, consultez les conseils sur la conception de tables distribuées dans un pool SQL dédié (anciennement SQL DW). |
| T-SQL Update/Delete from...Join (GA) | Les mises à jour et suppressions basées sur les résultats de la jointure avec une autre table sont désormais disponibles. Pour plus d’informations, consultez la documentation sur Update et Delete. |
| T-SQL PREDICT (préversion) | Vous pouvez désormais prédire les modèles de Machine Learning dans votre entrepôt de données, ce qui vous dispense des opérations de déplacement de données complexes et d’envergure. La fonction T-SQL PREDICT s’appuie sur une infrastructure à modèle ouvert et prend les données et le modèle Machine Learning comme entrée pour générer des prédictions. Pour plus d’informations, consultez la documentation. |
Avril 2020
| Améliorations du service | Détails |
|---|---|
| Niveau de compatibilité de la base de données (préversion) | Avec cette version, les utilisateurs peuvent désormais définir le niveau de compatibilité d'une base de données pour obtenir le langage Transact-SQL et les comportements de traitement des requêtes d'une version spécifique du moteur Synapse SQL. Pour plus d’informations, consultez sys.database_scoped_configurations et Modifier la configuration délimitée à la base de données. |
| Sp_describe_undeclared_parameters | Autorisez les utilisateurs à voir les métadonnées sur les paramètres non déclarés dans un lot Transact-SQL. Pour plus d’informations, consultez sp_describe_undeclared_parameters. |
| Améliorations des outils | Détails |
|---|---|
| Visual Studio 16.6 préversion 5 - SQL Server Data Tools (SSDT) | Cette version comprend les améliorations suivantes pour SSDT : – Découverte et classification des données - Instruction COPY - Tableaux avec contraintes uniques - Tableaux avec un index columnstore en cluster ordonné Cette version inclut les correctifs suivants pour SSDT : Quand vous changez le type de données de la colonne de distribution, le script de mise à jour généré par SSDT va effectuer une opération CTAS et RENAME au lieu de supprimer, puis de recréer la table. |
Mars 2020
| Améliorations des outils | Détails |
|---|---|
| Visual Studio 16.6 Preview 2 - SQL Server Data Tools (SSDT) | Cette version inclut les améliorations et correctifs suivants pour SSDT: – Résolution d’un problème où la modification d’une table référencée par une vue matérialisée entraîne la génération d’instructions Alter View qui ne sont pas prises en charge pour les vues matérialisées - Implémentation d’une modification pour garantir que l’opération de comparaison de schémas (Schema Compare) n’échoue pas lorsque des objets de sécurité au niveau des lignes sont présents dans la base de données ou le projet. Les objets de sécurité au niveau des lignes ne sont actuellement pas pris en charge pour SSDT. - Le seuil du délai d’attente de l’Explorateur d’objets SQL Server a été augmenté pour éviter les délais d’attente lors de la création de la liste d’un grand nombre d’objets dans la base de données - Optimisation de la façon dont l’Explorateur d’objets SQL Server récupère la liste des objets de base de données pour réduire l’instabilité et améliorer les performances lors du remplissage de l’Explorateur d’objets |
Janvier 2020
| Améliorations du service | Détails |
|---|---|
| Métriques du portail de gestion des charges de travail | Depuis le lancement de la préversion de la fonctionnalité d'isolation des charges de travail en octobre dernier, les utilisateurs peuvent créer leurs propres groupes de charges de travail pour gérer efficacement les ressources système et garantir le respect des contrats SLA d'entreprise. Dans le cadre des améliorations globales apportées à la gestion des charges de travail d'Azure Synapse Analytics, de nouvelles métriques de supervision de la gestion des charges de travail sont désormais disponibles. Le monitoring de votre charge de travail offre désormais de meilleurs insights avec les métriques suivantes : – Pourcentage de ressources de limite effective – Pourcentage de ressources de minimales effectives – Requêtes actives du groupe de charges de travail – Allocation du groupe de charge de travail par pourcentage maximal de ressources – Allocation du groupe de charge de travail par pourcentage système – Dépassements de délai d’attente des requêtes du groupe de charges de travail – Requêtes du groupe de charges de travail placées en file d’attente Utilisez ces métriques pour identifier les goulots d’étranglement des groupes de charges de travail ou les groupes de charges de travail qui sont configurés avec une isolation de charge de travail sous-utilisée. Ces métriques peuvent être utilisées sur le portail Azure, qui permet le fractionnement par groupe de charge de travail. Filtrez et épinglez vos graphiques favoris sur un tableau de bord pour accéder rapidement aux insights. |
| Métriques de supervision du portail | Les métriques suivantes ont été ajoutées au portail pour monitorer l’activité globale des requêtes : – Requêtes actives – Requêtes mises en file d’attente Ces métriques sont décrites avec les métriques existantes dans la documentation sur le monitoring de l’utilisation des ressources et de l’activité des requêtes. |
2 octobre 2019
| Améliorations du service | Détails |
|---|---|
| Copie (préversion) | Nous avons le plaisir d’annoncer la préversion publique d’une instruction COPY simple et flexible pour l’ingestion de données. Avec une seule instruction, vous pouvez désormais ingérer des données sans interruption avec davantage de flexibilité et sans que les utilisateurs aient besoin de privilèges élevés. Pour plus d’informations, consultez la documentation sur la commande COPY. |
| Isolation des charges de travail (préversion) | Pour accompagner les clients dans la démocratisation de leurs entrepôts de données, nous annonçons de nouvelles fonctionnalités de gestion intelligente des charges de travail. La nouvelle fonctionnalité d’isolation des charges de travail vous permet de gérer l’exécution de charges de travail hétérogènes tout en offrant la flexibilité et le contrôle des ressources d’entrepôt de données. Cela se traduit par une prévisibilité de l’exécution améliorée et augmente la capacité à honorer les contrats SLA prédéfinis. Outre l’isolation des charges de travail, des options supplémentaires sont désormais disponibles pour la classification des charges de travail. Au-delà de la classification des connexions, la syntaxe de Create Workload Classifier permet de classifier les demandes en fonction de l’étiquette de requête, du contexte de session et de l’heure de la journée. |
| PREDICT (préversion) | Vous pouvez désormais scorer les modèles de Machine Learning dans votre entrepôt de données, ce qui vous dispense des opérations de déplacement de données complexes et d’envergure. La fonction T-SQL PREDICT s’appuie sur une infrastructure à modèle ouvert et prend les données et le modèle Machine Learning comme entrée pour générer des prédictions. |
| CI/CD SSDT (mise à la disposition générale) | Aujourd’hui, nous avons le plaisir d’annoncer la mise en disponibilité générale de la fonctionnalité la plus demandée pour les projets de base de données SQL Analytics : SQL Server Data Tools (SSDT). Ce lancement inclut la prise en charge de SSDT avec Visual Studio 2019 ainsi que l’intégration de plateforme en mode natif avec Azure DevOps, offrant des capacités d’intégration et déploiement continus (CI/CD) pour les déploiements de niveau entreprise. |
| Vue matérialisée (mise à la disposition générale) | Une vue matérialisée conserve les données renvoyées par la requête de définition de vue et est automatiquement mise à jour à mesure que les données changent dans les tables sous-jacentes. Elle améliore les performances des requêtes complexes (généralement des requêtes contenant des jointures et agrégations) tout en offrant des opérations de maintenance simples. Pour plus d’informations, consultez la section Optimisation des performances avec les vues matérialisées. Installez SQL Server Management Studio 18.4 ou version ultérieure pour scripter des vues matérialisées. |
| Dynamic Data Masking (mise à la disposition générale) | La fonctionnalité Dynamic Data Masking (DDM) empêche l’accès non autorisé à vos données sensibles dans votre entrepôt de données en les obfusquant à la volée dans les résultats de requête, en fonction de règles de masquage que vous définissez. Pour en savoir plus, consultez Masquage de données dynamiques dans une base de données SQL. |
| Isolation de capture instantanée Read Commited (Disponibilité générale) | Vous pouvez utiliser ALTER DATABASE afin d'activer ou de désactiver l'isolement de capture instantanée pour une base de données utilisateur. Pour éviter tout impact sur votre charge de travail en cours, vous pouvez définir cette option lors de la fenêtre de maintenance de la base de données ou attendre qu’il n’y ait aucune autre connexion active à la base de données. Pour plus d'informations, consultez Options Alter database set. |
| Index columnstore en cluster ordonné (mise à la disposition générale) | Columnstore est un activateur clé pour le stockage et l’interrogation efficace de grandes quantités de données. Les index columnstore cluster ordonnés optimisent l’exécution des requêtes en permettant une élimination efficace des segments. Pour plus d’informations, consultez Optimisation des performances avec un index columnstore en cluster ordonné. |
| Mise en cache du jeu de résultats (mise à la disposition générale) | Lorsque la mise en cache du jeu de résultats est activée, les résultats de la requête sont automatiquement mis en cache dans la base de données utilisateur, ce qui permet de les utiliser de façon répétée. Ainsi, les exécutions de requêtes suivantes obtiennent les résultats directement à partir du cache persistant de sorte que le recalcul n’est pas nécessaire. La mise en cache des jeux de résultats améliore les performances des requêtes et réduit l’utilisation des ressources de calcul. De plus, les requêtes qui recourent au cache du jeu de résultats n’utilisent pas d’emplacements de concurrence et ne sont donc pas prises en compte pour l’application des limites de concurrence existantes. Pour des raisons de sécurité, les utilisateurs ne peuvent accéder aux résultats mis en cache que s’ils ont les mêmes autorisations d’accès aux données que les utilisateurs qui créent les résultats mis en cache. Pour plus d’informations, consultez Optimisation des performances avec la mise en cache du jeu de résultats. S’applique à la version 10.0.10783.0 et supérieures. |
Septembre 2019
| Améliorations du service | Détails |
|---|---|
| Azure Private Link (préversion) | Azure Private Link vous permet de créer un point de terminaison privé dans votre réseau virtuel (VNet) et de le mapper à votre pool SQL dédié. Ces ressources sont ensuite accessibles via une adresse IP privée dans votre réseau virtuel, offrant ainsi une connectivité à partir d’un serveur local via l'appairage privé Azure ExpressRoute et/ou une passerelle VPN. Globalement, cela simplifie la configuration réseau en vous évitant de l’ouvrir sur des adresses IP publiques. Cela active également la protection contre les risques d'exfiltration de données. Pour plus d’informations, consultez Vue d’ensemble et Documentation SQL Analytics. |
| Découverte et classification des données (GA) | La fonctionnalité Découverte et classification des données est désormais mise à la disposition générale. Cette fonctionnalité offre des fonctionnalités avancées pour la découverte, la classification, l’étiquetage et la des données sensibles dans vos bases de données. |
| Intégration en un clic d'Azure Advisor | SQL Analytics dans Azure Synapse s’intègre désormais directement aux recommandations Azure Advisor dans le panneau de vue d’ensemble, et permet une utilisation en un clic. Vous pouvez maintenant découvrir des recommandations dans le panneau de vue d’ensemble, sans accéder au panneau Azure Advisor. Découvrez-en plus sur les recommandations ici. |
| Niveau d'isolement de capture instantanée à lecture validée (préversion) | Vous pouvez utiliser ALTER DATABASE afin d'activer ou de désactiver l'isolement de capture instantanée pour une base de données utilisateur. Pour éviter tout impact sur votre charge de travail en cours, vous pouvez définir cette option lors de la fenêtre de maintenance de la base de données ou attendre qu’il n’y ait aucune autre connexion active à la base de données. Pour plus d'informations, consultez Options Alter database set. |
| EXECUTE AS (Transact-SQL) | EXECUTE AS T-SQL est désormais pris en charge, ce qui permet aux clients de définir le contexte d'exécution d'une session pour l'utilisateur spécifié. |
| Prise en charge supplémentaire pour T-SQL | La surface d’exposition du langage T-SQL pour Synapse SQL a été étendue afin d’inclure la prise en charge de : - FORMAT (Transact-SQL) - TRY_PARSE (Transact-SQL) - TRY_CAST (Transact-SQL) - TRY_CONVERT (Transact-SQL) - sys.user_token (Transact-SQL) |
Juillet 2019
| Améliorations du service | Détails |
|---|---|
| Vue matérialisée (préversion) | Une vue matérialisée conserve les données renvoyées par la requête de définition de vue et est automatiquement mise à jour à mesure que les données changent dans les tables sous-jacentes. Elle améliore les performances des requêtes complexes (généralement des requêtes contenant des jointures et agrégations) tout en offrant des opérations de maintenance simples. Pour plus d’informations, consultez : - CREATE MATERIALIZED VIEW AS SELECT (Transact-SQL) - ALTER MATERIALIZED VIEW (Transact-SQL) - Instructions T-SQL prises en charge dans Synapse SQL |
| Prise en charge supplémentaire pour T-SQL | La surface d’exposition du langage T-SQL pour Synapse SQL a été étendue afin d’inclure la prise en charge de : - AT TIME ZONE (Transact-SQL) - STRING_AGG (Transact-SQL) |
| Mise en cache de jeu de résultats (Préversion) | Commandes DBCC ajoutées pour gérer le cache du jeu de résultats annoncé précédemment. Pour plus d’informations, consultez : - DBCC DROPRESULTSETCACHE (Transact-SQL) - DBCC SHOWRESULTCACHESPACEUSED (Transact-SQL) Consultez également la nouvelle colonne result_set_cache dans sys.dm_pdw_exec_requests qui montre quand une requête exécutée a utilisé le cache du jeu de résultats. |
| Index columnstore en cluster ordonné (préversion) | Nouvelle colonne, column_store_order_ordinal, ajoutée à sys.index_columns pour identifier l’ordre des colonnes dans un index columstore en cluster ordonné. |
Mai 2019
| Améliorations du service | Détails |
|---|---|
| Stratégie de masquage des données dynamiques (Préversion) | La fonctionnalité Dynamic Data Masking (DDM) empêche l’accès non autorisé à vos données sensibles dans votre entrepôt de données en les obfusquant à la volée dans les résultats de requête, en fonction de règles de masquage que vous définissez. Pour en savoir plus, consultez Masquage de données dynamiques dans une base de données SQL. |
| La fonctionnalité Importance des charges de travail est à présent mise en disposition générale | La classification et l’importance de la gestion des charges de travail permettent d’influencer l’ordre d’exécution des requêtes. Pour plus d’informations sur l’Importance des charges de travail, voir les articles Classification et Importance dans la documentation. Consultez également la documentation sur l’instruction CREATE WORKLOAD CLASSIFIER. Découvrez la fonctionnalité Importance des charges de travail en action dans les vidéos suivantes : -Concepts de gestion des charges de travail -Scénarios de gestion des charges de travail |
| Prise en charge supplémentaire pour T-SQL | La surface d’exposition du langage T-SQL pour Synapse SQL a été étendue afin d’inclure la prise en charge de : - TRIM |
| Fonctions JSON | Les analystes métier peuvent désormais utiliser le langage T-SQL bien connu pour interroger et manipuler des documents au format JSON en utilisant les nouvelles fonctions JSON suivantes : - ISJSON - JSON_VALUE - JSON_QUERY - JSON_MODIFY - OPENJSON |
| Mise en cache de jeu de résultats (Préversion) | La mise en cache de jeu de résultats permet de répondre instantanément aux requêtes tout en réduisant le temps d’analyse pour les analystes métier et les utilisateurs de rapports. Pour plus d’informations, consultez : - ALTER DATABASE (Transact-SQL) - ALTER DATABASE SET Options (Transact SQL) - SET RESULT SET CACHING (Transact-SQL) - SET Statement (Transact-SQL) - sys.databases (Transact-SQL) |
| Index columnstore en cluster ordonné (préversion) | Columnstore est un activateur clé pour le stockage et l’interrogation efficace de grandes quantités de données. Pour chaque table, il divise les données entrantes en groupes de lignes, et chaque colonne d’un groupe de lignes forme un segment sur un disque. Les index columnstore cluster ordonnés optimisent l’exécution des requêtes en permettant une élimination efficace des segments. Pour plus d’informations, consultez : - CREATE TABLE - CREATE COLUMNSTORE INDEX (Transact-SQL). |
Mars 2019
| Améliorations du service | Détails |
|---|---|
| Découverte et classification des données | La fonctionnalité Découverte et classification des données est désormais disponible en préversion publique pour Synapse SQL. Il est essentiel de protéger les données sensibles et la vie privée de vos clients. Au fur et à mesure que les données de votre entreprise et de vos clients augmentent, il devient ingérable de découvrir, de classifier et de protéger vos données. La fonctionnalité Découverte et de classification des données que nous introduisons en mode natif dans Synapse SQL facilite la gestion de la protection de vos données. Globalement, cette fonctionnalité offre les avantages suivants : • Réponse aux normes de confidentialité des données et aux exigences de conformité réglementaires. Restriction de l’accès et renforcement de la sécurité des entrepôts de données contenant des données sensibles. Supervision et alerte en cas d’accès anormal aux données sensibles. Visualisation des données sensibles dans un tableau de bord central sur le portail Microsoft Azure. La fonctionnalité Découverte et classification des données est disponible dans toutes les régions Azure. Elle est fournie avec le package Advanced Data Security, et comprend l'évaluation des vulnérabilités et la détection des menaces. Pour plus d’informations sur Découverte et la classification des données, consultez notre billet de blog et notre documentation en ligne. |
| GROUP BY ROLLUP | ROLLUP est désormais une option GROUP BY prise en charge. GROUP BY ROLLUP crée un groupe pour chaque combinaison d'expressions de colonnes. GROUP BY « regroupe » également les résultats en sous-totaux et totaux globaux. La fonction GROUP BY traite de droite à gauche, en diminuant le nombre d'expressions de colonnes sur lesquelles elle crée des groupes et des agrégations. L'ordre des colonnes affecte la sortie de ROLLUP et peut affecter le nombre de lignes du jeu de résultats. Pour plus d’informations sur GROUP BY ROLLUP, consultez GROUP BY (Transact-SQL) |
| Précision accrue pour les mesures DWU et UC utilisées dans le Portail Microsoft Azure | Synapse SQL améliore considérablement la précision des métriques sur le portail Azure. Cette version inclut un correctif de la définition des mesures UC et DWU utilisées pour refléter correctement votre charge de travail sur tous les nœuds de calcul. Avant cette correction, les valeurs des mesures étaient sous-exportées. Attendez-vous à voir une augmentation de l’utilisation des mesures UC et DWU utilisées dans le Portail Microsoft Azure. |
| Sécurité au niveau des lignes | Nous avons mis en place la fonctionnalité de sécurité au niveau des lignes dès novembre 2017. Nous avons maintenant étendu cette prise en charge à des tables externes. De plus, nous avons ajouté la prise en charge de l'appel de fonctions non déterministes dans les fonctions à valeur de table en ligne (inline TVF) requises pour définir un prédicat de filtre de sécurité. Cet ajout vous permet de spécifier IS_ROLEMEMBER(), USER_NAME() etc. dans le prédicat du filtre de sécurité. Pour plus d’informations, consultez les exemples de la documentation de la sécurité au niveau de la ligne. |
| Prise en charge supplémentaire pour T-SQL | La surface d'exposition du langage T-SQL pour Synapse SQL a été étendue afin d'inclure la prise en charge de : STRING_SPLIT (Transact-SQL). |
| Améliorations de l’optimiseur de requête | L'optimisation des requêtes est un composant critique de toute base de données. Faire des choix optimaux sur la meilleure façon d'exécuter une requête peut apporter des améliorations significatives. Lors de l'exécution de requêtes analytiques complexes dans un environnement distribué, le nombre d'opérations exécutées est important. Les performances des requêtes ont été améliorées grâce à la production de plans de meilleure qualité. Ces plans minimisent les opérations coûteuses de transfert de données et les calculs redondants tels que les sous-requêtes répétées. Pour plus d’informations, consulter ce billet de blog sur Azure Synapse. |
Améliorations de la documentation
| Améliorations de la documentation | Détails |
|---|---|
Janvier 2019
Améliorations du service
| Améliorations du service | Détails |
|---|---|
| Ordre de retour par optimisation | Les requêtes SELECT…ORDER BY bénéficient d’un meilleur niveau de performance dans cette version. Maintenant, tous les nœuds de calcul envoient leurs résultats à un seul nœud de calcul. Ce nœud fusionne et trie les résultats et les renvoie à l'utilisateur. Fusion par un seul nœud de calcul aboutit à un gain de performances significatif quand le jeu de résultats de la requête contient un grand nombre de lignes. Auparavant, le moteur d'exécution des requêtes ordonnait les résultats sur chaque noeud de calcul. Les résultats étaient ensuite transmis au nœud de contrôle. Le nœud de contrôle fusionnerait alors les résultats. |
| Améliorations apportées au déplacement des données pour PartitionMove et BroadcastMove | Les étapes de déplacement des données de type ShuffleMove exploitent les techniques de déplacement instantané des données. Pour plus d’informations, consultez le blog sur l’amélioration des performances. Avec cette version, PartitionMove et BroadcastMove bénéficient désormais des mêmes techniques de déplacement instantané des données. Les performances d’exécution des requêtes utilisateur qui utilisent ces types d’étapes de déplacement des données sont améliorées. Aucun changement de code n’est nécessaire pour tirer parti de ces gains de performances. |
| Bogues notables | Version incorrecte d’Azure Synapse : SELECT @@VERSION peut retourner la version incorrecte, 10.0.9999.0. La version correcte est actuellement la version 10.0.10106.0. Ce bogue a été signalé et est en cours d'évaluation. |
Améliorations de la documentation
| Améliorations de la documentation | Détails |
|---|---|
| Aucun | |
Décembre 2018
Améliorations du service
| Améliorations du service | Détails |
|---|---|
| Disponibilité générale des point de terminaison de service de réseau virtuel | Cette version inclut la disponibilité générale des points de terminaison de service de réseau virtuel pour SQL Analytics dans Azure Synapse dans toutes les régions Azure. Les points de terminaison de service de réseau virtuel vous donnent les moyens d’isoler la connectivité à votre serveur à partir d’un sous-réseau ou ensemble de sous-réseaux donnés dans votre réseau virtuel. Le trafic entre votre réseau virtuel et Azure Synapse demeure au sein du réseau principal Azure. Cet itinéraire direct est préféré à tous les itinéraires spécifiques qui acheminent le trafic Internet via des appliances virtuelles ou locales. Il n’existe aucune facturation supplémentaire pour l’accès au réseau virtuel par l’intermédiaire de points de terminaison de service. Le modèle de prix actuel pour Azure Synapse reste le même. Avec cette version, nous activons également la connectivité PolyBase à Azure Data Lake Storage Gen2 (ADLS) via le pilote Azure Blob File System (ABFS). Azure Data Lake Storage Gen2 apporte au Stockage Azure toutes les qualités nécessaires pour le cycle de vie complet des données analytiques. Il rassemble les fonctionnalités de nos deux services de stockage actuels : Stockage Blob Azure et Azure Data Lake Storage Gen1. Les fonctionnalités d’Azure Data Lake Storage Gen1, comme la sémantique des systèmes de fichiers, la sécurité au niveau du fichier et la mise à l'échelle, sont combinées à celles du Stockage Blob Azure, comme le stockage hiérarchisé économique et la haute disponibilité/reprise d’activité après sinistre. En utilisant PolyBase, vous pouvez importer des données SQL Analytics dans Azure Synapse d’une instance Stockage Azure sécurisée vers votre réseau virtuel. De même, l’exportation des données d’Azure Synapse vers une instance Stockage Azure sécurisée sur votre réseau virtuel est également prise en charge via Polybase. Pour plus d’informations sur les points de terminaison de service de réseau virtuel dans Azure Synapse, consultez le billet de blog ou la documentation. |
| Analyse des performances automatique (préversion) | Le Magasin des requêtes est désormais disponible en préversion dans SQL Analytics dans Azure Synapse. Le Magasin de données des requêtes est conçu pour faciliter la résolution des problèmes rencontrés en matière de performance des requêtes en effectuant le suivi des requêtes, des plans de requête, des statistiques de runtime et de l’historique des requêtes pour vous aider à surveiller l’activité et les performances de votre entrepôt de données. Le Magasin de données des requêtes est un ensemble de magasins internes et de vues de gestion dynamique (DMV) qui vous permettent d’effectuer les opérations suivantes : Identifier et paramétrer les principales requêtes consommatrices de ressources • Identifier et améliorer les charges de travail non planifiées • Évaluer les performances des requêtes et l’impact sur le plan en fonction des modifications des statistiques, des index ou de la taille du système (paramètre DWU) • Visualiser le texte complet de toutes les requêtes exécutées Le Magasin de données des requêtes contient trois magasins réels : • Un magasin de plans pour rendre persistantes les informations du plan d’exécution • Un magasin des statistiques de runtime pour conserver les informations sur les statistiques d’exécution • Un magasin des statistiques d’attente pour conserver les informations relatives aux statistiques d’attente. SQL Analytics dans Azure Synapse gère automatiquement ces magasins et fournit un nombre illimité de requêtes stockées sur les sept derniers jours sans frais supplémentaires. L’activation du Magasin de données des requêtes est aussi simple que d’exécuter une instruction T-SQL ALTER DATABASE : sql ----ALTER DATABASE [DatabaseName] SET QUERY_STORE = ON;-------Pour plus d’informations sur le Magasin des requêtes, consultez l’article Analyse des performances à l’aide du Magasin de données des requêtes et les vues de gestion dynamique (DMV) du Magasin des requêtes, telles que sys.query_store_query. Pour plus d’informations sur l’analyse historique des requêtes, consultez Analyse et stockage des requêtes historiques dans Azure Synapse Analytics. |
| Niveaux de calcul inférieurs pour SQL Analytics | SQL Analytics dans Azure Synapse prend maintenant en charge les niveaux de calcul inférieurs. Les clients peuvent bénéficier des fonctionnalités de performances, de flexibilité et de sécurité exceptionnelles d’Azure Synapse à partir de 100 cDWU (unités d’entrepôt de données) et mettre à l’échelle jusqu’à 30 000 cDWU en quelques minutes. Depuis la mi-décembre 2018, les clients bénéficient de performances Gen2 et de niveaux inférieurs de calcul dans régions. Le reste des régions sera disponible en 2019. En supprimant le point d’entrée pour l’entreposage de données nouvelle génération, Microsoft ouvre les portes aux clients qui souhaitent évaluer tous les avantages offerts par un entrepôt de données sécurisé et à hautes performances sans avoir à deviner quel environnement d’essai est le mieux adapté. Les clients peuvent dorénavant commencer à 100 cDWU, alors que le point d’entrée précédant était de 500 cDWU. SQL Analytics continue à prendre en charge les opérations de pause et de reprise, et va bien au-delà de la simple flexibilité de calcul. Gen2 prend également en charge une capacité illimitée de stockage columnstore, 2,5 fois plus de mémoire par requête, jusqu’à 128 requêtes simultanées et des fonctionnalités de mise en cache adaptative. Ces fonctionnalités offrent en moyenne des performances multipliées par cinq par rapport à la même unité d’entrepôt de données sur Gen1 au même prix. Les sauvegardes géoredondantes sont standard pour Gen2, avec protection des données garantie intégrée. SQL Analytics dans Azure Synapse est prêt pour une mise à l’échelle à tout moment. |
| Fusion en arrière-plan de columnstore | Par défaut, Azure SQL Data stocke les données dans un format en colonnes, avec des micro-partitions appelées rowgroups. Parfois, en raison de contraintes de mémoire au moment de la génération de l’index ou du chargement des données, les rowgroups peuvent être compressés alors qu’ils contiennent moins d’un million de lignes, leur taille optimale. Les rowgroups peuvent également devenir fragmentés en raison de suppressions. Des rowgroups de petite taille ou fragmentés entraînent une consommation de mémoire supérieure ainsi qu’une exécution inefficace des requêtes. Avec cette version, la tâche de maintenance en arrière-plan de columnstore fusionne les petits rowgroups compressés pour en créer des plus grands afin de mieux utiliser la mémoire et d’accélérer l’exécution des requêtes. |
Octobre 2018
Améliorations du service
| Améliorations du service | Détails |
|---|---|
| DevOps pour l’entrepôt de données | La fonctionnalité très demandée de Synapse SQL dans Azure Synapse est désormais disponible en préversion avec la prise en charge de SQL Server Data Tool (SSDT) dans Visual Studio ! Les équipes de développeurs peuvent désormais collaborer sur une base de code unique, avec contrôle de version, et déployer rapidement les modifications apportées à n’importe quelle instance dans le monde. Vous voulez participer ? Cette fonctionnalité est disponible en préversion dès aujourd’hui ! Vous pouvez vous inscrire en consultant Visual Studio SQL Server Data Tools (SSDT) - Formulaire d’inscription à la préversion. Étant donné la forte demande, nous gérons l’admission à la préversion pour garantir la meilleure expérience à nos clients. Une fois que vous vous inscrivez, notre objectif est de vérifier votre statut dans les sept jours qui suivent. |
| Sécurité au niveau des lignes mise à la disposition générale | Synapse SQL dans Azure Synapse prend désormais en charge la sécurité au niveau des lignes (RLS), vous offrant ainsi une puissante fonctionnalité pour la sécurisation de vos données sensibles. Avec l’introduction de la sécurité au niveau des lignes, vous pouvez implémenter des stratégies de sécurité pour contrôler l’accès aux lignes de vos tables, en indiquant qui peut accéder à quelles lignes. La sécurité au niveau des lignes active ce contrôle d’accès affiné sans avoir à repenser votre entrepôt de données. Cela simplifie le modèle de sécurité global, car la logique de restriction d’accès se situe dans la couche de base de données plutôt qu’à l’écart des données d’une autre application. Cette fonctionnalité élimine également le besoin d’introduire des vues pour filtrer les lignes pour la gestion du contrôle d’accès. Il n’existe aucun coût supplémentaire pour cette fonctionnalité de sécurité de niveau entreprise pour tous nos clients. |
| Conseillers avancés | Le réglage avancé de Synapse SQL dans Azure Synapse a été simplifié grâce à des métriques et recommandations supplémentaires concernant l'entrepôt de données. Des recommandations supplémentaires en matière de performances avancées sont disponibles dans Azure Advisor, notamment : 1. Cache adaptatif : vous êtes averti lorsqu’il est nécessaire de procéder à une mise à l'échelle pour optimiser l’utilisation du cache. 2. Distribution de table : vous déterminez le moment de la réplication des tables pour réduire le déplacement des données et accroître les performances de la charge de travail. 3. Tempdb : vous savez quand procéder à une mise à l'échelle et configurer des classes de ressources pour réduire le conflit de tempdb. Les métriques de l’entrepôt de données sont mieux intégrées à Azure Monitor avec, par exemple, un graphique de supervision amélioré personnalisable pour des métriques en quasi temps réel dans le panneau de vue d’ensemble. Il n’est plus nécessaire de quitter le panneau de vue d’ensemble de l’entrepôt de données pour accéder aux métriques d’Azure Monitor en cas de supervision de l’utilisation, ou de validation et d’application de recommandations de l’entrepôt de données. En outre, de nouvelles métriques sont disponibles, comme l’utilisation de tempdb et du cache adaptatif, en guise de complément à vos recommandations en matière de performances. |
| Réglage avancé avec les conseillers intégrés | Le réglage avancé pour Azure Synapse a été simplifié avec les métriques et les recommandations supplémentaires pour l’entrepôt de données, ainsi qu’une refonte du panneau de présentation du portail qui fournit une expérience intégrée avec Azure Advisor et Azure Monitor. |
| Récupération de base de données accélérée (ADR) | La Récupération de base de données accélérée (ADR) Azure Synapse est désormais disponible en préversion publique. ADR est un nouveau moteur SQL Server qui améliore considérablement la disponibilité des bases de données, en particulier en présence de transactions d’une durée d’exécution longue, grâce à une toute nouvelle conception du processus de récupération actuel. Les principaux avantages d’ADR sont la récupération rapide et cohérente de la base de données et la restauration des transactions instantanée. |
| Journaux de ressources Azure Monitor | Azure Synapse propose maintenant des aperçus améliorés des charges de travail d’analytique grâce à une intégration directe des journaux de ressources Azure Monitor. Grâce à cette nouvelle fonctionnalité, les développeurs peuvent analyser le comportement de la charge de travail pendant une période étendue et prendre des décisions informées sur l’optimisation des requêtes ou la gestion de la capacité. Nous avons maintenant introduit un processus externe de journalisation via les journaux de ressources Azure Monitor qui fournissent des insights supplémentaires sur la charge de travail de votre entrepôt de données. D’un simple clic, vous pouvez maintenant configurer les journaux de ressources pour obtenir les capacités de résolution des problèmes de performances des requêtes historiques à l’aide de Log Analytics. Les journaux de ressources Azure Monitor prennent en charge les périodes de rétention personnalisables en enregistrant les journaux d’activité dans un compte de stockage à des fins d’audit, la capacité de diffusion en continu de journaux d’activité dans les Event Hubs pour des aperçus de télémétrie en quasi-temps réel et la possibilité d’analyser des journaux d’activité à l’aide de Log Analytics avec les requêtes de journal d’activité. Les journaux de ressources se composent de vues de télémétrie de votre entrepôt de données équivalentes aux vues de gestion dynamique (DMV) de résolution des problèmes de performance les plus couramment utilisées pour SQL Analytics dans Azure Synapse. Pour cette première version, nous avons activé les vues pour les vues de gestion dynamique du système suivantes : • sys.dm_pdw_exec_requests • sys.dm_pdw_request_steps • sys.dm_pdw_dms_workers • sys.dm_pdw_waits • sys.dm_pdw_sql_requests |
| Gestion de la mémoire Columnstore | À mesure que le nombre de groupes de lignes de la banque des colonnes compressée augmente, la mémoire requise pour gérer les métadonnées du segment de colonne interne pour ces groupes de lignes augmente. Par conséquent, les performances des requêtes et les requêtes exécutées sur certaines vues de gestion dynamique (DMV) de Columnstore peuvent se dégrader. Des améliorations ont été apportées dans cette version afin d’optimiser la taille des métadonnées internes dans ces cas particuliers, ce qui améliore à la fois l’expérience et les performances avec de telles requêtes. |
| Intégration d’Azure Data Lake Storage Gen2 (Disponibilité générale) | Synapse Analytics bénéficie maintenant de l’intégration native avec Azure Data Lake Storage Gen2. Les clients peuvent désormais charger des données à l’aide de tables externes d’ABFS dans le pool SQL dédié (anciennement SQL DW). Cette fonctionnalité permet aux clients d’intégrer avec leurs Data Lakes dans Data Lake Storage Gen2. |
| Bogues notables | Échecs CETAS à Parquet dans les petites classes de ressources sur les entrepôts de données de DW2000 et plus : ce correctif identifie correctement une référence null dans le chemin d’accès au code Create External Table As to Parquet. La valeur de colonne d’identité peut se perdre dans une opération CTAS : la valeur d’une colonne d’identité peut ne pas être conservée en cas d’opération CTAS vers une autre table. Signalé dans un blog. Erreur interne dans certains cas lorsqu’une session est interrompue alors qu’une requête est en cours d’exécution : ce correctif déclenche InvalidOperationException si une session est interrompue lorsque la requête est en cours d’exécution. (Déployé en novembre 2018) Les clients ont rencontré des performances réduites lors de la tentative de chargement de plusieurs petits fichiers depuis ADLS (Gen1) à l’aide de Polybase. Les performances du système se sont trouvées dans un goulot d’étranglement lors de la validation du jeton de sécurité AAD. Les problèmes de performances ont été réduits en activant la mise en cache des jetons de sécurité. |