Créer et configurer des clusters de Pack Sécurité Entreprise dans Azure HDInsight
Le Pack Sécurité Entreprise (ESP) pour Azure HDInsight vous donne accès à l’authentification basée sur Active Directory, à la prise en charge multi-utilisateur et au contrôle d’accès en fonction du rôle pour vos clusters Apache Hadoop dans Azure. Les clusters ESP HDInsight permettent aux organisations, qui adhèrent aux stratégies de sécurité strictes de l’entreprise, de traiter les données sensibles de façon sécurisée.
Ce guide montre comment créer un cluster ESP Azure HDInsight. Il montre également comment créer une machine virtuelle IaaS Windows sur laquelle Active Directory et le système DNS (Domain Name System) sont activés. Utilisez ce guide pour configurer les ressources en vue d’autoriser les utilisateurs locaux à se connecter à un cluster ESP HDInsight.
Le serveur que vous créez vient remplacer votre environnement local actuel. Vous l’utiliserez pour les étapes d’installation et de configuration. Plus tard, vous recommencerez ces étapes dans votre propre environnement.
Ce guide vous aidera également à créer un environnement d’identité hybride via la synchronisation du hachage de mot de passe avec Microsoft Entra ID. Ce guide est un complément au guide Utilisation de l’ESP dans HDInsight.
Avant d’utiliser ce processus dans votre propre environnement :
- Configurez Active Directory et le service DNS.
- Activez Microsoft Entra ID.
- Synchronisez les comptes d’utilisateurs locaux vers Microsoft Entra ID.
Créer un environnement local
Dans cette section, vous allez utiliser un modèle de déploiement rapide Azure pour créer des machines virtuelles, configurer les services DNS et créer une forêt Active Directory.
Accédez au modèle de déploiement rapide pour créer une machine virtuelle Azure avec une nouvelle forêt Active Directory.
Sélectionnez Déployer sur Azure.
Connectez-vous à votre abonnement Azure.
Dans la page Créer une machine virtuelle Azure avec une nouvelle forêt Active Directory, entrez les informations suivantes :
Propriété Valeur Abonnement Sélectionnez l’abonnement dans lequel déployer les ressources. Resource group Sélectionnez Créer, puis entrez le nom OnPremADVRG
Emplacement Sélectionnez un emplacement. Nom d’utilisateur d’administrateur HDIFabrikamAdmin
Mot de passe d’administrateur Entrez un mot de passe. Nom de domaine HDIFabrikam.com
Préfixe DNS hdifabrikam
Conservez les valeurs par défaut restantes.
Lisez les termes et conditions, puis cochez la case J’accepte les termes et conditions mentionnés ci-dessus.
Sélectionnez Acheter, puis supervisez le déploiement et attendez qu’il se termine. Le déploiement prend environ 30 minutes.
Configurer des utilisateurs et groupes pour l’accès au cluster
Dans cette section, vous allez créer les utilisateurs qui auront accès au cluster HDInsight à la fin de ce guide.
Connectez-vous au contrôleur de domaine via le Bureau à distance.
- Dans le portail Azure, accédez à Groupes de ressources>OnPremADVRG>adVM>Connect.
- Dans la liste déroulante Adresse IP, sélectionnez l’adresse IP publique.
- Sélectionnez Télécharger le fichier RDP, puis ouvrez le fichier.
- Utilisez le nom d’utilisateur
HDIFabrikam\HDIFabrikamAdmin
. - Entrez le mot de passe que vous avez choisi pour le compte Administrateur.
- Sélectionnez OK.
Dans le tableau de bord Gestionnaire de serveur du contrôleur de domaine, accédez à Outils>Utilisateurs et ordinateurs Active Directory.
Créez deux utilisateurs : HDIAdmin et HDIUser. Ces deux utilisateurs vous permettront de vous connecter à des clusters HDInsight.
Dans la page Utilisateurs et ordinateurs Active Directory, cliquez avec le bouton droit sur
HDIFabrikam.com
, puis accédez à Nouveau>Utilisateur.Dans la page Nouvel objet - utilisateur, entrez
HDIUser
pour Prénom et le Nom d’ouverture de session de l’utilisateur. Les autres champs sont renseignés automatiquement. Sélectionnez ensuite Suivant.Dans la fenêtre contextuelle qui s’affiche, entrez un mot de passe pour le nouveau compte. Sélectionnez Le mot de passe n’expire jamais, puis OK dans le message contextuel.
Sélectionnez Suivant, puis Terminer pour créer le nouveau compte.
Répétez les étapes ci-dessus pour créer l’utilisateur
HDIAdmin
.
Créer un groupe de sécurité.
Dans la page Utilisateurs et ordinateurs Active Directory, cliquez avec le bouton droit sur
HDIFabrikam.com
, puis accédez à Nouveau>Groupe.Entrez
HDIUserGroup
dans la zone de texte Nom du groupe.Cliquez sur OK.
Ajoutez des membres à HDIUserGroup.
Cliquez avec le bouton droit sur HDIUser, puis sélectionnez Ajouter à un groupe... .
Dans la zone de texte Entrez les noms des objets à sélectionner, entrez
HDIUserGroup
. Sélectionnez ensuite OK, puis une nouvelle fois OK dans la fenêtre contextuelle.Répétez les étapes précédentes pour le compte HDIAdmin.
Vous venez de créer votre environnement Active Directory. Vous venez d’ajouter deux utilisateurs, ainsi qu’un groupe d’utilisateurs qui peuvent accéder au cluster HDInsight.
Les utilisateurs seront synchronisés avec Microsoft Entra ID.
Créer un annuaire Microsoft Entra
Connectez-vous au portail Azure.
Sélectionnez Créer une ressource, puis tapez
directory
. Sélectionnez Microsoft Entra ID>Créer.Sous Nom de l’organisation, entrez
HDIFabrikam
.Sous Nom de domaine initial, entrez
HDIFabrikamoutlook
.Sélectionnez Créer.
Créer un domaine personnalisé
Dans votre nouveau Microsoft Entra ID, sous Gérer, sélectionnez Noms de domaine personnalisés.
Sélectionnez + Ajouter un domaine personnalisé.
Sous Nom de domaine personnalisé, entrez
HDIFabrikam.com
, puis sélectionnez Ajouter un domaine.Renseignez le champ Ajouter vos informations DNS au bureau d’enregistrement de domaines.
Créer un groupe
- Dans votre nouveau Microsoft Entra ID, sous Gérer, sélectionnez Groupes.
- Sélectionnez + Nouveau groupe.
- Dans la zone de texte Nom du groupe, entrez
AAD DC Administrators
. - Cliquez sur Créer.
Configurer votre locataire Microsoft Entra
Maintenant, vous allez configurer votre locataire Microsoft Entra afin de pouvoir synchroniser les utilisateurs et les groupes de votre instance locale d’Active Directory avec le cloud.
Créez un administrateur de locataire Azure Active Directory.
Connectez-vous au portail Azure et sélectionnez le locataire Microsoft Entra HDIFabrikam.
Accédez à Gérer>Utilisateurs>Nouvel utilisateur.
Entrez les informations suivantes pour le nouvel utilisateur :
Identité
Propriété Description Nom d'utilisateur Entrez fabrikamazureadmin
dans la zone de texte. Dans la liste déroulante du nom de domaine, sélectionnezhdifabrikam.com
Nom Entrez fabrikamazureadmin
.Mot de passe
- Sélectionnez Me permettre de créer le mot de passe.
- Entrez le mot de passe sécurisé de votre choix.
Groupes et rôles
Sélectionnez 0 groupes sélectionnés.
Sélectionnez
AAD DC
Administrateurs, puis Sélectionner.Sélectionnez Utilisateur.
Sélectionnez Administrateur, puis Sélectionner.
Sélectionnez Créer.
Demandez ensuite au nouvel utilisateur de se connecter au portail Azure où il sera invité à modifier le mot de passe. Vous devez effectuer cette opération avant de configurer Microsoft Entra Connect.
Synchroniser les comptes d’utilisateurs locaux vers Microsoft Entra ID
Configurer Microsoft Entra Connect
À partir du contrôleur de domaine, téléchargez Microsoft Entra Connect.
Ouvrez le fichier exécutable que vous avez téléchargé, puis acceptez les termes du contrat de licence. Sélectionnez Continuer.
Cliquez sur Utiliser la configuration rapide.
Sur la page Se connecter à Microsoft Entra ID, entrez le nom d’utilisateur et le mot de passe de l’administrateur pour Microsoft Entra ID. Utilisez le nom d’utilisateur
fabrikamazureadmin@hdifabrikam.com
que vous avez créé lorsque vous avez configuré votre locataire Active Directory. Sélectionnez ensuite Suivant.Dans la page Connexion à Active Directory Domain Services, entrez le nom d’utilisateur et le mot de passe d’un compte d’administrateur d’entreprise. Utilisez le nom d’utilisateur
HDIFabrikam\HDIFabrikamAdmin
et le mot de passe que vous avez créés précédemment. Sélectionnez ensuite Suivant.Sur la page Configuration de la connexion à Microsoft Entra, sélectionnez Suivant.
Dans la page Prêt à configurer, sélectionnez Installer.
Sur la page Configuration effectuée, sélectionnez Quitter.
Une fois la synchronisation terminée, vérifiez que les utilisateurs que vous avez créés dans le répertoire IaaS sont synchronisés avec Microsoft Entra ID.
- Connectez-vous au portail Azure.
- Sélectionnez Microsoft Entra ID>HDIFabrikam>Utilisateurs.
Créer une identité managée attribuée par l’utilisateur
Créez une identité managée affectée par l’utilisateur que vous pouvez utiliser pour configurer Microsoft Entra Domain Services. Pour plus d’informations, consultez Créer, répertorier, supprimer ou affecter un rôle à une identité managée affectée par l’utilisateur à l’aide du portail Azure.
- Connectez-vous au portail Azure.
- Sélectionnez Créer une ressource, puis tapez
managed identity
. Sélectionnez Identité managée affectée par l’utilisateur>Créer. - Pour Nom de ressource, entrez
HDIFabrikamManagedIdentity
. - Sélectionnez votre abonnement.
- Sous Groupe de ressources, sélectionnez Créer, puis entrez
HDIFabrikam-CentralUS
. - Sous Emplacement, sélectionnez USA Centre.
- Sélectionnez Créer.
Activer Microsoft Entra Domain Services
Suivez ces étapes pour activer Microsoft Entra Domain Services. Pour plus d'informations, consultez Activer Microsoft Entra Domain Services à l’aide du portail Azure.
Créez un réseau virtuel pour héberger Microsoft Entra Domain Services. Exécutez le code PowerShell suivant.
# Sign in to your Azure subscription $sub = Get-AzSubscription -ErrorAction SilentlyContinue if(-not($sub)) { Connect-AzAccount } # If you have multiple subscriptions, set the one to use # Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>" $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16 $subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork $virtualNetwork | Set-AzVirtualNetwork
Connectez-vous au portail Azure.
Sélectionnez Créer une ressource, entrez
Domain services
, puis sélectionnez Microsoft Entra Domain Services>Créer.Dans la page Informations de base :
Sous Nom de l’annuaire, sélectionnez l’annuaire Microsoft Entra que vous avez créé : HDIFabrikam.
Dans Nom du domaine DNS, entrez HDIFabrikam.com.
Sélectionnez votre abonnement.
Spécifiez le groupe de ressources HDIFabrikam-CentralUS. Pour Emplacement, sélectionnez USA Centre.
Dans la page Réseau, sélectionnez le réseau (HDIFabrikam-VNET) et le sous-réseau (AADDS-subnet) que vous avez créés à l’aide du script PowerShell. Vous pouvez aussi choisir Créer pour créer un réseau virtuel.
Dans la page Groupe d’administrateurs, vous devez voir une notification indiquant qu’un groupe nommé Administrateurs
AAD DC
a déjà été créé pour administrer ce groupe. Vous pouvez modifier l’appartenance de ce groupe si vous le souhaitez. Toutefois, dans ce cas, vous n’avez pas besoin de le modifier. Cliquez sur OK.Dans la page Synchronisation, permettez à la synchronisation de s’effectuer complètement en sélectionnant Tout>OK.
Dans la page Résumé, vérifiez les détails concernant Microsoft Entra Domain Services, puis sélectionnez OK.
Après avoir activé Microsoft Entra Domain Services, un serveur DNS local s’exécute sur les machines virtuelles Microsoft Entra.
Configurer votre réseau virtuel Microsoft Entra Domain Services
Utilisez les étapes suivantes pour configurer votre réseau virtuel Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) afin qu’il utilise vos serveurs DNS personnalisés.
Recherchez les adresses IP de vos serveurs DNS personnalisés.
- Dans la ressource Microsoft Entra Domain Services
HDIFabrikam.com
. - Sous Gérer, sélectionnez Propriétés.
- Les adresses IP se trouvent sous Adresse IP sur le réseau virtuel.
- Dans la ressource Microsoft Entra Domain Services
Configurez HDIFabrikam-AADDSVNET pour utiliser les adresses IP personnalisées 10.0.0.4 et 10.0.0.5.
- Sous Paramètres, sélectionnez Serveurs DNS.
- Sélectionnez Personnalisé.
- Dans la zone de texte, entrez la première adresse IP (10.0.0.4).
- Sélectionnez Enregistrer.
- Répétez ces étapes pour ajouter l’autre adresse IP (10.0.0.5).
Dans notre scénario, nous avons configuré Microsoft Entra Domain Services pour utiliser les adresses IP 10.0.0.4 et 10.0.0.5, en définissant la même adresse IP sur le réseau virtuel Microsoft Entra Domain Services :
Sécurisation du trafic LDAP
Le protocole LDAP (Lightweight Directory Access Protocol) est utilisé pour la lecture et l’écriture sur Microsoft Entra ID. Vous pouvez rendre le trafic LDAP confidentiel et sécurisé à l’aide de la technologie SSL (Secure Sockets Layer) ou TLS (Transport Layer Security). Vous pouvez activer le protocole LDAP sur SSL (LDAPS) en installant un certificat au format correct.
Pour plus d’informations sur LDAP sécurisé, consultez Configurer LDAPS pour un domaine managé Microsoft Entra Domain Services.
Dans cette section, vous allez créer un certificat auto-signé, télécharger le certificat et configurer LDAPS pour le domaine managé Microsoft Entra Domain Services HDIFabrikam.
Le script suivant crée un certificat pour HDIFabrikam. Le certificat est enregistré sous le chemin LocalMachine.
$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com
Notes
Tous les utilitaires ou applications qui créent une requête PKCS (Public Key Cryptography Standards) #10 valide peuvent être utilisés pour former la demande de certificat TLS/SSL.
Vérifiez que le certificat se trouve dans le magasin personnel de l’ordinateur :
Démarrez Microsoft Management Console (MMC).
Ajoutez le composant logiciel enfichable Certificats qui gère les certificats sur l’ordinateur local.
Développez Certificats (Ordinateur local)>Personnel>Certificats. Un nouveau certificat doit se trouver dans le magasin personnel. Ce certificat est émis avec le nom d’hôte complet.
Dans le volet de droite, cliquez avec le bouton droit sur le certificat que vous avez créé. Pointez sur Toutes les tâches, puis sélectionnez Exporter.
Dans la page Exporter la clé privée, sélectionnez Oui, exporter la clé privée. L’ordinateur sur lequel la clé privée sera importée a besoin d’elle pour lire les messages chiffrés.
Dans la page Format de fichier d’exportation, laissez les valeurs par défaut, puis sélectionnez Suivant.
Dans la page Mot de passe, tapez un mot de passe pour la clé privée. Pour Chiffrement, sélectionnez TripleDES-SHA1. Sélectionnez ensuite Suivant.
Dans la page Fichier à exporter, tapez le chemin et le nom du fichier de certificat exporté, puis sélectionnez Suivant. Le nom de fichier doit porter l’extension .pfx. Ce fichier est configuré dans le portail Azure pour établir une connexion sécurisée.
Activez LDAPS pour un domaine managé Microsoft Entra Domain Services.
- Dans le portail Azure, sélectionnez le domaine
HDIFabrikam.com
. - Sous Gérer, sélectionnez LDAP sécurisé.
- Dans la page LDAP sécurisé, sous LDAP sécurisé, sélectionnez Activer.
- Recherchez le fichier de certificat .pfx que vous avez exporté sur votre ordinateur.
- Saisissez le mot de passe du certificat.
- Dans le portail Azure, sélectionnez le domaine
Maintenant que vous avez activé le protocole LDAP sécurisé (LDAPS), rendez-le accessible en activant le port 636.
Dans le groupe de ressources HDIFabrikam-CentralUS, sélectionnez le groupe de sécurité réseau AADDS-HDIFabrikam.com-NSG.
Sous Paramètres, sélectionnez Règles de sécurité de trafic entrant>Ajouter.
Dans la page Ajouter une règle de sécurité de trafic entrant, entrez les propriétés suivantes, puis sélectionnez Ajouter :
Propriété Valeur Source Aucune Plages de ports source * Destination Quelconque Destination port range 636 Protocol Any Action Autoriser Priority <Nombre souhaité> Nom Port_LDAP_636
HDIFabrikamManagedIdentity est l’identité managée affectée par l’utilisateur. Le rôle Contributeur aux services de domaine HDInsight est associé à cette identité managée qui pourra donc lire, créer, modifier et supprimer des opérations de services de domaine.
Créer un cluster ESP HDInsight
Cette étape nécessite les prérequis suivants :
Créez un groupe de ressources HDIFabrikam-WestUS dans la région USA Ouest.
Créez un réseau virtuel qui hébergera le cluster ESP HDInsight.
$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16 $subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork $virtualNetwork | Set-AzVirtualNetwork
Créez une relation d’appairage entre le réseau virtuel qui héberge Microsoft Entra Domain Services (
HDIFabrikam-AADDSVNET
) et celui qui héberge le cluster HDInsight ESP (HDIFabrikam-HDIVNet
). Utilisez le code PowerShell suivant pour appairer ces deux réseaux virtuels.Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS') Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')
Créez un compte Azure Data Lake Storage Gen2 nommé Hdigen2store. Configurez le compte avec l’identité gérée par l’utilisateur HDIFabrikamManagedIdentity. Pour plus d’informations, consultez Utiliser Azure Data Lake Storage Gen2 avec des clusters Azure HDInsight.
Configurez un serveur DNS personnalisé sur le réseau virtuel HDIFabrikam-AADDSVNET.
Dans le Portail Azure, accédez à >Groupes de ressources>OnPremADVRG>HDIFabrikam-AADDSVNET>Serveurs DNS.
Sélectionnez Personnalisé, puis entrez 10.0.0.4 et 10.0.0.5.
Cliquez sur Enregistrer.
Créez un cluster Spark HDInsight ESP.
Sélectionnez Personnalisé (taille, paramètres, applications) .
Entrez les informations nécessaires dans Informations de base (section 1). Vérifiez que le Type de cluster est bien Spark 2.3 (HDI 3.6) . Vérifiez que le Groupe de ressources est bien HDIFabrikam-CentralUS.
Dans Sécurité + réseau (section 2), renseignez les informations suivantes :
Sous Pack Sécurité Entreprise, sélectionnez Activé.
Sélectionnez Utilisateur administrateur de cluster, puis sélectionnez le compte HDIAdmin que vous avez créé pour l’utilisateur administrateur local. Cliquez sur Sélectionner.
Sélectionnez Groupe d’accès au cluster>HDIUserGroup. Tout utilisateur que vous ajouterez à ce groupe sera en mesure d’accéder aux clusters HDInsight.
Effectuez les autres étapes de la configuration du cluster et vérifiez les détails dans le Résumé du cluster. Sélectionnez Create (Créer).
Connectez-vous à l’interface utilisateur Ambari pour le cluster nouvellement créé à l’adresse
https://CLUSTERNAME.azurehdinsight.net
. Utilisez le nom d’utilisateur d’administrateurhdiadmin@hdifabrikam.com
et son mot de passe.Dans le tableau de bord du cluster, sélectionnez Rôles.
Dans la page Rôles, sous Affecter des rôles à, à côté du rôle Administrateur de cluster, entrez le groupe hdiusergroup.
Ouvrez votre client Secure Shell (SSH) et connectez-vous au cluster. Utilisez l’utilisateur hdiuser que vous avez créé dans l’instance locale d’Active Directory.
Si vous parvenez à vous connecter avec ce compte, c’est que vous avez configuré votre cluster ESP correctement pour la synchronisation avec votre instance locale d’Active Directory.