Azure PowerShell kullanarak HDInsight'ta Apache Hadoop kümelerini yönetme

Makale
10/17/2024

Azure PowerShell, Azure'da iş yüklerinizin dağıtımını ve yönetimini denetlemek ve otomatikleştirmek için kullanılabilir. Bu makalede, Azure PowerShell Az modülünü kullanarak Azure HDInsight'ta Apache Hadoop kümelerini yönetmeyi öğreneceksiniz. HDInsight PowerShell cmdlet'lerinin listesi için az.HDInsight başvurusuna bakın.

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Önkoşullar

Not

Azure ile etkileşim kurmak için Azure Az PowerShell modülünü kullanmanızı öneririz. Başlamak için bkz . Azure PowerShell'i yükleme. Az PowerShell modülüne nasıl geçeceğinizi öğrenmek için bkz. Azure PowerShell’i AzureRM’den Az’ye geçirme.

PowerShell Az Modülü yüklü.

Küme oluşturma

Bkz. Azure PowerShell kullanarak HDInsight'ta Linux tabanlı kümeler oluşturma

Kümeleri listeleme

Geçerli abonelikteki tüm kümeleri listelemek için aşağıdaki komutu kullanın:

Get-AzHDInsightCluster

Kümeyi göster

Geçerli abonelikteki belirli bir kümenin ayrıntılarını göstermek için aşağıdaki komutu kullanın:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Kümeleri silme

Kümeyi silmek için aşağıdaki komutu kullanın:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Kümeyi içeren kaynak grubunu kaldırarak da kümeyi silebilirsiniz. Kaynak grubu silindiğinde, varsayılan depolama hesabı da dahil olmak üzere gruptaki tüm kaynaklar silinir.

Remove-AzResourceGroup -Name <Resource Group Name>

Kümeleri ölçeklendirme

Küme ölçeklendirme özelliği, kümeyi yeniden oluşturmak zorunda kalmadan Azure HDInsight'ta çalışan bir küme tarafından kullanılan çalışan düğümlerinin sayısını değiştirmenize olanak tanır. Azure PowerShell kullanarak Hadoop küme boyutunu değiştirmek için bir istemci makinesinden aşağıdaki komutu çalıştırın:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Kümeleri ölçeklendirme hakkında daha fazla bilgi için bkz . HDInsight kümelerini ölçeklendirme.

HTTP kullanıcı kimlik bilgilerini güncelleştirme

Set-AzHDInsightGatewayCredential , Azure HDInsight kümesinin ağ geçidi HTTP kimlik bilgilerini ayarlar.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Varsayılan depolama hesabını bulma

Aşağıdaki PowerShell betiği, varsayılan depolama hesabı adının ve ilgili bilgilerin nasıl alınduğunu gösterir:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Kaynak grubunu bulma

Resource Manager modunda her HDInsight kümesi bir Azure kaynak grubuna aittir. Kaynak grubunu bulmak için:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

İşleri gönderme

MapReduce işlerini göndermek için

Bkz . HDInsight'ta bulunan MapReduce örneklerini çalıştırma.

Apache Hive işlerini göndermek için

Bkz. PowerShell kullanarak Apache Hive sorguları çalıştırma.

Apache Sqoop işlerini göndermek için

Bkz. HDInsight ile Apache Sqoop kullanma.

Apache Oozie işlerini göndermek için

HdInsight'ta iş akışı tanımlamak ve çalıştırmak için bkz. Apache Hadoop ile Apache Oozie kullanma.

Azure Blob depolamaya veri yükleme

Bkz. HDInsight'a veri yükleme.

Aracılığıyla paylaş