Vytváření clusterů HDInsight pomocí Azure CLI

  • Článek

Kroky v tomto dokumentu provedou vytvořením clusteru HDInsight 4.0 pomocí Azure CLI.

Upozorňující

Fakturace clusterů HDInsight se účtuje za minutu bez ohledu na to, jestli je používáte, nebo ne. Až cluster dokončíte, nezapomeňte ho odstranit. Podívejte se, jak odstranit cluster HDInsight.

Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet Azure před tím, než začnete.

Požadavky

Vytvoření clusteru

  1. Přihlaste se ke svému předplatnému Azure. Pokud plánujete používat Azure Cloud Shell, vyberte Vyzkoušet v pravém horním rohu bloku kódu. Jinak zadejte následující příkaz:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Nastavte proměnné prostředí. Použití proměnných v tomto článku je založeno na Bash. Pro jiná prostředí jsou potřeba mírné variace. Úplný seznam možných parametrů pro vytvoření clusteru najdete v tématu az-hdinsight-create .

    Parametr Popis
    --workernode-count Počet pracovních uzlů v clusteru Tento článek používá proměnnou clusterSizeInNodes jako hodnotu předanou --workernode-count.
    --version Verze clusteru HDInsight. Tento článek používá proměnnou clusterVersion jako hodnotu předanou --version. Viz také: Podporované verze SLUŽBY HDInsight.
    --type Typ clusteru HDInsight, například hadoop, interaktivní podregistr, hbase, kafka, spark, rserver, mlservices. Tento článek používá proměnnou clusterType jako hodnotu předanou --type. Viz také: Typy a konfigurace clusteru.
    --component-version Verze různých součástí Hadoopu v prostorově oddělených verzích ve formátu component=version. Tento článek používá proměnnou componentVersion jako hodnotu předanou --component-version. Viz také: Komponenty Systému Hadoop.

    Nahraďte RESOURCEGROUPNAME, , LOCATIONCLUSTERNAMEa STORAGEACCOUNTNAMEPASSWORD požadovanými hodnotami. Podle potřeby změňte hodnoty pro ostatní proměnné. Pak zadejte příkazy rozhraní příkazového řádku.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Vytvořte skupinu prostředků zadáním následujícího příkazu:

    az group create \
    --location $location \
    --name $resourceGroupName

    Pro seznam platných umístění použijte az account list-locations příkaz a pak použijte jedno z umístění z name hodnoty.

  4. Zadáním následujícího příkazu vytvořte účet Azure Storage:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Extrahujte primární klíč z účtu služby Azure Storage a uložte ho do proměnné zadáním následujícího příkazu:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Zadáním následujícího příkazu vytvořte kontejner Azure Storage:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Vytvořte cluster HDInsight zadáním následujícího příkazu:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Důležité

    Clustery HDInsight mají různé typy, které odpovídají úlohám nebo technologiím, pro které je cluster vyladěný. Neexistuje žádná podporovaná metoda pro vytvoření clusteru, který kombinuje více typů, jako je HBase v jednom clusteru.

    Dokončení procesu vytváření clusteru může trvat několik minut. Obvykle kolem 15.

Vyčištění prostředků

Jakmile budete s článkem hotovi, můžete cluster odstranit. S HDInsight jsou vaše data uložená ve službě Azure Storage, takže můžete cluster bezpečně odstranit, když se nepoužívá. Za cluster HDInsight se vám také účtují poplatky, i když se nepoužívá. Vzhledem k tomu, že poplatky za cluster jsou mnohokrát vyšší než poplatky za úložiště, dává smysl odstranit clustery, když se nepoužívají.

Pokud chcete odebrat prostředky, zadejte všechny nebo některé z následujících příkazů:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Odstranění potíží

Pokud narazíte na problémy s vytvářením clusterů HDInsight, podívejte se na požadavky na řízení přístupu.

Další kroky

Teď, když jste úspěšně vytvořili cluster HDInsight pomocí Azure CLI, se dozvíte, jak pracovat s clusterem:

Clustery Apache Hadoop

Clustery Apache HBase