New-AzureHDInsightMapReduceJobDefinition

  • リファレンス
モジュール:
Azure

新しい MapReduce ジョブを定義します。

Note

このドキュメントで参照されているコマンドレットは、Azure Service Manager (ASM) API を使用する従来の Azure リソースを管理するためのものです。 ASM の提供終了が予定されているため、新しいリソースを作成する場合、このレガシ PowerShell モジュールは推奨されません。 詳細については、Azure Service Manager の提供終了に関するページを参照してください。

Az PowerShell モジュールは、PowerShell を使用して Azure Resource Manager (ARM) リソースを管理するために推奨される PowerShell モジュールです。

構文

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

説明

このバージョンの Azure PowerShell HDInsight は非推奨です。 これらのコマンドレットは、2017 年 1 月 1 日までに削除されます。 新しいバージョンの Azure PowerShell HDInsight を使用してください。

新しい HDInsight を使用してクラスターを作成する方法については、「Azure PowerShell () を使用して HDInsight で Linux ベースのクラスターを作成する」https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/を参照してください。 Azure PowerShell やその他の方法を使用してジョブを送信する方法については、HDInsight での Hadoop ジョブの送信 (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/) に関するページを参照してください。 Azure PowerShell HDInsight のリファレンス情報については、「Azure HDInsight コマンドレット」を参照してください。

New-AzureHDInsightMapReduceJobDefinition コマンドレットは、Azure HDInsight クラスターで実行する新しい MapReduce ジョブを定義します。

例

例 1: MapReduce ジョブの定義、ジョブの実行、出力の取得

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

最初のコマンドは、現在のサブスクリプションの ID を取得し、$SubId変数に格納します。

2 番目のコマンドは、myCluster という名前を $Clustername 変数に割り当てます。

3 番目の コマンドでは、New-AzureHDInsightMapReduceJobDefinition コマンドレットを使用して MapReduce ジョブ定義を作成し、$WordCountJob変数に格納します。

4 番目のコマンドは、次のコマンドレットを使用して一連の操作を実行します。

  • Start-AzureHDInsightJob を使用して、$ClusterNameでジョブを開始します。
  • Wait-AzureHDInsightJob は、 ジョブが完了するまで待機し、完了までの進行状況を表示します。
  • ジョブ出力を取得するための Get-AzureHDInsightJobOutput 。

パラメーター

-Arguments

Hadoop ジョブの引数の配列を指定します。 引数はコマンド ライン引数として各タスクに渡されます。

型:String[]
Aliases:Args
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-ClassName

Java アーカイブ (JAR) ファイル内のジョブ・クラスの名前を指定します。

型:String
Aliases:Class
配置:Named
規定値:None
必須:True
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-Defines

ジョブの実行時に設定する Hadoop 構成値を指定します。

型:Hashtable
Aliases:Params
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-Files

ジョブに必要な WASB ファイルの配列を指定します。

型:String[]
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-JarFile

MapReduce ジョブのコードと依存関係を含む JAR ファイルの完全修飾名を指定します。

型:String
Aliases:Jar
配置:Named
規定値:None
必須:True
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-JobName

MapReduce ジョブの名前を指定します。 このパラメーターは省略可能です。 このパラメーターを指定しない場合は、ClassName パラメーターの値が使用されます。

型:String
Aliases:Name
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-LibJars

ジョブの LibJar 参照の配列を指定します。

型:String[]
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-Profile

このコマンドレットが読み取る Azure プロファイルを指定します。 プロファイルを指定しない場合、このコマンドレットはローカルの既定のプロファイルから読み取ります。

型:AzureSMProfile
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False

-StatusFolder

ジョブの標準出力とエラー出力を含むフォルダーの場所 (終了コードやタスク ログを含む) を指定します。

型:String
配置:Named
規定値:None
必須:False
パイプライン入力を受け取る:False
ワイルドカード文字を受け取る:False