New-AzureHDInsightMapReduceJobDefinition

  • Referencia
Módulo:
Azure

Define un nuevo trabajo de MapReduce.

Nota:

Los cmdlets a los que se hace referencia en esta documentación son para administrar recursos de Azure heredados que usan las API de Azure Service Management (ASM). Este módulo heredado de PowerShell no se recomienda al crear nuevos recursos, ya que ASM está programado para la retirada. Para más información, consulte Retirada de Azure Service Manager.

El módulo Az de PowerShell es el módulo de PowerShell recomendado para administrar recursos de Azure Resource Manager (ARM) con PowerShell.

Sintaxis

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Esta versión de HDInsight de Azure PowerShell está en desuso. Estos cmdlets se quitarán el 1 de enero de 2017. Use la versión más reciente de HDInsight de Azure PowerShell.

Para obtener información sobre cómo usar el nuevo HDInsight para crear un clúster, consulte Creación de clústeres basados en Linux en HDInsight mediante Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obtener información sobre cómo enviar trabajos mediante Azure PowerShell y otros enfoques, consulte Envío de trabajos de Hadoop en HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obtener información de referencia sobre HDInsight de Azure PowerShell, consulte Cmdlets de Azure HDInsight.

El cmdlet New-AzureHDInsightMapReduceJobDefinition define un nuevo trabajo de MapReduce para ejecutarse en un clúster de Azure HDInsight.

Ejemplos

Ejemplo 1: Definir un trabajo de MapReduce, ejecutar el trabajo y obtener la salida

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

El primer comando obtiene el identificador de la suscripción actual y, a continuación, lo almacena en la variable $SubId.

El segundo comando asigna el nombre MyCluster a la variable $Clustername.

El tercer comando usa el cmdlet New-AzureHDInsightMapReduceJobDefinition para crear una definición de trabajo de MapReduce y, a continuación, almacenarla en la variable $WordCountJob.

El cuarto comando realiza una secuencia de operaciones mediante estos cmdlets:

  • Inicie AzureHDInsightJob para iniciar el trabajo en $ClusterName.
  • Espere a que AzureHDInsightJob espere a que finalice el trabajo y muestre el progreso hacia la finalización.
  • Get-AzureHDInsightJobOutput para obtener la salida del trabajo.

Parámetros

-Arguments

Especifica una matriz de argumentos para un trabajo de Hadoop. Los argumentos se pasan a cada tarea como argumentos de la línea de comandos.

Tipo:String[]
Alias:Args
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-ClassName

Especifica el nombre de la clase de trabajo en el archivo Java Archive (JAR).

Tipo:String
Alias:Class
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Defines

Especifica los valores de configuración de Hadoop que se van a establecer cuando se ejecuta el trabajo.

Tipo:Hashtable
Alias:Params
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Files

Especifica una matriz de archivos WASB necesarios para un trabajo.

Tipo:String[]
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-JarFile

Especifica el nombre completo de un archivo JAR que contiene el código y las dependencias de un trabajo de MapReduce.

Tipo:String
Alias:Jar
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-JobName

Especifica el nombre de un trabajo de MapReduce. Este parámetro es opcional. Si no especifica este parámetro, se usa el valor del parámetro ClassName .

Tipo:String
Alias:Name
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-LibJars

Especifica una matriz de referencias LibJar del trabajo.

Tipo:String[]
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Profile

Especifica el perfil de Azure del que lee este cmdlet. Si no especifica un perfil, este cmdlet lee del perfil predeterminado local.

Tipo:AzureSMProfile
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-StatusFolder

Especifica la ubicación de la carpeta que contiene salidas estándar y salidas de error para un trabajo, incluido su código de salida y los registros de tareas.

Tipo:String
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False