New-AzureHDInsightMapReduceJobDefinition
Definiuje nowe zadanie MapReduce.
Uwaga
Polecenia cmdlet, do których odwołuje się ta dokumentacja, służą do zarządzania starszymi zasobami platformy Azure korzystającymi z interfejsów API programu Azure Service Manager (ASM). Ten starszy moduł programu PowerShell nie jest zalecany podczas tworzenia nowych zasobów, ponieważ usługa ASM ma zostać wycofana. Aby uzyskać więcej informacji, zobacz Wycofywanie programu Azure Service Manager.
Moduł Az programu PowerShell jest zalecanym modułem programu PowerShell do zarządzania zasobami usługi Azure Resource Manager (ARM) przy użyciu programu PowerShell.
Składnia
New-AzureHDInsightMapReduceJobDefinition
[-Arguments <String[]>]
-ClassName <String>
[-Defines <Hashtable>]
[-Files <String[]>]
-JarFile <String>
[-JobName <String>]
[-LibJars <String[]>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>]
Opis
Ta wersja usługi Azure PowerShell HDInsight jest przestarzała. Te polecenia cmdlet zostaną usunięte do 1 stycznia 2017 r. Użyj nowszej wersji usługi Azure PowerShell HDInsight.
Aby uzyskać informacje na temat używania nowej usługi HDInsight do tworzenia klastra, zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu programu Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Aby uzyskać informacje na temat przesyłania zadań przy użyciu programu Azure PowerShell i innych podejść, zobacz Przesyłanie zadań hadoop w usłudze HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Aby uzyskać informacje referencyjne dotyczące usługi Azure PowerShell HDInsight, zobacz Azure HDInsight Cmdlets (Polecenia cmdlet usługi Azure HDInsight).
Polecenie cmdlet New-AzureHDInsightMapReduceJobDefinition definiuje nowe zadanie MapReduce do uruchomienia w klastrze usługi Azure HDInsight.
Przykłady
Przykład 1: Definiowanie zadania MapReduce, uruchamianie zadania i pobieranie danych wyjściowych
PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
| Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
| Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError
Pierwsze polecenie pobiera identyfikator bieżącej subskrypcji, a następnie zapisuje je w zmiennej $SubId.
Drugie polecenie przypisuje nazwę MyCluster do zmiennej $Clustername.
Trzecie polecenie używa polecenia cmdlet New-AzureHDInsightMapReduceJobDefinition w celu utworzenia definicji zadania MapReduce, a następnie zapisze je w zmiennej $WordCountJob.
Czwarte polecenie wykonuje sekwencję operacji przy użyciu następujących poleceń cmdlet:
- Start-AzureHDInsightJob , aby uruchomić zadanie w $ClusterName.
- Wait-AzureHDInsightJob czekać na zakończenie zadania i wyświetlić postęp w kierunku ukończenia.
- Get-AzureHDInsightJobOutput , aby uzyskać dane wyjściowe zadania.
Parametry
-Arguments
Określa tablicę argumentów dla zadania hadoop. Argumenty są przekazywane jako argumenty wiersza polecenia do każdego zadania.
Typ: | String[] |
Aliasy: | Args |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-ClassName
Określa nazwę klasy zadań w pliku Jar (Java Archive).
Typ: | String |
Aliasy: | Class |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | True |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-Defines
Określa wartości konfiguracji usługi Hadoop, które mają być ustawiane podczas uruchamiania zadania.
Typ: | Hashtable |
Aliasy: | Params |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-Files
Określa tablicę plików WASB, które są wymagane dla zadania.
Typ: | String[] |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-JarFile
Określa w pełni kwalifikowaną nazwę pliku JAR, który zawiera kod i zależności zadania MapReduce.
Typ: | String |
Aliasy: | Jar |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | True |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-JobName
Określa nazwę zadania MapReduce. Ten parametr jest opcjonalny. Jeśli nie określisz tego parametru, zostanie użyta wartość parametru ClassName .
Typ: | String |
Aliasy: | Name |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-LibJars
Określa tablicę odwołań libjar zadania.
Typ: | String[] |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-Profile
Określa profil platformy Azure, z którego to polecenie cmdlet odczytuje. Jeśli nie określisz profilu, to polecenie cmdlet odczytuje z lokalnego profilu domyślnego.
Typ: | AzureSMProfile |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |
-StatusFolder
Określa lokalizację folderu, który zawiera standardowe dane wyjściowe i dane wyjściowe błędów dla zadania, w tym jego kod zakończenia i dzienniki zadań.
Typ: | String |
Position: | Named |
Domyślna wartość: | None |
Wymagane: | False |
Akceptowanie danych wejściowych potoku: | False |
Akceptowanie symboli wieloznacznych: | False |