Usare il modello di apprendimento approfondito Microsoft Cognitive Toolkit con un cluster Azure HDInsight Spark

In questo articolo viene illustrata la procedura seguente.

  1. Eseguire uno script personalizzato per installare Microsoft Cognitive Toolkit in un cluster Azure HDInsight Spark.

  2. Caricare un oggetto Jupyter Notebook nel cluster Apache Spark per vedere come applicare ai file un modello con training di apprendimento approfondito di Microsoft Cognitive Toolkit in un account di Archiviazione BLOB di Azure tramite l'API Python Spark (PySpark)

Prerequisiti

Svolgimento della soluzione

Questa soluzione è divisa tra questo articolo e un jupyter Notebook caricato come parte di questo articolo. In questo articolo verrà completata la procedura seguente:

  • Eseguire un'azione script in un cluster HDInsight Spark per installare i pacchetti Microsoft Cognitive Toolkit e Python.
  • Caricare Jupyter Notebook che esegue la soluzione nel cluster HDInsight Spark.

I passaggi rimanenti seguenti sono illustrati in Jupyter Notebook.

  • Caricare immagini di esempio in un set di dati distribuito resiliente Spark o RDD.
    • Caricare i moduli e definire i set di impostazioni.
    • Scaricare il set di dati in locale nel cluster Spark.
    • Convertire il set di dati in RDD.
  • Classificare le immagini tramite un modello con training Cognitive Toolkit.
    • Scaricare il modello con training Cognitive Toolkit nel cluster Spark.
    • Definire le funzioni usate dai nodi del ruolo di lavoro.
    • Classificare le immagini nei nodi del ruolo di lavoro.
    • Valutare l'accuratezza del modello.

Installare Microsoft Cognitive Toolkit

È possibile installare Microsoft Cognitive Toolkit in un cluster Spark tramite l'azione script. L'azione script usa script personalizzati per installare i componenti nel cluster che non sono disponibili per impostazione predefinita. È possibile usare lo script personalizzato del portale di Azure usando HDInsight .NET SDK o Azure PowerShell. È possibile usare lo script anche per installare il toolkit sia nell’ambito della creazione del cluster sia quando il cluster è in esecuzione.

In questo articolo il toolkit verrà installato dal portale, dopo la creazione del cluster. Per altri modi di eseguire lo script personalizzato, vedere Personalizzare cluster HDInsight tramite azione script.

Tramite il portale di Azure

Per istruzioni su come usare il portale di Azure per eseguire l'azione script, vedere Personalizzare i cluster HDInsight usando l'azione script. Assicurarsi di specificare i dati seguenti per installare Microsoft Cognitive Toolkit. Usare i valori seguenti per l'azione script:

Proprietà valore
Tipo di script - Personalizzato
Nome Installare MCT
URI script Bash https://raw.githubusercontent.com/Azure-Samples/hdinsight-pyspark-cntk-integration/master/cntk-install.sh
Tipi di nodo: Head, Worker
Parametri None

Caricare Jupyter Notebook nel cluster Azure HDInsight Spark

Per usare Microsoft Cognitive Toolkit con il cluster Azure HDInsight Spark, è necessario caricare Jupyter Notebook CNTK_model_scoring_on_Spark_walkthrough.ipynb nel cluster Azure HDInsight Spark. Tale notebook è disponibile in GitHub all'indirizzo https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.

  1. Scaricare e decomprimere https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.

  2. In un Web browser passare a https://CLUSTERNAME.azurehdinsight.net/jupyter dove CLUSTERNAME è il nome del cluster.

  3. Da Jupyter Notebook selezionare Carica nell'angolo in alto a destra e quindi passare al download e selezionare il file CNTK_model_scoring_on_Spark_walkthrough.ipynb.

    Upload Jupyter Notebook to Azure HDInsight Spark cluster.

  4. Selezionare di nuovo Carica .

  5. Dopo aver caricato il notebook, fare clic sul nome del notebook e quindi seguire le istruzioni nel notebook stesso su come caricare il set di dati ed eseguire l'articolo.

Vedi anche

Scenari

Creare ed eseguire applicazioni

Strumenti ed estensioni

Gestione risorse