Spark で Azure Machine Learning ノートブックを使用する方法

機械学習は成長を遂げているテクノロジであり、これによってコンピューターは過去のデータから自動的に学習することができます。 機械学習では、さまざまなアルゴリズムを使用して、数学モデルを構築し、履歴データまたは情報に基づいて予測を行います。 定義済みのモデルといくつかのパラメータが用意されています。学習はコンピューター プログラムによって実行され、トレーニング データまたはエクスペリエンスを使ってモデルのパラメータが最適化されます。 モデルは、将来の予測を行う予測モデルか、データからナレッジを取得する記述的モデルのいずれかです。

次のチュートリアル ノートブックでは、表形式データに対する機械学習モデルのトレーニングの例が示されています。 このノートブックをインポートして、自分で実行できます。

CSV をストレージにアップロードする

1. ポータルの JSON ビューでご使用のストレージとコンテナーの名前を見つけます

   

   

2. プライマリ HDI ストレージ > コンテナー > ベース フォルダーに移動し > CSV をアップロードします

   

   

3. クラスターにログインし、Jupyter Notebook を開きます

   

4. Spark MLlib ライブラリをインポートして、パイプラインを作成します

   import pyspark
   from pyspark.ml import Pipeline, PipelineModel
   from pyspark.ml.classification import LogisticRegression
   from pyspark.ml.feature import VectorAssembler, StringIndexer, IndexToString
   

   

5. Spark データフレームに CSV を読み込みます

   df = spark.read.("abfss:///iris_csv.csv",inferSchema=True,header=True)

6. データをトレーニング用とテスト用に分割します

   iris_train, iris_test = df.randomSplit([0.7, 0.3], seed=123)

7. パイプラインを作成してモデルをトレーニングします

   assembler = VectorAssembler(inputCols=['sepallength', 'sepalwidth', 'petallength', 'petalwidth'],outputCol="features",handleInvalid="skip")
   indexer = StringIndexer(inputCol="class", outputCol="classIndex", handleInvalid="skip")
   classifier = LogisticRegression(featuresCol="features",
                                   labelCol="classIndex",
                                   maxIter=10,
                                   regParam=0.01)
   
   pipeline = Pipeline(stages=[assembler,indexer,classifier])
   model = pipeline.fit(iris_train)
   
   # Create a test `dataframe` with predictions from the trained model
   
   test_model = model.transform(iris_test)
   
   # Taking an output from the test dataframe with predictions
   
   test_model.take(1)
   

   

8. モデルの精度を評価します

   import pyspark.ml.evaluation as ev
   evaluator = ev.MulticlassClassificationEvaluator(labelCol='classIndex')
   
   print(evaluator.evaluate(test_model,{evaluator.metricName: 'accuracy'}))