Como usar o Notebook do Azure Machine Learning no Spark

O aprendizado de máquina é uma tecnologia em crescimento, que permite que os computadores aprendam automaticamente com dados anteriores. O machine learning usa vários algoritmos para criar modelos matemáticos e fazer previsões usando dados históricos ou informações. Temos um modelo definido para alguns parâmetros e o aprendizado é a execução de um programa de computador para otimizar os parâmetros do modelo usando os dados de treinamento ou a experiência. O modelo pode ser preditivo para fazer previsões no futuro ou descritivo para obter conhecimento dos dados.

O notebook do tutorial a seguir mostra um exemplo de treinamento de modelos de machine learning em dados tabulares. Você pode importar este notebook e executá-lo por conta própria.

Carregue o CSV no seu armazenamento

1. Localize o nome do armazenamento e do contêiner na visualização JSON do portal

   

2. Navegue até o armazenamento principal de HDI>no contêiner>na pasta base> carregue o CSV

   

   

3. Faça logon no cluster e abra o Jupyter Notebook

   

4. Importar bibliotecas do Spark MLlib para criar o pipeline

   import pyspark
   from pyspark.ml import Pipeline, PipelineModel
   from pyspark.ml.classification import LogisticRegression
   from pyspark.ml.feature import VectorAssembler, StringIndexer, IndexToString
   

   

5. Ler o CSV em um dataframe do Spark

   df = spark.read.("abfss:///iris_csv.csv",inferSchema=True,header=True)

6. Dividir os dados para treinamento e teste

   iris_train, iris_test = df.randomSplit([0.7, 0.3], seed=123)

7. Criar o pipeline e treinar o modelo

   assembler = VectorAssembler(inputCols=['sepallength', 'sepalwidth', 'petallength', 'petalwidth'],outputCol="features",handleInvalid="skip")
   indexer = StringIndexer(inputCol="class", outputCol="classIndex", handleInvalid="skip")
   classifier = LogisticRegression(featuresCol="features",
                                   labelCol="classIndex",
                                   maxIter=10,
                                   regParam=0.01)
   
   pipeline = Pipeline(stages=[assembler,indexer,classifier])
   model = pipeline.fit(iris_train)
   
   # Create a test `dataframe` with predictions from the trained model
   
   test_model = model.transform(iris_test)
   
   # Taking an output from the test dataframe with predictions
   
   test_model.take(1)
   

   

8. Avaliar a precisão do modelo

   import pyspark.ml.evaluation as ev
   evaluator = ev.MulticlassClassificationEvaluator(labelCol='classIndex')
   
   print(evaluator.evaluate(test_model,{evaluator.metricName: 'accuracy'}))