Microsoft Fabric で SynapseML を使用した LightGBM モデルを使用する

LightGBM フレームワークは、ランク付け、分類、およびその他の多くの機械学習タスク用の、高品質で GPU 対応のデシジョン ツリー アルゴリズムの作成に特化しています。 この記事では、LightGBM を使用して、分類、回帰、およびランク付けモデルを構築します。

LightGBM は、オープンソースの分散型の高性能勾配ブースティング (GBDT、GBRT、GBM、または MART) フレームワークです。 LightGBM は、Microsoft の DMTK プロジェクトの一部です。 LightGBM を使用するには、LightGBMClassifier、LightGBMRegressor、LightGBMRanker を使用します。 LightGBM は、既存の SparkML パイプラインに組み込まれ、バッチ、ストリーミング、ワークロードの処理に使用できる状態で提供されています。 また、デシジョン ツリー システムをカスタマイズするのに使用できる、幅広い調整可能なパラメーターもあります。 Spark 上の LightGBM では、分位点回帰などの新しい種類の問題もサポートされています。

前提条件

• Microsoft Fabric サブスクリプションを取得します。 または、無料の Microsoft Fabric 試用版にサインアップします。

• Microsoft Fabric にサインインします。

• ホーム ページの左側にある環境スイッチャーを使って、Synapse Data Science 環境に切り替えます。

  

• Microsoft Fabric の Data Science エクスペリエンスに移動します。
• 新しいノートブックを作成します。
• ノートブックをレイクハウスにアタッチします。 ノートブックの左側で [追加] を選択して、既存のレイクハウスを追加するか、新しいレイクハウスを作成します。

LightGBMClassifier を使用して分類モデルをトレーニングする

このセクションでは、LightGBM を使用して、破産を予測するための分類モデルを構築します。

1. データセットを読み取ります。

   from pyspark.sql import SparkSession
   
   # Bootstrap Spark Session
   spark = SparkSession.builder.getOrCreate()
   
   from synapse.ml.core.platform import *
   

   df = (
       spark.read.format("csv")
       .option("header", True)
       .option("inferSchema", True)
       .load(
           "wasbs://publicwasb@mmlspark.blob.core.windows.net/company_bankruptcy_prediction_data.csv"
       )
   )
   # print dataset size
   print("records read: " + str(df.count()))
   print("Schema: ")
   df.printSchema()
   

   display(df)
   

2. データセットをトレーニングとテストのセットに分割します。

   train, test = df.randomSplit([0.85, 0.15], seed=1)
   

3. 特徴抽出器を追加して、特徴をベクターに変換します。

   from pyspark.ml.feature import VectorAssembler
   
   feature_cols = df.columns[1:]
   featurizer = VectorAssembler(inputCols=feature_cols, outputCol="features")
   train_data = featurizer.transform(train)["Bankrupt?", "features"]
   test_data = featurizer.transform(test)["Bankrupt?", "features"]
   

4. データが不均衡かどうかを確認します。

   display(train_data.groupBy("Bankrupt?").count())
   

5. LightGBMClassifier を使用してモデルをトレーニングします。

   from synapse.ml.lightgbm import LightGBMClassifier
   
   model = LightGBMClassifier(
       objective="binary", featuresCol="features", labelCol="Bankrupt?", isUnbalance=True, dataTransferMode="bulk"
   )
   

   model = model.fit(train_data)
   

6. 特徴量の重要度を視覚化する

   import pandas as pd
   import matplotlib.pyplot as plt
   
   feature_importances = model.getFeatureImportances()
   fi = pd.Series(feature_importances, index=feature_cols)
   fi = fi.sort_values(ascending=True)
   f_index = fi.index
   f_values = fi.values
   
   # print feature importances
   print("f_index:", f_index)
   print("f_values:", f_values)
   
   # plot
   x_index = list(range(len(fi)))
   x_index = [x / len(fi) for x in x_index]
   plt.rcParams["figure.figsize"] = (20, 20)
   plt.barh(
       x_index, f_values, height=0.028, align="center", color="tan", tick_label=f_index
   )
   plt.xlabel("importances")
   plt.ylabel("features")
   plt.show()
   

7. モデルから予測を生成する

   predictions = model.transform(test_data)
   predictions.limit(10).toPandas()
   

   from synapse.ml.train import ComputeModelStatistics
   
   metrics = ComputeModelStatistics(
       evaluationMetric="classification",
       labelCol="Bankrupt?",
       scoredLabelsCol="prediction",
   ).transform(predictions)
   display(metrics)
   

LightGBMRegressor を使用して分位点回帰モデルをトレーニングする

このセクションでは、LightGBM を使用して、創薬用の回帰モデルを構築します。

1. データセットを読み取ります。

   triazines = spark.read.format("libsvm").load(
       "wasbs://publicwasb@mmlspark.blob.core.windows.net/triazines.scale.svmlight"
   )
   

   # print some basic info
   print("records read: " + str(triazines.count()))
   print("Schema: ")
   triazines.printSchema()
   display(triazines.limit(10))
   

2. データセットをトレーニングとテストのセットに分割します。

   train, test = triazines.randomSplit([0.85, 0.15], seed=1)
   

3. LightGBMRegressor を使用してモデルをトレーニングします。

   from synapse.ml.lightgbm import LightGBMRegressor
   
   model = LightGBMRegressor(
       objective="quantile", alpha=0.2, learningRate=0.3, numLeaves=31, dataTransferMode="bulk"
   ).fit(train)
   

   print(model.getFeatureImportances())
   

4. モデルを使用して予測を生成します。

   scoredData = model.transform(test)
   display(scoredData)
   

   from synapse.ml.train import ComputeModelStatistics
   
   metrics = ComputeModelStatistics(
       evaluationMetric="regression", labelCol="label", scoresCol="prediction"
   ).transform(scoredData)
   display(metrics)
   

LightGBMRanker を使用してランク付けモデルをトレーニングする

このセクションでは、LightGBM を使用してランク付けモデルを構築します。

1. データセットを読み取ります。

   df = spark.read.format("parquet").load(
       "wasbs://publicwasb@mmlspark.blob.core.windows.net/lightGBMRanker_train.parquet"
   )
   # print some basic info
   print("records read: " + str(df.count()))
   print("Schema: ")
   df.printSchema()
   display(df.limit(10))
   

2. LightGBMRanker を使用してランク付けモデルをトレーニングします。

   from synapse.ml.lightgbm import LightGBMRanker
   
   features_col = "features"
   query_col = "query"
   label_col = "labels"
   lgbm_ranker = LightGBMRanker(
       labelCol=label_col,
       featuresCol=features_col,
       groupCol=query_col,
       predictionCol="preds",
       leafPredictionCol="leafPreds",
       featuresShapCol="importances",
       repartitionByGroupingColumn=True,
       numLeaves=32,
       numIterations=200,
       evalAt=[1, 3, 5],
       metric="ndcg",
       dataTransferMode="bulk"
   )
   

   lgbm_ranker_model = lgbm_ranker.fit(df)
   

3. モデルを使用して予測を生成します。

   dt = spark.read.format("parquet").load(
       "wasbs://publicwasb@mmlspark.blob.core.windows.net/lightGBMRanker_test.parquet"
   )
   predictions = lgbm_ranker_model.transform(dt)
   predictions.limit(10).toPandas()
   

関連するコンテンツ

• Azure Synapse Analytics の Azure AI サービスとは?
• SynapseML の有無にかかわらず、同じ分類タスクを実行する方法
• SynapseML で KNN モデルを使用する方法