SynapseML の LightGBM の概要
LightGBM は、オープンソースの分散型の高性能勾配ブースティング (GBDT、GBRT、GBM、または MART) フレームワークです。 このフレームワークは、ランク付け、分類、およびその他の多くの機械学習タスク用の、高品質で GPU 対応のデシジョン ツリー アルゴリズムの作成に特化しています。 LightGBM は、Microsoft の DMTK プロジェクトの一部です。
LightGBM の利点
- 構成可能性: LightGBM モデルを既存の SparkML パイプラインに組み込み、バッチ、ストリーミング、ワークロードの処理に使用できます。
- パフォーマンス: Spark の LightGBM は、Higgs データセットで SparkML よりも 10 から 30% 高速であり、AUC の 15% の増加を達成します。 並列実験では、特定の設定でトレーニングに複数のマシンを使用することで、LightGBM が直線的な高速化を実現できることが確認されています。
- 機能: LightGBM は、デシジョン ツリー システムをカスタマイズするために使用できる、幅広い調整可能なパラメーターを提供します。 Spark 上の LightGBM では、分位点回帰などの新しい種類の問題もサポートされています。
- クロス プラットフォーム: Spark 上の LightGBM は、Spark、PySpark、SparklyR で使用できます。
LightGBM の用途
- LightGBMClassifier: 分類モデルを構築するために使用されます。 たとえば、会社が倒産するかどうかを予測するために、
LightGBMClassifierを使用して二項分類モデルを構築できます。 - LightGBMRegressor: 回帰モデルの構築に使用されます。 たとえば、住宅価格を予測するために、
LightGBMRegressorを使用して回帰モデルを構築できます。 - LightGBMRanker: ランク付けモデルを構築するために使用されます。 たとえば、Web サイトの検索結果の関連性を予測するために、
LightGBMRankerを使用してランク付けモデルを構築できます。