算法

Spark-mllib特征选择算法

优质文章学习记录

23 Feb 2025 — 2 min read

这篇文章介绍了三个用于特征选择的机器学习算法：VectorAssembler、ChiSqSelector和RFormula。以下是每个算法的详细解释和调用示例：

VectorAssembler

算法介绍：

用途： 将多个列（特征）合并成一个单一的向量列。
特点： 适用于需要将多个特征组合在一起进行分析的情况。

示例： 假设我们有一个DataFrame含有id, features1和features2三列，我们希望将它们合并成一个名为"features"的向量列。

import org.apache.spark.ml.feature.VectorAssembler val data = Seq( (7, Vectors.dense(0.0), Vectors.dense(18.0)), (8, Vectors.dense(1.0), Vectors.dense(12.0)), (9, Vectors.dense(0.1), Vectors.dense(15.0)) ) val df = spark.createDataset(data).toDF("id", "features1", "features2") val assembler = new VectorAssembler() .setInputCols(Array("features1", "features2")) .setOutputCol("features") val result = assembler.transform(df) result.show()

ChiSqSelector

算法介绍：

用途： 根据卡方检验选择特征。
特点： 适用于分类标签数据，选择与标签关联性最强的特征。

示例： 假设我们有一个DataFrame含有id, features和clicked三列，其中clicked为需要预测的目标。我们希望根据标签clicked选择最相关的特征。

import org.apache.spark.ml.feature.ChiSqSelector import org.apache.spark.ml.linalg.Vectors val data = Seq( (7, Vectors.dense(0.0, 0.0, 18.0, 1.0), 1.0), (8, Vectors.dense(0.0, 1.0, 12.0, 0.0), 0.0), (9, Vectors.dense(1.0, 0.0, 15.0, 0.1), 0.0) ) val df = spark.createDataset(data).toDF("id", "features", "clicked") val selector = new ChiSqSelector() .setNumTopFeatures(1) .setFeaturesCol("features") .setLabelCol("clicked") .setOutputCol("selectedFeatures") val result = selector.fit(df).transform(df) result.show()

RFormula

算法介绍：

用途： 根据R语言中的公式语法选择特征和标签。
特点： 可以处理复杂的特征选择逻辑，适用于回归、分类等多种场景。

示例： 假设我们有一个DataFrame含有id, country, hour和clicked三列，我们希望基于country 和hour预测clicked。通过RFormula公式可以得到一个包含features和label的新DataFrame。

import org.apache.spark.ml.feature.RFormula val dataset = spark.createDataFrame(Seq( (7, "US", 18, 1.0), (8, "CA", 12, 0.0), (9, "NZ", 15, 0.0) )).toDF("id", "country", "hour", "clicked") val formula = new RFormula() .setFormula("clicked ~ country + hour") .setFeaturesCol("features") .setLabelCol("label") val output = formula.fit(dataset).transform(dataset) output.select("features", "label").show()

这些算法可以帮助我们有效地选择和组合特征，从而提高模型的性能。