PySpark︱pyspark.ml 相关模型实践

机器学习︱R+python 同时被 2 个专栏收录
75 篇文章 6 订阅
18 篇文章 0 订阅


1 pyspark.ml MLP模型实践

官方案例来源:https://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.classification.MultilayerPerceptronClassifier

>>> from pyspark.ml.linalg import Vectors
>>> df = spark.createDataFrame([
...     (0.0, Vectors.dense([0.0, 0.0])),
...     (1.0, Vectors.dense([0.0, 1.0])),
...     (1.0, Vectors.dense([1.0, 0.0])),
...     (0.0, Vectors.dense([1.0, 1.0]))], ["label", "features"])
>>> mlp = MultilayerPerceptronClassifier(maxIter=100, layers=[2, 2, 2], blockSize=1, seed=123)
>>> model = mlp.fit(df)
>>> model.layers
[2, 2, 2]
>>> model.weights.size
12
>>> testDF = spark.createDataFrame([
...     (Vectors.dense([1.0, 0.0]),),
...     (Vectors.dense([0.0, 0.0]),)], ["features"])
>>> model.transform(testDF).select("features", "prediction").show()
+---------+----------+
| features|prediction|
+---------+----------+
|[1.0,0.0]|       1.0|
|[0.0,0.0]|       0.0|
+---------+----------+
...
>>> mlp_path = temp_path + "/mlp"
>>> mlp.save(mlp_path)
>>> mlp2 = MultilayerPerceptronClassifier.load(mlp_path)
>>> mlp2.getBlockSize()
1
>>> model_path = temp_path + "/mlp_model"
>>> model.save(model_path)
>>> model2 = MultilayerPerceptronClassificationModel.load(model_path)
>>> model.layers == model2.layers
True
>>> model.weights == model2.weights
True
>>> mlp2 = mlp2.setInitialWeights(list(range(0, 12)))
>>> model3 = mlp2.fit(df)
>>> model3.weights != model2.weights
True
>>> model3.layers == model.layers
True

主函数为:

class pyspark.ml.classification.MultilayerPerceptronClassifier(featuresCol='features', labelCol='label', predictionCol='prediction', maxIter=100, tol=1e-06, seed=None, layers=None, blockSize=128, stepSize=0.03, solver='l-bfgs', initialWeights=None, probabilityCol='probability', rawPredictionCol='rawPrediction')

其中,隐藏层的解释:

layers=[8, 9, 8, 2]

指定神经网络的图层:输入层8个节点(即8个特征),与特征数对应;两个隐藏层,隐藏结点数分别为9和8;输出层2个结点(即二分类)
其中,节点特征数量限定的时候,自己的训练集是一次性将 特征+target一起给入模型,所以在计算特征个数的时候,需要整体-1

blockSize 用于在矩阵中堆叠输入数据的块大小以加速计算。 数据在分区内堆叠。

  • 如果块大小大于分区中的剩余数据,则将其调整为该数据的大小。
  • 本来建议大小介于10到1000之间。默认值:128,现在比较建议设置为1

模型存储与加载

笔者自己在使用GBDT的时候,有点闹不明白:GBTClassificationModel和GBTClassifier的区别,因为两者都可以save 和load

这个小问题从官方的case来看,代表着:
GBTClassifier是初始化的模型;GBTClassificationModel是fit之后的模型。如果是训练之后的model,需要使用GBTClassificationModel来进行save和load.

在这里插入图片描述


9 spark.ml模型评估 MulticlassClassificationEvaluator

之前找这个评估函数找了半天,需要用这样的用法(f1|weightedPrecision|weightedRecall|accuracy)
其中,predictionCol,是指定哪个是target。

from pyspark.ml.evaluation import MulticlassClassificationEvaluator

predictionAndLabels = result.select("prediction", "label")
for indexes in ['accuracy','weightedRecall','weightedPrecision','f1']:
    evaluator = MulticlassClassificationEvaluator(labelCol="label", 
                                predictionCol="prediction", metricName=indexes)
    print("Test set {} = {}".format(indexes,str(evaluator.evaluate(predictionAndLabels))))

  • 2
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值