PaddlePaddle是百度开源的深度学习框架，采用和cafee类似的layer搭建的方式构建深度神经网络，当前也在试图发布fluid新版本提供算子级别的网络构建技能，最近有一个文本分类的需求，试着使用paddle进行了实验，对paddle的使用体验为： 文档不全，特别简陋 模型库比较好，即使不懂的用法，可以搜索代码查找用法； github的问题回复比较及时 感觉Paddle是在大力推广和发展的 … 继续阅读使用PaddlePaddle搭建卷积网络做文本数据分类
Word2vec会产出每个词语的权重向量 使用这个向量，可以直接对所有的词语聚类 以下代码，以word2vec的model作为输入，进行kmeans训练，同时进行K的迭代计算，选出WSSSE最小的K值
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | /** * 将word2vec的结果，作为kmeans的输入进行聚类；进行K的多次迭代，选出WSSSE最小的K * @param spark * @param model */ def word2vecToKmeans(spark: SparkSession, model: org.apache.spark.mllib.feature.Word2VecModel) = { import org.apache.spark.mllib.clustering.{KMeans, KMeansModel} import org.apache.spark.mllib.linalg.Vectors // val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble))).cache() val parsedData = model.getVectors.map(row => Vectors.dense(row._2.map(_.toDouble))).toSeq val parsedDataRDD = spark.sparkContext.parallelize(parsedData).cache() // Cluster the data into two classes using KMeans val numKList = 2 to 20 numKList.foreach( k => { val numIterations = 50 val clusters = KMeans.train(parsedDataRDD, k, numIterations) // Evaluate clustering by computing Within Set Sum of Squared Errors val WSSSE = clusters.computeCost(parsedDataRDD) println(s"K==${k}, Within Set Sum of Squared Errors = $WSSSE") } ) } |
这里使用的是mllib的库 算出来的K值和WSSSE的对应关系为：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | 2 737409.9793517443 3 680667.1717807942 4 646796.9586209953 5 621979.831387794 6 600079.2948154274 7 583517.901818578 8 568308.9391577758 9 558225.3643934435 10 553948.317112428 11 548844.8163327919 12 534551.2249848123 13 530924.4903488192 14 525710.9272857339 15 523946.17442620965 16 516929.85870202346 17 511611.2490293131 18 510014.93372050225 19 503478.81601442746 20 500293.188117236 |