line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b)...."> line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b)...."> Spark:一行代码实现wordcount
 个人随笔
目录
Spark:一行代码实现wordcount
2019-11-30 23:43:34

在Hadoop中实现wordcount要写一个map和一个reduce,要用FileSystem把文件读取进来,但是在spark-shell中超级简单,如下:

  1. sc.textFile("file:///home/hadoop/lwh.txt").flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b).foreach(println)

如果要按value降序呢,也超级简单

  1. sc.textFile("file:///home/hadoop/lwh.txt").flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b).sortBy(_._2,false).foreach(println)

搞定!

 290

啊!这个可能是世界上最丑的留言输入框功能~


当然,也是最丑的留言列表

有疑问发邮件到 : suibibk@qq.com 侵权立删
Copyright : 个人随笔   备案号 : 粤ICP备18099399号-2